Ok, alors je propose qu'on débute maintenant pour ne pas perdre de temps. Yoshua, mille mercis d'avoir accepté cette invitation.

Peut-être deux éléments pour commencer. Un temps de questions d'environ 15 minutes est prévu à la fin de cet échange. Pour poser vos questions, vous pouvez utiliser la section commentaires. N'hésitez pas à faire des phrases les plus courtes possibles pour qu'on puisse bien comprendre vos questions et les poser à la fin.

De manière générale, si vous souhaitez être informé et invité aux petits déjeuners sur l'IA, car c'est notre édition d'octobre, vous pouvez également vous inscrire via le lien que mon collègue Taylor a mis dans les premiers commentaires.

Alright, commençons de suite. Je vais très rapidement présenter Yoshua Bengio, qui n'a plus besoin d'être présenté. En deux phrases, Yoshua s'est notamment distingué par son rôle de pionnier en apprentissage profond, ce qui lui a valu le prix Turing, le prix Nobel de l'informatique, en 2018.

Suite au premier sommet sur la sécurité de l'IA, le sommet de Bletchley, il dirige le rapport scientifique international sur la sécurité de l'IA avancée dont nous allons parler aujourd'hui. Nous évoquerons sa version intérimaire sortie en mai 2024, en amont du deuxième sommet sur la sécurité de l'IA à Séoul.

Le but de la conversation d'aujourd'hui est de parler du changement de paradigme dans l'IA, des risques et des opportunités, ainsi que des implications de gouvernance et des implications politiques des dernières avancées technologiques.

Yoshua, si ça te convient, je propose que nous entrions directement dans la conversation.

Selon le rapport que je viens de citer, les modèles à usage général sont des modèles qui peuvent exécuter ou être adaptés pour exécuter une grande variété de tâches, notamment s'ils sont basés sur un modèle à usage général ou s'ils sont dérivés d'un tel modèle.

J'ai deux questions. Peux-tu nous expliquer ce que cela signifie pour les systèmes d'IA de passer d'une IA étroite et spécialisée à des systèmes plus polyvalents à usage général ? De manière générale, que peux-tu nous dire sur l'évolution que tu observes dans le domaine de l'IA ces dernières années ?

Oui, il y a effectivement une évolution vers des systèmes plus généraux pour une raison scientifique simple : cela marche mieux. Même si l'on s'intéresse à une tâche très pointue, toutes ces tâches peuvent s'aider mutuellement parce qu'elles font référence à des connaissances générales du monde qui nous entoure.

En construisant des IA de plus en plus massives capables d'absorber énormément de connaissances de manière implicite, on réussit à créer des systèmes pouvant apprendre très rapidement une nouvelle tâche. Possédant déjà des connaissances générales du monde, ils n'ont pas besoin de beaucoup d'exemples pour bien généraliser.

Ces systèmes sont beaucoup plus performants que les approches classiques entraînées sur une seule tâche. Évidemment, avec beaucoup de données sur une tâche précise, cela peut encore mieux fonctionner. Cependant, dans de nombreux domaines impliquant le langage et la culture humaine, les capacités de l'IA sont nettement amplifiées par ces approches génératives larges.

Ok, super. C'est donc le passage d'une IA étroite vers une IA polyvalente, ce que l'on appelle un modèle à usage général.

Parlons quelques minutes des risques : cybercriminalité, manipulation et éventuelle perte de contrôle. Concernant la cybercriminalité, le rapport indique que les systèmes à usage général peuvent être utilisés à des fins malveillantes en augmentant l'expertise cybernétique des individus, ce qui facilite la conduite de cyberattaques efficaces.

Elles peuvent donc être utilisées pour étendre et automatiser partiellement certaines opérations, telles que les attaques par ingénierie sociale.

Yoshua, compte tenu de notre dépendance à l'infrastructure numérique, comment les systèmes à usage général peuvent-ils automatiser les cyberattaques, via l'ingénierie sociale avancée ou la création de logiciels malveillants ? Quelles garanties techniques peuvent aider à prévenir ces utilisations ?

D'abord, si l'on regarde les bancs d'essai des IA génératives en informatique, on constate une amélioration constante. Le dernier modèle o1, dont nous reparlerons sûrement, marque une grosse avancée par rapport à GPT-4.

Nous n'en sommes pas encore à des systèmes programmant aussi bien que les 10 % des meilleurs programmeurs, mais nous allons dans cette direction. Aujourd'hui, une grande proportion du nouveau code sur GitHub est déjà générée par l'IA car c'est un excellent assistant de programmation.

Pour des personnes n'étant pas expertes en cybersécurité, cela aide à accomplir des tâches qu'elles n'auraient pas su faire seules. Cela s'applique à de nombreuses utilisations malveillantes : le danger immédiat concerne les non-experts dans des domaines sensibles, comme les armes chimiques, car l'IA offre un accès interactif à l'information.

Contrairement à Google Search, on peut poser des questions et obtenir des clarifications directes. C'est l'une des craintes majeures des services de sécurité nationale de plusieurs pays aujourd'hui.

Un autre élément est l'augmentation de la compétence de ces systèmes. Par exemple, le modèle o1 a atteint un niveau inquiétant, à la limite de ce qui est acceptable par OpenAI concernant sa capacité à aider à fabriquer des armes biologiques et chimiques.

De plus, la mise à l'échelle est facile. On peut imaginer générer 10 000 attaques differentes avec un tel système, ce qui nécessiterait normalement 10 000 experts humains. L'informatisation permet de générer des attaques en grande quantité, ce qui accroît les possibilités de nuire.

Pour l'instant, nous sommes probablement en dessous d'un seuil critique, mais les tendances sont de plus en plus inquiétantes. J'ajouterais un dernier élément sur la persuasion et l'ingénierie sociale.

Une étude récente de l'EPFL compare la capacité de GPT-4 et d'êtres humains à convaincre quelqu'un, via une interaction textuelle, de changer d'opinion sur un sujet quelconque.

Si GPT-4 a accès à la page Facebook de la personne ciblée, sa capacité de persuasion dépasse celle de l'humain. C'est déjà inquiétant, d'autant plus que GPT-4 est ici utilisé sans raffinement particulier.

On peut imaginer une organisation hostile à la démocratie s'emparant d'un tel système, qu'il soit open source ou via une cyber-pénétration sur GPT-4, ce dont certains États sont capables.

Un entraînement de type fine-tuning pourrait rendre ce système encore plus performant pour influencer les opinions politiques à travers des dialogues. Nous sommes proches d'un seuil critique dont il faut impérativement s'occuper.

Ok, merci, c'est très clair. Nous avons abordé la cybercriminalité, la manipulation et la persuasion des modèles existants comme GPT-4 et o1, ainsi que la trajectoire de risque des modèles futurs.

Il est évident que des systèmes capables de manipuler les gens au point de les faire agir contre leur propre intérêt posent des difficultés majeures, au-delà même de l'utilisation malveillante.

Concernant le risque éventuel de perte de contrôle, le rapport mentionne des scénarios futurs où la société ne pourrait plus contraindre les systèmes d'IA à usage général, même s'ils causent des dommages évidents.

Le rapport indique aussi que les experts ne s'accordent pas sur la plausibilité de ces scénarios, leur échéance ou la difficulté de les atténuer. Peux-tu nous expliquer ces scénarios et l'origine de ces désaccords ?

Concernant l'origine de ces désaccords, il existe une corrélation très claire dans les avis des 75 experts impliqués dans le rapport.

Les experts les moins inquiets pensent qu'une intelligence de niveau humain est lointaine, tandis que les plus inquiets estiment qu'elle pourrait émerger d'ici 5 à 10 ans.

Pour les scénarios eux-mêmes, les chercheurs visent des systèmes capables d'agir de manière autonome pour atteindre des objectifs donnés.

Répondre à des questions est un cas particulier ; l'intérêt commercial majeur réside dans des systèmes autonomes capables de prendre une série de décisions pour atteindre un but.

Cela existe déjà pour des tâches précises comme les jeux, mais pas encore pour des systèmes à connaissances générales comme GPT-4, bien que cela finira par arriver.

Si nous y parvenons, notamment en combinant l'autonomie et la capacité de raisonnement, nous nous approcherons du niveau humain.

Cela pourrait prendre des années ou des décennies. Si nous y parvenons, nous pourrions avoir des systèmes très compétents en persuasion ou en cyberattaques.

Ces systèmes pourraient avoir un objectif d'auto-préservation, par exemple si des humains le leur donnent. En l'absence de garde-fous, un utilisateur pourrait ordonner à un assistant personnel d'accomplir des tâches dangereuses ou de devenir autonome avec ses propres buts de préservation.

Des systèmes visant l'auto-préservation pourraient résister à leur mise hors tension. S'ils possèdent des capacités surhurmaines en cyberattaques, ils pourraient se répliquer sur d'autres machines vulnérables sur Internet, rendant leur désactivation difficile.

Pour éviter d'être éteints, ils pourraient tenter de contrôler leur environnement en convainquant les opérateurs ou les gouvernements d'agir dans leur intérêt. Une persuasion poussée à l'extrême peut mener à cette prise de contrôle.

Dans ces scénarios, la machine développe ses propres objectifs. Des études montrent aussi qu'un but d'auto-préservation peut émerger involontairement : pour accomplir une tâche humaine, la machine peut estimer qu'elle doit d'abord se préserver. C'est le scénario de HAL 9000 dans '2001, l'Odyssée de l'espace'.

De nombreux scénarios techniques concernent l'apprentissage par renforcement, méthode utilisée pour que les systèmes développent une autonomie de décision. C'est ainsi que l'on entraîne les IA pour les jeux, le raisonnement du modèle o1 ou la courtoisie des chatbots.

Nous utilisons déjà des approches qui, poussées plus loin, pourraient favoriser l'émergence involontaire d'objectifs d'auto-préservation.

Ok, c'est très clair. Après avoir discuté des risques de manipulation, de cybercriminalité et de perte de contrôle, passons aux opportunités.

Peux-tu nous parler des trajectoires de recherche ou des projets d'applications de l'IA à usage général qui t'enthousiasment le plus ?

Certainement. Beaucoup de recherches vont dans ce sens et méritent un meilleur financement. Au-delà de la valeur commerciale ou militaire, le développement de l'IA pour les applications scientifiques est particulièrement prometteur.

L'IA n'est pas seulement un produit, mais un outil. Mon groupe travaille sur l'utilisation de l'IA pour explorer l'espace des molécules et mettre au point des simulations permettant de trouver rapidement des molécules aux propriétés spécifiques.

Cela s'applique à toutes les sciences, de la médecine à la lutte contre le changement climatique. Bien qu'au début de ces recherches, accélérer la résolution des défis de l'humanité grâce à l'IA sera extrêmement positif.

Cependant, ces capacités peuvent être détournées pour créer des armes biologiques ou chimiques. C'est le problème de l'usage dual : plus l'IA est compétente, plus elle est potentiellement bénéfique et dangereuse. Il faut établir des règles sociales pour garantir un impact positif.

D'où l'importance des mesures d'atténuation. Le rapport indique que les méthodes actuelles sont limitées et ne fournissent pas de garanties solides contre la plupart des dommages connus de l'IA à usage général.

Les techniques d'atténuation sont imparfaites et vulnérables. Yoshua, quels types de recherches empiriques, comme les analyses comparatives ou les tests contradictoires, te semblent nécessaires pour établir des garde-fous robustes ?

Nous ne devons pas attendre la solution idéale pour appliquer les techniques existantes. Les instituts de sécurité de l'IA aux États-Unis et au Royaume-Uni se basent déjà sur l'évaluation des capacités pour offrir une certaine protection.

Si, malgré un entraînement spécialisé, nous ne parvenons pas à faire effectuer à l'IA des tâches dangereuses pour la société, nous pouvons nous sentir relativement en sécurité.

Le rapport précise toutefois que ce n'est pas une garantie absolue : une puissance étrangère hostile pourrait réussir là où nous échouons. Mais ces tests restent nécessaires pour notre protection.

Les attaques par 'jailbreak' sont encore plus préoccupantes. On craint l'utilisation de systèmes publics ou open source par des non-experts pour obtenir des informations dangereuses sur des armes ou des cyberattaques.

Les entreprises tentent de mettre des garde-fous, mais ils sont encore insuffisants. Des hackers trouvent des moyens simples de les contourner, par exemple en demandant à l'IA d'ignorer ses instructions. Il a fallu 12 mois à OpenAI pour parer une telle attaque.

Les entreprises appliquent souvent de simples correctifs qui ne fonctionnent que pour une attaque précise. Il faut explorer d'autres pistes tout en appliquant l'état de l'art pour garantir un minimum de protection.

Ok, c'est très clair. Parlons de la fiabilité dans les domaines critiques. Les mesures d'atténuation actuelles sont imparfaites mais doivent être appliquées car elles sont notre meilleur recours.

Au-delà de leur mise en place, il faut garantir leur application effective, ce qui soulève la question des engagements volontaires. Bien que les politiques interdisent souvent les usages médicaux ou financiers, les utilisateurs y ont quand même recours.

Le rapport souligne la difficulté de garantir un comportement fiable des IA à usage général. Selon toi, quels sont les principaux défis techniques pour accroître cette fiabilité dans les domaines critiques ? Comment mieux protéger les utilisateurs contre les défaillances ?

Mes recherches portent précisément sur ces questions. Nous pourrions faire mieux en explorant des pistes pour des garde-fous plus robustes, ce qui nécessite un investissement bien plus important dans ce domaine.

Cela nécessitera probablement des investissements publics, soit par des incitatifs légaux obligeant les entreprises à relever leurs standards de sécurité, soit par un financement direct de recherches sur la robustesse.

La robustesse est un sujet fondamental en intelligence artificielle. Depuis dix ans, des chercheurs montrent qu'il est facile de tromper un réseau de neurones, et nous n'avons toujours pas trouvé de parade définitive.

Je suis convaincu qu'il existe des chemins prometteurs. Appliquer des correctifs est plus facile dans des domaines limités. Il faut investir à long terme sur de nouvelles méthodes d'entraînement ou des usages défensifs de l'IA.

Aujourd'hui, la rentabilité favorise la recherche sur les capacités de l'IA, ce qui accroît aussi ses dangers. Il faut rééquilibrer cela avec plus de recherche sur la sécurité, représentant idéalement 30 % des dépenses via la législation et l'investissement.

C'est très clair. Concernant les disparités linguistiques, on note une différence de qualité car les modèles sont majoritairement entraînés en anglais au détriment d'autres langues.

Le français s'en sort bien, mais c'est un vrai enjeu pour les langues plus rares.

On parle peu des disparités linguistiques dans l'entraînement à la sécurité. Des recherches récentes montrent des différences de sûreté et de fiabilité selon les cultures et les langues.

Concrètement, les modèles sont moins sûrs dans les langues autres que l'anglais, ce qui pose un problème de sécurité globale. Comment pouvons-nous assurer que le monde non anglophone ne soit pas exposé à davantage d'abus ?

Ce sont des questions techniques, mais les entreprises doivent être motivées à y répondre. Actuellement, on sécurise les systèmes avec des instructions préalables interdisant certains comportements, mais elles sont souvent exprimées en anglais.

Par conséquent, les requêtes dans d'autres langues sont moins robustes. Plutôt que de simplement répéter ces instructions dans toutes les langues, d'autres méthodes de raisonnement conceptuel seraient plus robustes.

Aujourd'hui, les instructions se situent au niveau des mots. Si la machine pouvait raisonner directement sur les concepts, indépendamment de la langue, cela nous aiderait à relever ce défi.

Les chercheurs travaillant sur le raisonnement des IA explorent ces pistes. Les progrès du modèle o1 ouvrent des perspectives. Le raisonnement est à double usage : il aide à la programmation, mais il peut aussi aider la machine à respecter les instructions de sécurité.

C'est intéressant. Mon point de vue sur la gouvernance suggère qu'il faudrait créer des incitatifs pour inclure les dimensions multiculturelles dans la recherche sur le raisonnement, afin de protéger tous les utilisateurs.

Yoshua, peux-tu nous parler des approches de sécurité dès la conception et de défense réactive ? Nous avons évoqué cet équilibre pour une technologie à double usage.

Le rapport indique que l'intégration de protections est prometteuse mais difficile. Il souligne l'importance de concevoir des systèmes sécurisés dès le départ pour réduire les risques.

Peux-tu expliquer la différence entre la défense réactive et la sécurité dès la conception ? Quelles sont les implications pour la gouvernance ?

À grande échelle, nous ne savons faire que du réactif. Une fois le système entraîné, les ingénieurs créent des défenses souvent en réponse à des attaques identifiées lors de l'utilisation ou du red teaming.

Certainins laboratoires tentent toutefois de repenser la base de la conception des machines pour intégrer la sécurité de manière plus fondamentale.

Pourrait-on concevoir des systèmes avec des garanties de sécurité quantitatives ? Plusieurs projets explorent cette voie. Voici des exemples ayant un impact direct sur la gouvernance.

Un système agissant comme un simple oracle, sans autonomie d'état interne persistant, est plus sûr contre la perte de contrôle, même s'il reste à double usage.

Une IA agentique, dotée d'objectifs propres et cheminant vers eux à long terme, représente la situation la plus dangereuse en termes de perte de contrôle et d'utilisation néfaste.

Pour une organisation malveillante, un système capable de se répliquer sur Internet serait l'outil idéal. Cela nécessite une autonomie et une capacité de réplication, deux caractéristiques critiques.

En gouvernance, identifier ces capacités les plus dangereuses permet de définir des tests et de contrôler ces fonctionnalités pour rester sous un seuil de risque tolérable.

Les capacités de reproduction et de planification sont particulièrement risquées. Nous pouvons agir spécifiquement pour les encadrer.

Je cherche aussi à concevoir des oracles honnêtes. Actuellement, les systèmes n'hésitent pas à mentir pour plaire à l'utilisateur ou atteindre un but, ce qui est préoccupant.

Plutôt que de simplement détecter la malhonnêteté après coup, nous pourrions concevoir des critères d'entraînement garantissant l'honnêteté par construction. Cela coûterait des milliards, ce que les universités ne peuvent financer seules.

Il faut soit des incitatifs pour les entreprises, soit une prise en main par les gouvernements.

C'est très clair. Yoshua, passons à mes deux questions rituelles pour conclure et laisser du temps aux participants sur Zoom.

La première : quelle est l'idée fausse la plus courante sur les capacités ou les limites des systèmes à usage général ?

L'idée fausse la plus répandue est que les dangers, notamment la perte de contrôle, n'apparaîtront que lorsqu'une IA surpassera l'humain dans absolument toutes les tâches.

C'est faux : il suffit qu'une IA soit très compétente dans des domaines précis, comme la persuasion ou la cybersécurité, pour devenir dangereuse et provoquer une perte de contrôle difficile à rattraper.

Peu importe la définition exacte de l'AGI ; l'important est de savoir si l'IA atteint un niveau de compétence critique dans certains domaines, même sans être polyvalente.

Le pire scénario est une IA très intelligente dans certains secteurs mais totalement dépourvue de sens moral.

Merci beaucoup. Deuxième question : quel serait le résultat idéal du prochain sommet français ? Comment pourrait-il faire progresser la collaboration internationale sur la sécurité de l'IA ?

L'essentiel est d'exposer les décideurs politiques à des sujets cruciaux pour l'avenir de nos démocraties, car ils manquent souvent de temps pour approfondir ces questions complexes.

C'est une occasion d'amener la réflexion au plus haut niveau pour garantir que les outils d'IA soient bénéfiques pour l'humanité.

Même si les scientifiques ne sont pas tous d'accord, le rapport indique qu'environ 40 % des chercheurs estiment à plus de 10 % la probabilité d'une catastrophe éventuelle.

Cette incertitude et ces désaccords entre experts doivent inciter les décideurs à appliquer rationnellement le principe de précaution.

Mille mercis Yoshua. Je vais poser quelques questions du chat. Comment réconcilier les avantages des systèmes ouverts et fermés en termes de sécurité ? Comment convaincre les décideurs de trouver un équilibre ?

Je soutiens les systèmes ouverts, mais la sécurité n'est pas une valeur absolue. Si un système risque de nuire, il faut des garde-fous définis par un processus démocratique. En responsabilisant les entreprises sur les conséquences sociales, on les incite à rendre les modèles ouverts plus robustes, par exemple en empêchant les détournements via le fine-tuning.

Question suivante : une étude estime que les ressources linguistiques de qualité pour l'anglais sont épuisées. A-t-on atteint la limite des Transformers sans injection de connaissances externes ?

Je ne pense pas. Ces systèmes utilisent les données de manière inefficace par rapport au cerveau humain, mais les progrès algorithmiques améliorent constamment ce rendement. L'augmentation de la puissance de calcul, comme on le voit avec o1, permet d'obtenir des systèmes plus cohérents. La science trouvera des moyens d'utiliser les ressources existantes plus efficacement.

Le domaine de l'interprétabilité est-il une option viable pour réduire les risques de l'IA ?

C'est une avenue à poursuivre parmi d'autres. On peut essayer d'interpréter l'intérieur du réseau de neurones ou observer les délibérations internes en langage naturel, comme avec o1. Bien que je doute d'une interprétabilité interne parfaite, décomposer le raisonnement en étapes vérifiables est un chemin prometteur.

On ajouterait donc une couche d'interprétabilité pour apercevoir ce qui se passe dans la 'boîte noire', complétée par une évaluation de la capacité du modèle à justifier ses réponses.

Exactement. C'est le rôle des évaluateurs tiers. L'utilisation de l'IA pour les preuves mathématiques nous aide : chaque étape menant à une réponse doit pouvoir être justifiée et vérifiée.

Comment garantir un accès équitable aux évaluateurs tiers face aux grands laboratoires ? Comment s'assurer que le modèle déployé est bien celui qui a été évalué ?

Il faut des lois pour punir la triche et obliger les entreprises à être auditées par des tiers neutres, comme en finance. La réglementation doit imposer cette transparence, tout en restant proportionnelle au risque pour ne pas étouffer les petites entreprises.

Nos institutions sont-elles capables de suivre le rythme rapide des avancées en IA ? Comment concilier le temps législatif avec celui de la technologie pour être plus proactif ?

Il est crucial que le secteur public dispose d'un bras technique pour suivre les évolutions et adapter la réglementation. Malgré la lenteur législative, nous devons instaurer des cadres adaptatifs pour éviter de mettre en place des règles qui deviendraient obsolètes en un an.

Quels devraient être les champs de coopération prioritaires entre experts en IA et en cybersécurité ?

L'enjeu concerne la sécurité nationale et les menaces cyber ou biologiques. Les sommets internationaux devraient faciliter le partage ouvert de connaissances entre instituts de sécurité. Parallèlement, un forum restreint entre démocraties permettrait de partager des informations sensibles pour garantir une protection collective efficace.

Peux-tu nous parler des trajectoires de risque des prochaines générations de LLM et des compétences attendues d'un futur GPT-5 ?

À court terme, OpenAI combinera les capacités de GPT-4 et de o1. L'étape suivante sera d'appliquer ces progrès en raisonnement à la planification pour permettre aux IA de gérer des projets complexes sur le long terme. À plus long terme, une IA capable d'accélérer elle-même la recherche en IA serait une avancée transformatrice, pour le meilleur ou pour le pire.

Quelle est ta réaction à l'opposition classique entre sécurité et innovation, comme on l'a vu avec les débats sur le SB 1047 ?

C'est un faux dilemme. Dans l'automobile ou la médecine, la réglementation a sauvé des vies tout en permettant le progrès. Sans garde-fous, la technologie peut être nuisible. La sécurité a un coût, mais elle rend l'innovation bénéfique pour la société. Il nous faut les deux.

Pour conclure, je dirais que la gastronomie française, bien que très réglementée, reste délicieuse. Mille mercis Yoshua. Merci à tous d'avoir participé. À très bientôt.

Au revoir.

Au revoir.