Messieurs, merci beaucoup d'avoir cette conversation avec moi aujourd'hui. Merci à tous d'être présents. Évidemment, nous sommes ici pour parler d'IA. Et pour mettre les choses en perspective, Yoshua pense, pour parler de façon large, que le risque que l'IA nous mène potentiellement à l'extinction devrait être considéré comme un risque mondial au même titre que les pandémies et la guerre nucléaire. Eric est très enthousiaste à propos de l'IA. Voilà donc les positions respectives desquelles ils partent.

Je pense, d'ailleurs, qu'il en a inventé la moitié, alors commençons par lui.

Oui, et il en a inventé la moitié. Novembre 2022 est le moment où beaucoup d'entre nous ici dans cette salle ont commencé à se préoccuper de l'IA, n'est-ce pas ? Quand OpenAI a lancé ChatGPT et qu'il est entré dans nos vies à tous. Si l'on passe de novembre 2022 à aujourd'hui, qu'est-ce qui a été le plus positif selon vous ?

Ce qui est le plus positif, c'est qu'il y a une prise de conscience croissante à la fois des capacités positives, mais aussi des dangers. Et c'est la chose la plus importante qui doit continuer à se produire pour que nous agissions avec prudence, afin que nous puissions bénéficier de ce que l'IA peut apporter, sans pour autant déstabiliser notre démocratie, notre société, ou même détruire l'humanité.

Eh bien, je vais simplement exprimer mon désaccord. Je pense que ce que nous devrions faire, c'est foncer à toute allure sans aucune barrière de sécurité, quelle qu'elle soit. Non, je suis facétieux. Le potentiel de l'IA est si profond en termes de capacités, par exemple, un médecin IA, un tuteur IA. Pensez à tous les problèmes que nous avons dans la société ; je crains que nous ne finissions par ralentir ce processus d'une manière ou d'une autre. Je préférerais de loin le développer aussi vite que possible. Je pense que c'est une réussite américaine en ce moment, avec notre partenaire le Canada et quelques autres. Et je veux que nous en profitions. Ce que vous voyez maintenant, ce sont trois choses différentes qui se produisent en même temps. Aujourd'hui, vous pensez de langue à langue, mais très vite vous allez voir ce qu'on appelle des fenêtres de contexte infinies où vous pourrez lui poser n'importe quelle question, et il pourra vous donner plein de recettes et de choses à faire. Vous pouvez développer des agents qui apprennent des choses. Et enfin, vous pouvez avoir un programmeur qui fait ce que vous voulez en lui indiquant vos souhaits, et il écrira le code pour vous. C'est très puissant et très excitant.

Le problème est que toute cette puissance, qui provient de l'intelligence, des capacités cognitives intellectuelles qui croissent, est à double usage. Et il n'y a aucun moyen de séparer la capacité de l'IA à faire quelque chose de très percutant des objectifs que nous lui fixons. Et si nous ne trouvons pas un moyen de contrôler cela, de s'assurer que l'IA va agir de manière morale, qu'elle ne va pas tomber entre les mains de personnes qui pourraient la retourner contre nous, que nous sachions comment la concevoir pour qu'il n'y ait pas d'accident où elle deviendrait autonome et dangereuse, alors toutes ces bonnes choses seront gâchées. Nous devons donc absolument dissiper le brouillard. À l'heure actuelle, les scientifiques n'ont vraiment aucune idée de la manière de construire une IA qui fera ce que nous voulons, qui se comportera selon nos normes, nos lois et nos valeurs. Et c'est un problème majeur.

Mais nous avons tous des valeurs différentes. Alors qui décide de ce qu'est une manière morale ?

Il y a en principe une réponse très facile. Nous avons déjà ce problème ; cela s'appelle la démocratie.

Et elle est en danger.

Elle est en danger à cause de l'IA et d'autres choses, mais oui. Je ne ferais pas confiance à une IA pour décider pour l'humanité de ce qui est bien ou mal. C'est nous qui devons prendre ces décisions, collectivement bien sûr.

Mais encore une fois, qui est ce « nous » ?

C'est une question de gouvernance, n'est-ce pas ? Nous répondons donc par nos institutions démocratiques, nous créons un régulateur pour poser des garde-fous, nous décidons quels sont les incitatifs pour les organisations qui construisent ces outils. Ce sont des décisions collectives, normalement prises par l'intermédiaire de nos gouvernements. Dans un monde où la démocratie fonctionne, bien sûr.

Je pense qu'il est important de parler des actions dirigées par l'humain et des actions dirigées par l'ordinateur. Et je vais tracer une ligne de démarcation nette entre les humains demandant à l'IA de faire des choses, ce dont nous pouvons discuter, et l'IA faisant des choses de son propre chef. Et je pense que ce dernier point est incroyablement dangereux. Il existe des scénarios où des agents commencent à se parler et commencent à planifier, et ils pourraient planifier dans leur propre langue, une langue que nous, les humains, ne comprenons pas.

Attendez, que sont les agents ?

Un agent est un programme informatique conçu pour effectuer une action. Il possède des connaissances, il peut accomplir une tâche. Dans ce contexte, ils sont généralement activés par le langage avec des résultats textuels, mais ils peuvent manipuler des paramètres, écrire du code, ce genre de choses. Donc, au moment où les agents peuvent se parler dans une langue que nous ne comprenons pas, savez-vous ce que nous devrions faire ? Débrancher les ordinateurs. Ce n'est tout simplement pas acceptable. Il y a donc des limites, et nous les appelons des lignes rouges. Il y en a un certain nombre, comme vous l'avez décrit. Vous et moi avons d'ailleurs travaillé là-dessus dans plusieurs cas, et je pense que nous sommes d'accord sur ce que sont ces lignes rouges.

Même les Chinois sont d'accord sur les lignes rouges.

En général, je pense que tout le monde est d'accord : débranchez les ordinateurs, rentrez chez vous, prenez un café ou autre. Mais nous avons besoin que des humains contrôlent ces choses. Le problème est que nous ne faisons pas confiance à tous les humains. Et nous avons de nombreuses preuves qu'il existe des humains psychotiques, malveillants, terroristes, etc., et le potentiel de mauvais usage est immense. Le plus évident concerne ce qu'on appelle l'open source, où les modèles qui en font partie — et vous avez entendu Sam qui est bien sûr brillant, leur modèle est fermé — mais il y a d'autres endroits où l'on construit des modèles ouverts presque aussi performants qui peuvent être modifiés. Et c'est un danger que nous ne savons pas encore totalement comment contrôler.

Et si je pouvais ajouter quelque chose ici qui est très important à comprendre : une fois qu'un tel modèle est partagé avec le monde, toutes les protections de sécurité qui ont été mises en place pour s'assurer qu'il ne soit pas utilisé, par exemple pour fabriquer des armes, peuvent être très facilement supprimées avec très peu de matériel, quelque chose que presque n'importe qui pourrait faire. Et nous ne le saurons même pas car cela peut arriver n'importe où dans le monde. Une autre chose que je veux ajouter est qu'il y a un lien entre le mauvais usage dangereux et la perte de contrôle. Un scénario d'exemple est, disons, qu'une organisation en Corée du Nord utilise l'un de nos modèles open source, l'adapte pour faire quelque chose de vraiment mal, et l'ajuste pour qu'il puisse réellement franchir l'une de ces lignes rouges, comme « ne pas se reproduire ». Parce que ce serait un moyen d'avoir beaucoup plus d'impact sur notre infrastructure, par exemple pour des cyberattaques ou d'autres choses de ce genre. Mais ce faisant, en franchissant les lignes rouges afin d'atteindre un objectif humain malveillant, ils pourraient déclencher la perte de contrôle que nous essayons d'éviter. Donc oui, ce sont des scénarios différents, mais l'un peut engendrer l'autre. Et la bonne nouvelle — je veux être optimiste — est que je pense qu'il y a encore une fenêtre d'opportunité pour chercher des solutions scientifiques à ces problèmes. Si nous pouvions concevoir des systèmes d'IA qui ont des inhibitions, qui ne peuvent pas faire de mauvaises choses — et il y a un certain nombre de groupes de recherche dans le monde qui explorent ces questions — nous serions bien mieux lotis. Nous devrions toujours gérer l'open source et les acteurs malveillants volant les informations. Mais si nous pouvons construire des systèmes d'IA surhumains qui sont moraux, alors ils pourraient être nos protecteurs au cas où une IA rebelle émergerait.

Eric, pouvons-nous revenir sur ce que vous avez dit il y a un instant, à savoir que lorsque nous atteindrons ce niveau, tout le monde sera d'accord pour débrancher les ordinateurs. Tout le monde sera-t-il vraiment d'accord ? Parce que ce sont des entreprises, des entreprises hautement compétitives dans les courses les plus acharnées pour dominer l'IA. Alors, vont-ils vraiment débrancher les ordinateurs ou non, vu le contexte actuel ?

Il y a un accord assez général au sein de l'industrie sur les questions fondamentales dont Yoshua a parlé. La préoccupation générale est donc que ces entreprises vont se faire concurrence et que dans la compétition, l'une d'entre elles pourrait brûler les étapes. C'est un problème réglementaire classique dans la plupart des industries : on brûle les étapes pour obtenir un avantage. Je pense donc qu'il est raisonnable de s'attendre à ce que les gouvernements comprennent cela. Depuis la dernière fois que nous avons parlé de l'IA, en novembre de l'année dernière, le Royaume-Uni puis les États-Unis ont tenu une série de sommets sur la sécurité de l'IA. Parmi les pays les plus avancés, le Royaume-Uni est en tête. Ils ont un programme, effectuent des tests et travaillent sur des réglementations. Tous les autres pays sérieux, dont le Canada, la Corée, la France, etc., travaillent tous sur ce sujet.

Et nous avons un nouvel Institut pour la sécurité de l'IA au Canada.

En effet, annoncé il y a quelques semaines, n'est-ce pas ? Et vous en faites partie. Il y a un effort majeur au Japon. Il y a aussi une conversation avec les Chinois, dont je suis membre, sur les mêmes sujets. Ce que vous voyez, c'est que le gouvernement essaie de comprendre — et c'est déjà assez difficile pour nous — alors imaginez pour eux. Nous sommes occupés à les éduquer sur ces questions. Et c'est un cas étrange où l'industrie elle-même demande une réglementation.

Le font-ils vraiment ?

Oui, les principaux dirigeants, je le sais parce que je leur parle. Les principaux dirigeants disent que c'est un problème.

Ils peuvent dire une chose un jour et quelque chose qui semble être en contradiction le lendemain. C'est donc délicat car les entreprises sont lancées dans cette course pour gagner, mais en même temps, les individus dans ces entreprises sont humains ; ils ne veulent pas que des catastrophes arrivent. Ces deux forces s'entremêlent donc.

En d'autres termes, on a l'impression que plus on investit, plus on s'améliore. Finalement, on finit par atteindre des rendements décroissants ; mais nous n'en sommes pas encore là. La plupart des gens avec qui j'ai parlé et les équipes que je gère pensent que nous avons encore quelques cycles avant d'être vraiment confrontés à ces problèmes. Peut-être deux cycles, peut-être trois, et un cycle dure environ 18 mois. Cela signifie que nous avons collectivement trois à cinq ans pour nous organiser face à ce défi. Êtes-vous d'accord avec ce calendrier ?

C'est court. C'est très probable, nous ne savons pas, mais c'est très rapide. Et nous n'avons pas de lois solides, comme la transformation du décret contraignant en quelque chose de plus permanent au Congrès. La plupart des pays n'ont rien en place pour forcer les entreprises à sécuriser leurs systèmes afin qu'ils ne soient pas facilement volés par des acteurs malveillants. Beaucoup de choses doivent se passer rapidement pour que, lorsque nous arriverons à ces systèmes d'IA vraiment dangereux, nous ayons fait de notre mieux pour réduire les risques.

Je suis donc assez optimiste quant au fait qu'au moins les pays occidentaux avec lesquels j'ai discuté mettront en place ces lois, règles ou responsabilités. Je suis en fait beaucoup plus inquiet pour les institutions et les individus sur lesquels nous n'avons aucun contrôle. Les grandes entreprises américaines sont surveillées par tout le monde. Cependant, il existe de nombreux groupes, et les pires choses se produisent dans l'ombre. Vous avez mentionné le scénario de l'open source. La communauté open source, dont je suis membre et à laquelle j'ai consacré ma carrière, avance très vite juste derrière ces grandes entreprises et fait un travail fantastique. Donc si vous avez un problème de prolifération, il sera de cette nature. J'étais en Chine l'année dernière et j'ai parlé aux ingénieurs. Les dirigeants politiques ne répondent à rien s'ils n'ont pas de script. Mais si vous posez une question technique précise à un ingénieur n'importe où dans le monde, il vous donnera une réponse précise. Je leur ai demandé comment ils commençaient leur entraînement : ils partent tous de l'open source. Nous savons donc où ils en sont. Et c'est ainsi que la Chine évoluera.

Nous n'attendons pas de nos législateurs ou de notre gouvernement qu'ils soient des experts. Mais je pense que pour l'homme de la rue, l'une des raisons de cette peur de l'IA est le manque de confiance envers le gouvernement, n'est-ce pas ? On regarde les réseaux sociaux, l'absence de régulation — il y a une audience par-ci par-là, c'est du spectacle mais rien ne change. Pensez-vous que notre gouvernement a conscience de ce qu'est l'IA et des risques à venir ?

Je pense qu'actuellement, la Maison Blanche est l'endroit au monde où la compréhension des risques est la plus forte. Il y a une prise de conscience : pour faire face à ces dangers, les gouvernements doivent renforcer leur expertise et leurs talents en interne. Ils peuvent aussi collaborer avec des organisations externes.

Est-ce le cas actuellement ?

C'est en train d'arriver. Des organisations à but non lucratif travaillent par exemple sur des systèmes d'évaluation pour détecter si une IA possède des capacités dangereuses. Les gouvernements devraient recruter davantage et être flexibles pour attirer these profils, tout en travaillant avec d'autres parties. Ils devraient aussi collaborer avec d'autres gouvernements, car nous ne résoudrons pas ces problèmes seuls aux États-Unis. Une IA dangereuse développée ailleurs peut nous nuire ici. Nous devons avancer vers une coordination internationale. Nous commençons, mais le processus doit s'accélérer.

Il faut savoir que ces phases d'entraînement demandent tellement d'énergie et de calcul que les services de renseignement savent probablement où elles se situent. Même sans conformité, ceux qui surveillent la sécurité nationale sont sans doute au courant. Quoi qu'il en soit, aux États-Unis, le Sénat a tenu des auditions auxquelles j'ai participé avec des sénateurs des deux bords, ce qui a fait avancer le débat. La Chambre fait de même. Tout est au point mort car c'est une année électorale. Pragmatiquement, rien ne bougera avant 2025. La bonne nouvelle est que nous avons un peu de temps. Ces cadres d'évaluation sont financés et créés. Il y a un accord pour que les entreprises partagent leurs résultats de tests — pas leur code, mais leurs protocoles. C'est un accord verbal pour l'instant. Cela ne résout pas votre inquiétude fondamentale, mais ce sont des étapes nécessaires.

C'est nécessaire, mais insuffisant.

Exactement. Ces choses avancent et des analyses sérieuses sont menées. DeepMind a publié un article il y a quelques mois sur les risques extrêmes. Je définis un risque extrême par au moins 15 000 décès, par opposition à un préjudice individuel. C'est arbitraire. Ils ont catégorisé ces risques, les plus graves étant les cyberattaques et les attaques biologiques. La question est : comment empêcher ces systèmes d'accéder à des armes ? Cela rejoint votre point sur la sécurisation des modèles. Un modèle coûte 100 millions de dollars ; il tient sur un disque dur, et il ne doit pas être possible de l'exfiltrer. Une longue liste de mesures de ce type est en préparation.

Il y a aussi des discussions pour changer la fabrication du matériel, les puces nécessaires à l'IA. Si on pouvait les tracer, on saurait s'il y a une grosse concentration de puces quelque part. On pourrait aussi s'assurer que seuls les logiciels licenciés avec les bons protocoles de sécurité puissent s'exécuter. Cela n'existe pas encore, mais c'est le genre de solutions auxquelles il faut réfléchir : anticiper ce qui peut mal tourner et envisager des atténuations réalisables rapidement.

Nous ne sommes pas un public d'experts, je voudrais donc donner un exemple simple pour nous aider à comprendre. Chaque minute, une nouvelle technologie apparaît. Cette semaine, Microsoft a présenté un outil qui, à partir d'une seule photo et d'un échantillon de voix, vous fait dire des choses que vous n'avez jamais prononcées. Doit-on être enthousiastes ou terrifiés ?

Terrifiés. Des élections approchent, et on voit bien comment cela peut être détourné. J'ai vu récemment des gens m'imiter : ma voix disait des choses totalement contraires à mes convictions. Et c'était indiscernable. Ces outils s'améliorent et seront encore plus crédibles l'an prochain car les systèmes sont plus vastes et mieux entraînés. Il faut penser à l'atténuation. Il n'y a pas de solution miracle. Je pense que nous devrions faire en sorte que les auteurs de contenus sur les réseaux sociaux soient identifiables de façon unique pour pouvoir remonter jusqu'à eux en cas d'acte criminel. C'est complexe, il y a des coûts et des inconvénients, mais il faut rendre plus difficile l'exploitation du système actuel pour déstabiliser nos démocraties.

Pourtant, ces technologies sont excitantes et amusantes. Le grand public n'écoute pas forcément les mises en garde sur les risques. Ils veulent juste faire des vidéos drôles avec leurs amis. Comment les alerter ?

J'ai parlé des menaces sur la démocratie, mais cela sert aussi à créer de la pédopornographie. Des fraudes coûtant des millions de dollars ont lieu grâce à l'imitation des voix et des visages. Il est urgent de prendre au sérieux les détournements de l'IA et de changer notre organisation pour y faire face.

Les outils de désinformation que vous décrivez sont en open source et utilisés par des acteurs malveillants, y compris des États comme la Chine ou la Corée du Nord. La plupart des gens y seront confrontés sur les réseaux sociaux.

Et si l'information leur plaît, ils y croiront.

Les réseaux sociaux ont un conflit d'intérêts : ils veulent de l'exactitude, mais surtout des revenus. Le meilleur moyen de générer des revenus est l'engagement, et l'engagement est dopé par l'indignation. Si on vous fait dire quelque chose de scandaleux, cela fera bien plus de vues que vos discours habituels. C'est un appauvrissement du débat démocratique. Les solutions techniques sont celles évoquées par Yoshua : marquer l'origine du contenu et identifier les utilisateurs pour les tenir responsables. Le fonctionnement de ces entreprises est un sujet de débat démocratique. Je suis optimiste, je pense que notre démocratie surmontera ce défi comme elle l'a fait avec la télévision. Mais le fait est que depuis la naissance, on nous apprend à croire ce qu'on voit et ce qu'on entend. Apprendre que la majorité de ce qu'on voit peut être faux est un changement majeur. Développer un esprit critique — ce qui semble manquer cruellement en cette année politique aux États-Unis — est essentiel.

Et il faudra de l'entraînement, n'est-ce pas ? Il faudra voir beaucoup d'exemples pour devenir méfiants face à ce qui semble trop beau pour être vrai. Le problème des règles sur les réseaux sociaux est le coût et la friction que cela engendre. Pour les comptes, ils veulent que ce soit facile pour gagner plus d'argent. Ils ne changeront rien tant qu'il n'y aura pas de règles communes imposées à tous pour garantir une concurrence équitable.

Ce que je veux dire, c'est qu'il y aura une régulation, au moins pour les dommages extrêmes. Mais nous surmonterons cela car les problèmes sont identifiables. Le vrai souci est le suivant : vous entraînez un modèle qui apprend quelque chose, mais il ne peut pas vous dire quoi. Si vous le sortez, vous risquez la catastrophe. Si vous ne le sortez pas, vous risquez aussi la catastrophe car vous ne pouvez pas le tester. Et si vous le testez, la catastrophe peut arriver. C'est un dilemme. L'industrie utilise le « red teaming » : des experts imaginent ce que le système sait et le testent. À terme, cela devra être remplacé par la recherche sur les systèmes dont la sécurité est prouvable, ou par des IA chargées de surveiller d'autres IA.

Le constat est dégrisant : pour l'instant, toutes les protections mises en place par les entreprises ont été déjouées par des chercheurs ou des pirates peu après la sortie des modèles. Si nous ne résolvons pas cela avant l'arrivée de systèmes d'IA vraiment dangereux, nous aurons de gros ennuis.

Vous l'avez entendu ici : trois à cinq ans. Ce film d'horreur de science non fiction vous était présenté par le magazine TIME. Merci de nous avoir suivis.