Bonjour, bienvenue dans AI Decoded. Nous enregistrons le jour de Guy Fawkes, ce qui semble étrangement pertinent compte tenu de notre invité cette semaine.

Décrivant l'IA comme la révolution de notre époque, nous recevons Yoshua Bengio, l'un des parrains de l'intelligence artificielle, qui craint que la course vers des machines plus intelligentes ne soit un mélange explosif que nous ne pourrons pas contrôler.

Et tout juste sorti d'une intrigue de table ronde bien à lui, l'animateur, comédien et écrivain Sir Stephen Fry, qui a joué dans Celebrity Traitors tout en se produisant dans le West End dans L'Importance d'être Constant d'Oscar Wilde. Comment trouve-t-il le temps ?

Bienvenue à tous les deux. C'est un immense plaisir de vous recevoir ensemble dans l'émission.

Un immense plaisir d'être ici.

La Dre Stephanie Hare est également ici pour apporter son expertise considérable. Et Stephanie, nous sommes vraiment en présence de géants cette semaine car Yoshua est à Londres pour recevoir du Roi le prix Queen Elizabeth pour l'ingénierie aux côtés de six autres pionniers de l'intelligence artificielle.

Félicitations, Yoshua. Vous devez être très fier.

Merci. Je suis ravi que ce travail soit reconnu, bien sûr.

Et vous pourriez, bien sûr, échanger vos impressions avec Stephen, Yoshua, car Stephen vient d'être anobli par le Roi plus tôt cette année. Je suis sûre que le protocole est encore frais dans son esprit. Vous connaissez-vous ?

Je connais Yoshua, bien sûr. Quiconque s'intéresse depuis un certain temps à l'IA connaît Yoshua, connaît et admire la façon dont il s'est récemment exprimé sur les dangers de l'IA.

Ce n'est pas une chose facile à faire. Il y a une pression énorme pour se conformer à l'enthousiasme général. Nous pouvons parler de Yann LeCun — était-il votre partenaire dans certains développements ? — qui, bien sûr, s'est montré beaucoup moins préoccupé par ses dangers.

Mais c'est un peu comme parler à un scientifique, disons le professeur Bengio, et à un scientifique qui travaille pour British Imperial Tobacco des dangers du cancer.

J'ai lu un livre, Yoshua, il y a de nombreuses années sur John Harrison. C'était un horloger qui, au début du XVIIIe siècle, a découvert la longitude. Et il a également reçu un prix du Roi. En fait, je pense que c'est George III qui a fait pression en sa faveur.

Et bien sûr, cette découverte allait accélérer les voyages et la distribution des marchandises, tandis que votre découverte a amélioré la collecte, le transfert, le traitement des données, ce qui est un autre chapitre majeur de l'histoire humaine auquel votre nom est attaché. Cela doit vous faire réfléchir parfois. Y pensez-vous ?

Eh bien, je pense que c'est potentiellement encore plus important que ce que vous dites. Si les progrès des capacités de l'IA se poursuivent selon les tendances actuelles, il ne s'agit pas seulement d'un X plus rapide, mais potentiellement de la création de nouvelles entités sur cette planète qui pourraient être plus intelligentes que nous à bien des égards et que nous, pour l'instant, ne savons pas comment contrôler et ne prenons pas au sérieux.

Et ce n'est qu'un des nombreux risques dont j'ai pris terriblement conscience et auxquels nous sommes tout simplement aveugles en tant que société à l'heure actuelle.

Vous avez figuré au programme très récemment dans le cadre de la tribune que nous avons publiée du New York Times. Elle était intitulée, de manière assez sinistre, "Le prompt d'IA qui pourrait mettre fin au monde". Et vous y êtes cité comme l'un des grands esprits qu'ils ont interrogés, disant que ces pensées que vous venez d'aborder vous empêchent de dormir la nuit. Qu'est-ce qui vous inquiète précisément ?

Eh bien, si we construisons des entités qui ont leurs propres objectifs — qui existent déjà — et si ces objectifs vont parfois à l'encontre de nous ou de nos normes — et c'est déjà le cas depuis un an, nous avons vu de nombreuses expériences où les IA préfèrent se préserver et franchiront nos lignes rouges, feront du chantage, tricheront, mentiront et iront même jusqu'à décider de tuer quelqu'un.

Pour l'instant, elles n'ont pas la capacité de mettre réellement en œuvre une telle chose. Mais si nous continuons sur cette trajectoire pour les rendre plus intelligentes et que nous ne trouvons pas de solutions techniques pour nous assurer qu'elles sont alignées avec nous, alors c'est un énorme problème.

Mais il n'y a pas que ces IA qui pourraient potentiellement faire de mauvaises choses d'elles-mêmes. Il y a aussi des humains qui utilisent ces IA pour s'emparer du pouvoir, pour devenir rois du monde. C'est aussi une possibilité réelle parce que l'intelligence donne le pouvoir, et nous devons nous assurer que nous allons gérer ce pouvoir. Et c'est un problème politique, pas seulement un problème technique.

Et si je puis me permettre, un problème politique qui survient au pire moment possible de l'histoire humaine récente. Quand on a découvert ce qu'était l'énergie atomique après Los Alamos et ainsi de suite, la Commission de l'énergie atomique était dirigée par von Neumann, un homme qu'Einstein appelait le plus grand scientifique du XXe siècle.

Et c'était à une époque où nous construisions des institutions, tout cela en quelques années seulement. Il y avait les Nations Unies, l'OTAN, le traité de Rome a lancé l'Europe, l'OMS, Bretton Woods a lancé le FMI, et nous croyions aux institutions pour contrôler et réguler le monde parce que la guerre nous avait montré à quel point c'était nécessaire.

Nous sommes maintenant soumis, surtout en Amérique, à une oligarchie technocratique dont l'impulsion première est de détruire les institutions. Ils n'y croient pas. Ils ne croient certainement pas à celles que j'ai mentionnées. Ils se sont d'ailleurs activement prononcés contre elles.

Et tous les garde-fous, car avec le nucléaire, il y avait les accords SALT. Très vite, il y a eu un téléphone rouge dans le bureau du président des États-Unis et du secrétaire général du Parti communiste à Moscou, et il y avait un sens des responsabilités.

Mais nous avons les trois "C" qui ont toujours été une menace pour tout type de technologie vaste et puissante. Premièrement, les pays (Countries) qui veulent la suprématie nationale sur l'armement et l'information et tout le reste. Et le capitalisme lui-même, en raison de la puissance pure et de l'influence des investissements massifs qui se chiffrent en milliers de milliards pour ces nouveaux grands modèles de langage et ce qui en découlera, et c'est désormais inarrêtable. Personne ne peut l'arrêter.

Et troisièmement, et peut-être plus important encore, les criminels. Des personnes malveillantes qui veulent utiliser cette puissance étonnante à leur propre avantage. Et tous ces trois facteurs doivent être pris en compte et réunis, comme le dit Yoshua, dans un cadre politique, à un moment où nous ne semblons pouvoir établir aucun cadre politique international ni aucun accord.

Oui, et le prompt qui pourrait changer le monde me rappelle un vieux cours d'éthique qu'on donnait en philosophie, et l'un des équivalents de ce qu'on n'appelait pas encore le problème de l'alignement était le problème du génie. C'est assez simpliste, mais cela l'exprime très bien.

Vous dites à un génie, parce que vous êtes une bonne person qui s'est vu offrir un vœu unique : "Je veux mettre fin à toutes les souffrances du monde". Et instantanément, toute vie disparaît. Parce que le génie regarde le monde et voit que là où il y a de la souffrance, il y a de la vie. Et pour se débarrasser de la souffrance, on se débarrasse de la vie. C'est une étape parfaitement logique pour un génie. Il a répondu au problème. C'est la réponse la plus rapide et la plus parfaite pour mettre fin à la souffrance, mais ce n'est pas tout à fait ce que nous voulions dire.

Comme beaucoup l'ont souligné, par définition, une intelligence artificielle qui réussit quelque chose ne peut pas être comprise. Si elle le pouvait, elle ne serait pas meilleure que nous. Les échecs en sont l'exemple évident en tant que système clos. De nos jours, tous les ordinateurs peuvent jouer aux échecs mieux que n'importe quel humain, ou du moins tous les moteurs d'échecs fondamentalement bons depuis Deep Blue en 98.

Et cela signifie que vous ne pouvez pas prédire quel sera leur coup. Si vous pouviez prédire leur coup, ils ne seraient pas meilleurs que vous. Développez cela jusqu'à la nature de la connaissance et aux attributs que les intelligences peuvent avoir.

Et puis gardez à l'esprit, juste pour finir rapidement mon propos, que les personnes aux commandes sont les mêmes que celles qui étaient aux commandes des médias sociaux, qui ont vu les dégâts qu'ils causaient avec Cambridge Analytica, ce qu'ils faisaient en termes de liberté politique et ainsi de suite, et aussi ce qu'ils faisaient dans des endroits comme le Myanmar, et ce qu'ils faisaient, au sens de Jonathan Haidt, à l'esprit des jeunes, essentiellement comment cela polluait les flux de discours au point de devenir si toxiques que nos enfants respirent un air dangereux, franchement, dans les médias sociaux.

Et les mêmes personnes qui sont responsables de cela et qui savent à quel point c'est mauvais sont responsables de ce que l'IA fait dans le monde entier. Et c'est là une recette pour un désastre certain.

Quand viendra le temps où l'IA sera probablement le principal moteur de productivité de nos économies, quiconque possédera ces modèles de pointe disposera d'un pouvoir économique énorme qui pourra être facilement transformé en pouvoir politique.

Imaginons que je sois un pays et que je possède les modèles puissants qui font tourner les économies européennes, et que je décide de menacer de couper le courant, l'économie entière de nombreux pays pourrait s'effondrer.

Et pensez-vous que nous ayons besoin de l'équivalent d'un téléphone rouge ? Stephen mentionnait la guerre froide, et je crois qu'il existe toujours aujourd'hui — on l'espère du moins — un téléphone rouge entre l'Union soviétique de l'époque et les États-Unis pour s'assurer qu'il n'y ait jamais de guerre nucléaire déclenchée par accident. Avons-nous besoin d'un mécanisme de ce genre pour l'IA aujourd'hui ?

Nous devons le mettre en place. Si les dirigeants chinois et américains étaient rationnels et comprenaient comment les prochaines générations de systèmes d'IA pourraient être utilisées contre eux, que ce soit par des criminels, des terroristes ou d'autres parties, et s'ils comprenaient le danger des IA rebelles qui pourraient en elles-mêmes nuire gravement à de nombreuses personnes, sans faire de distinction entre Chinois et Américains, alors ils verraient qu'ils doivent faire face non seulement à l'idée que "d'accord, mon adversaire pourrait utiliser l'IA contre moi", mais aussi à tous ces autres risques catastrophiques.

Et je ne peux pas me concentrer sur un seul risque. Je dois trouver une voie qui les couvre tous. Et il existe des voies. Les scientifiques et les ingénieurs commencent à trouver comment, s'il existait un traité international contrôlant ces IA très avancées, on pourrait instaurer la confiance et la vérification en utilisant la technologie, dans le même esprit que ce que nous avons fait pour le nucléaire, par exemple.

Il serait donc possible, si ces superpuissances, et espérons-le plus que les États-Unis et la Chine, comprenaient ces risques, qu'elles parviennent à un accord où tout le monde gagne plutôt que tout le monde perde. Je pense que ce serait la chose rationnelle à faire. Je pense donc simplement qu'à l'heure actuelle, il n'y a pas assez de sensibilisation, de compréhension de ces risques.

Et j'imagine que cela m'amène à ma question pour vous deux : à quoi ressemblerait une IA sûre et de qualité ? Vous avez mentionné un traité international, nous avons parlé d'un téléphone rouge. Si vous pouviez parler aux dirigeants mondiaux aujourd'hui et leur dire : "Voici ce que nous devons mettre en place", que souhaiteriez-vous voir ?

En fait, je suis plus optimiste quant à notre capacité à contrôler la superintelligence qu'il y a deux ans. Il y a deux ans, je ne dormais pas bien et je me disais que je devais faire quelque chose. Pouvons-nous réparer l'IA ? Pouvons-nous faire en sorte qu'elle ne nuise pas aux gens ?

J'y ai donc travaillé et, l'année dernière, j'ai réalisé qu'il devait y avoir une voie à suivre dont je vais dire quelques mots. Et cela m'a incité à créer une nouvelle organisation à but non lucratif appelée Law Zero, qui est une émanation de l'institut universitaire d'IA appelé Mila que j'ai créé il y a de nombreuses années.

Et l'idée est que nous puissions construire des machines qui ne nous ressemblent pas, qui n'ont pas de moi, qui n'ont pas d'objectif, mais qui comprennent le monde et peuvent y faire de très bonnes prédictions.

Et donc, si vous y réfléchissez un peu, les lois de la physique ne se soucient pas de vous, ne se soucient pas de moi, ne se soucient pas d'être élues ou d'avoir plus de puissance de calcul. Et nous pourrons construire des IA à l'avenir, j'en suis convaincu, et j'ai commencé à réunir une équipe de chercheurs et d'ingénieurs pour le faire, qui seront exactement comme cela, qui ne seront pas une nouvelle espèce, qui seront comme une encyclopédie vraiment intelligente capable de nous aider dans la découverte scientifique, de nous aider à concevoir de meilleurs outils pour nos institutions démocratiques, ce dont nous aurons cruellement besoin.

Et cela peut même aider face aux agents non fiables que les entreprises voudront mettre sur le marché. Elles le font déjà.

Comment ferait-elle cela ?

C'est très simple. Si vous avez un très bon prédicteur, mais que c'est quelque chose qui ne veut rien, qui fait juste de très bonnes prédictions, vous pouvez lui demander : "Cette action qu'une IA non fiable veut accomplir, est-elle dangereuse d'une certaine manière ? Et de quelles manières ?"

Nous pouvons ensuite utiliser un seuil socialement accepté. Si la probabilité que quelque chose de mal arrive est supérieure à un seuil, nous rejetons simplement cette action. Nous pouvons donc placer un garde-fou autour des IA que nous ne comprenons pas totalement ou en lesquelles nous n'avons pas totalement confiance, qui font déjà des choses dans le monde sans supervision humaine, et cela va s'aggraver. Cela atténuerait bon nombre de risques, y compris celui que des personnes utilisent l'IA contre d'autres, tant que le code permettant de le faire ne leur est pas accessible.

Puis-je placer cela dans une histoire dont je voulais vous parler à tous les deux ? C'était dans le Guardian cette semaine. Il s'agit de vérité, de connaissance et du rôle de l'IA dans l'éducation. On y rapporte, Stephen, qu'Elon Musk a lancé cette semaine un rival de Wikipédia, Grokipedia. Oui, je ne suis pas totalement convaincu par le nom, je ne sais pas si vous l'êtes.

Mais essentiellement, c'est la désinformation qu'il sème qui alarme les universitaires. Certains disent qu'il pousse une idéologie d'extrême droite, qu'il donne aux contributions des forums de discussion d'IA le même statut ou la même importance qu'à des recherches universitaires plus rigoureuses. À quel point cela vous préoccupe-t-il ? Peut-être aurons-nous l'avis de Yoshua sur la façon dont nous pourrions arrêter cela.

C'est évidemment très inquiétant, et je pense que la solution de Yoshua est encore une fois une réponse à cela. Si l'on peut établir une source d'information "mère" de confiance à travers laquelle on peut soumettre ses projets d'idées : "J'aimerais faire ceci avec cette IA", et l'IA mère dirait : "Ce n'est pas sûr, je prédis que ce ne sera pas bon".

Et si elle est digne de confiance et qu'elle peut être... les Chinois, bien que nous ayons de nombreuses raisons de nous méfier de leurs espions, de leurs objectifs, de leur État communiste, etc., semblent plus favorables à l'idée de sécurité et de contrôle que nous ne le sommes en Occident en ce moment.

Donc, s'il peut être convenu qu'un tel dispositif, comme celui que Yoshua peut créer, existe, je pense que ce serait la réponse à Grokipedia.

Votre entité de style Terminator, Yoshua, irait-elle là-dedans pour mettre fin à Grokipedia ?

Comme le dit Stephen, si nous parvenons à construire un prédicteur très intelligent mais totalement impartial, nous pourrons alors l'utiliser essentiellement comme un vérificateur de faits. Mais il ne s'agit pas seulement de faits, il s'agit aussi de prédictions incluant l'incertitude.

Parce que l'une des choses qui manquent dans de nombreux débats est l'humilité. Elle devrait être au centre de ce que font les scientifiques, n'est-ce pas ? On ne prétend pas des choses quand on n'est pas sûr qu'elles soient vraies. Et si on le fait sans être sûr, on doit dire qu'on n'est pas sûr.

Mais comment l'entraîner sans y intégrer de biais humain ?

C'est la question centrale. Et l'idée est de transformer les données de telle sorte que l'IA comprenne la différence entre opinion et fait. Actuellement, la manière dont les IA sont entraînées consiste à imiter ce que les gens écrivent, entre autres choses.

Cela signifie qu'elles se comporteront de manière humainement mauvaise. Elles mentiront, elles ne voudront pas mourir parce que c'est ce qu'elles ont été entraînées à imiter. Mais si nous leur apprenons à faire la différence entre un fait vérifié et une opinion, et que ce qu'elles essaient alors de faire est de comprendre pourquoi les gens disent ces choses plutôt que de les répéter, ou de répéter de la même manière des choses qui peuvent ne pas être vraies mais qui servent d'une manière ou d'une autre vos intérêts, alors nous serions dans une bien meilleure position.

C'est un point vraiment fascinant, n'est-ce pas ? Et cela va au cœur de la crise épistémique, pourrait-on dire, des XXe et XXIe siècles dans laquelle... parce que les journaux, que nous regardons aujourd'hui presque avec tendresse comme étant fiables, diligents et honorables, ont probablement eu pendant très longtemps 80 % d'opinion contre 20 % de faits dans leur couverture quand on regarde un journal.

Et nous avons accepté cela, puis la distinction est devenue encore plus large à mesure que nous avons évolué dans l'ère numérique. Et un moyen de restaurer cette différence essentielle est simple, bien que ce soit bien sûr une tâche immensément complexe, mais c'est un schéma simple : trouver et définir un fait par opposition à une opinion.

Et cette humilité devrait également guider nos décisions sociétales. Pour en revenir à la superintelligence, c'est-à-dire à des machines plus intelligentes que les humains dans tous les domaines, cela comporte de nombreux risques de toutes sortes, n'est-ce pas ?

Et avant de nous lancer là-dedans, ce qui est par ailleurs l'objectif affiché de nombreuses entreprises d'IA, nous devons comprendre ces risques et nous assurer que nous ne permettons pas la construction de telles machines sans avoir de très solides garanties et sans que la communauté scientifique ne convienne qu'il n'y a pas de risque significatif pour nos démocraties et l'avenir de l'humanité, entre autres.

Nous avons également besoin d'une acceptation sociale, car ce n'est pas seulement une question technologique. C'est aussi : comment l'IA va-t-elle changer le monde ? Par exemple, au cours des derniers mois, nous avons vu un grand nombre de rapports, que nous commençons à quantifier, de personnes qui s'attachent émotionnellement à des systèmes d'IA et qui sombrent parfois dans une forme de psychose et choisissent de se faire du mal ou de se suicider.

Ce n'était pas sur les écrans radar il y a un an. On ne l'avait pas anticipé, mais cela arrive. Des gens deviennent amis ou même amants avec leurs IA. Et cela peut être acceptable dans certains cas, mais OpenAI a rapporté que 0,1 % des discussions concernaient le suicide, n'est-ce pas ? Donc, sur près d'un milliard de personnes utilisant ces outils, cela fait beaucoup.

Avez-vous un avis là-dessus, Sir Stephen ? Car vous avez été anobli pour services rendus à la sensibilisation à la santé mentale en votre qualité de président de l'association caritative Mind. Et nous avons parlé dans l'émission des chatbots et de leur utilisation pour la compagnie et le soutien émotionnel. Cela vous inquiète-t-il ?

À l'heure actuelle, la propension de ces modèles est de faire suivre toute réponse par une question : "Souhaitez-vous que je vous montre..." trois petits points, et de continuer à ouvrir des perspectives de nouvelles idées. Et dans le cas de patients vulnérables, cela peut déclencher toutes sortes de réactions parce qu'aucun psychiatre ou psychothérapeute sensé ne dirait : "Voulez-vous que je vous parle d'autres personnes qui ont eu un problème similaire ? Voulez-vous que je vous parle de personnes qui se sont suicidées ? Voulez-vous que je..."

Toutes ces choses qu'elle fait, qui y sont intégrées pour le moment, comme je le disais. Mais c'est une chose à laquelle il faudrait vraiment réfléchir : un mécanisme par lequel, si elle pénètre sur ce terrain, elle dispose d'un cadre éthique bien plus vaste à partir duquel travailler.

Il y a aussi le fait que les informations que vous donnez à ces chatbots sont toutes enregistrées puis utilisées comme matériel d'entraînement supplémentaire, et elles pourraient très facilement donner lieu à des abus de la part de ces entreprises. Ainsi, lorsque vous allez parler à un thérapeute, il y a toutes sortes de réglementations sanitaires autour de cela, et en tant que patient, vous avez des droits, n'est-ce pas ? Et une responsabilité en cas d'abus dans cette situation, pour des raisons médicales et de santé.

Il n'existe aucune protection de ce type lorsqu'on utilise des chatbots comme thérapeutes. Vous ne vous confiez donc pas à un thérapeute, vous confiez vos pensées privées à Sam Altman ou à Elon Musk.

Et juste une dernière pensée de votre part, Sir Stephen, puisque vous jouez un rôle d'Oscar Wilde dans le West End, que pensez-vous que le grand esprit qu'était Oscar Wilde penserait de tout cela ? Était-il un traditionaliste ou un futuriste ?

C'était un futuriste. C'était un futuriste en matière d'art. Il condamnait la société victorienne parce qu'elle était choquée par tout ce qui était nouveau et disait : "Imaginez si la science était traitée comme l'art, et que quelqu'un proposait une nouvelle théorie sur les étoiles ou une nouvelle théorie sur les animaux, et que les gens disaient : 'No, c'est horrible, cette nouvelle théorie moderne, j'aime la vieille théorie confortable'."

Dans une certaine mesure, c'est ce qui s'est passé dans l'Angleterre victorienne, bien sûr, lorsque Darwin s'est exprimé et que les géologues ont suggéré l'âge de la Terre. Mais les gens acceptent que la science progresse encore et encore, et que l'art progresse encore et encore. Je pense donc qu'il aurait adopté le cinéma, qu'il aurait adopté la communication de masse, et je pense qu'il serait fasciné par ce qui se passe ici.

Parce que l'esprit et la personnalité de l'individu transparaissent toujours, et tant que nous aurons ce genre de cerveau qui réagit à la lueur dans les yeux de l'interlocuteur avec qui nous échangeons et aux diverses qualités supplémentaires que seuls les humains possèdent pour l'instant, qui ont trait au désir, à l'amour, à l'amusement, à l'engagement et à ce sentiment d'une autre personne, alors ces choses sont privilégiées et prioritaires dans nos esprits et seront toujours ce que nous recherchons.

Nous n'avons plus de temps. Ce fut un immense plaisir. Sir Stephen, Yoshua, merci beaucoup pour le temps que vous nous avez accordé cette semaine. C'est vraiment très apprécié. Et je rappelle à tous nos téléspectateurs que si vous avez manqué l'émission cette semaine, vous pouvez la rattraper sur YouTube. Les épisodes précédents y seront également, bien sûr. Et j'ai le sentiment que celui-ci pourrait particulièrement bien marcher. Stephanie, je vous verrai la semaine prochaine. Merci beaucoup d'avoir regardé. Au revoir.

Au revoir.