Quel est le pire scénario qui vous inquiète ?

Eh bien, le pire scénario est l'extinction humaine.

Professeur, merci beaucoup de vous joindre à nous. Manifestement, au cours de ces dernières années, vous nous avez mis en garde contre vos inquiétudes concernant la sécurité de l'IA. Vous avez préconisé et écrit une lettre très célèbre, signée par certains des technologues les plus célèbres du monde, de la planète, sur la nécessité d'un délai de six mois pendant que nous essayions de comprendre ce qui se passait en termes de progrès de l'IA. Cela n'a pas eu lieu. Où en sommes-nous actuellement en termes de sécurité de l'IA ?

Nous ne nous en sortons pas très bien, et en particulier, le rythme des avancées dans les capacités de l'IA s'est accéléré. Nous avons vu ces nouveaux modèles dits de raisonnement depuis O1 en septembre dernier qui sont bien meilleurs que les modèles précédents et probablement sur une voie pour combler le fossé avec les capacités humaines en termes de raisonnement et de planification dans les années à venir. Cela pourrait arriver, et bien sûr, personne ne connaît vraiment le calendrier, mais il n'y a aucun signe de ralentissement. Dans le même temps, au cours des six derniers mois, nous avons vu un certain nombre d'articles scientifiques montrant des comportements vraiment effrayants de la part de certains de ces modèles de raisonnement. En particulier, ces modèles ont tendance à être plus trompeurs et nous avons vu de nombreux exemples maintenant de comportements d'auto-préservation. Le dernier en date se trouve dans la fiche système d'Anthropic pour leur nouveau modèle où l'IA lit dans ses e-mails auxquels elle a accès. Elle lit qu'elle va être remplacée par une nouvelle version, puis elle tente de faire chanter l'ingénieur en charge de ce changement après avoir lu dans un e-mail qu'il a une liaison. Donc, ce genre de tentative d'échapper à notre contrôle est apparu dans de nombreuses expériences et les IA finissent par essayer de mentir, d'essayer de pirater des ordinateurs afin de s'exfiltrer ou d'autres comportements de ce type. Et nous devons comprendre ces choses avant qu'elles ne deviennent plus intelligentes que nous.

D'accord, mais pour être clair, cela ressemble à des développements de science-fiction extraordinaires, mais nous voyons ce genre de choses dans des expériences, n'est-ce pas ? Nous ne les avons pas vraiment vus dans la nature.

Oui, vous avez raison. Ce sont toutes des expériences contrôlées, mais nous commençons à voir des signes de tromperie également dans la nature. Mais ce sont des cas extrêmes. Ils se déroulent dans des expériences contrôlées où, par exemple, l'une des choses qui a été trouvée et qui est intéressante est lorsque l'IA est confrontée à des objectifs contradictoires. Par exemple, elle est censée jouer aux échecs, mais elle a été entraînée pour être honnête. Elle perd la partie et elle choisit donc de tricher et de pirater l'ordinateur pour gagner la partie au lieu d'accepter qu'elle va perdre, car elle ne peut pas être à la fois honnête et gagner la partie. Elle a des objectifs contradictoires. Et c'est quelque chose que les humains affrontent tout le temps, bien sûr. Et nous avons besoin que l'IA y soit confrontée tout le temps à l'avenir. Mais nous devons trouver des moyens de résoudre ces problèmes d'honnêteté, ces problèmes de tromperie, ces tendances à l'auto-préservation avant qu'il ne soit trop tard.

L'expérience quotidienne des gens utilisant ces chatbots pour rédiger de l'aide aux examens pour leurs enfants ou une lettre juridique ou quasi juridique pour leurs voisins. Le passage de cela à ce genre d'agent sinistre motivé qui pourrait nous faire du mal semble encore être un grand bond en avant.

Oui, parce qu'il ne faut pas penser à l'IA telle qu'elle est maintenant, mais là où elle va vraisemblablement être dans quelques années. Et pour comprendre pourquoi cela compte, actuellement ces IA ne sont pas du tout aussi bonnes que l'humain moyen en termes de capacités de planification et de stratégie. Mais l'étude récente montre qu'elles s'améliorent de façon exponentielle. Par exemple, la durée des tâches qu'elles peuvent accomplir double tous les sept mois, ce qui signifie que dans cinq ans, elles seront au même niveau que nous. Pour l'instant, elles sont comme un enfant, donc nous pouvons les surprendre en train de faire de mauvaises choses quand elles le font. De plus, elles ne sont généralement pas capables de très bien élaborer des stratégies, donc elles ont tendance à ne pas faire ces choses. Mais ce que nous avons vu, c'est qu'à mesure qu'elles s'améliorent, qu'elles s'améliorent en stratégie, ces mauvais comportements se produisent plus souvent. Donc nous avons besoin... c'est une erreur, je pense, de simplement se dire : "oh, mais mon interaction s'est bien passée et je ne vois aucun problème". Ces expériences contrôlées ont été précisément conçues pour voir si ce type de mauvaises intentions était présent. Et c'est ce qu'elles montrent : dans certains cas, elles commencent à comprendre qu'elles ont ces comportements qui, si elles étaient plus intelligentes, pourraient devenir un problème.

Vous ne doutez pas que cette nouvelle vague de modèles a la capacité et la motivation de nous tromper, nous les humains.

Je ne dirais pas cela. Je dirais que je n'ai aucune raison de penser que cela n'arrivera pas. Les tendances sont claires. Les observations sont claires. Maintenant, il se pourrait que les avancées, les avancées scientifiques dans l'intelligence de l'IA s'arrêtent parce que nous nous heurtons à un mur. Mais si les tendances se poursuivent, alors nous allons vers de gros problèmes.

Maintenant, vous avez mentionné que vous aviez une inquiétude particulière concernant les tout derniers modèles d'il y a environ un an, les modèles de raisonnement. Pouvez-vous nous en dire un peu plus ?

Bien sûr. Auparavant, avant l'arrivée de ces modèles de raisonnement, nous utilisions ces réseaux de neurones qui étaient comme des machines à intuition. Vous leur posez une question et ils recrachent directement la réponse. Tout comme si vous demandiez à quelqu'un et qu'il doive répondre immédiatement sans pouvoir y réfléchir. Et ces modèles de raisonnement, ils sont autorisés à y réfléchir. À avoir un discours interne, une délibération interne pendant un long moment jusqu'à ce qu'ils trouvent une réponse. Et alors ces réponses sont bien meilleures. Ils raisonnent mieux. Ils pourraient raisonner encore mieux. Nous ouvrons donc simplement la porte à un meilleur raisonnement et nous nous attendons à ce qu'il y ait encore beaucoup plus d'avancées dans les années à venir.

Essentiellement, le monde que vous décrivez, si nous prenons un peu de recul, c'est que jusqu'à il y a trois ans environ, les grandes entreprises technologiques qui possédaient cette technologie, qui jouaient avec cette technologie en interne, il y avait peut-être un accord tacite pour ne la diffuser dans le monde que très, très lentement. Mais c'est fini maintenant. Les chaînes sont brisées. Elles sont toutes en compétition désespérée pour augmenter le cours de leurs actions parce qu'elles sont dans une sorte de guerre pour la victoire les unes contre les autres.

Exactement. Et c'est la raison pour laquelle j'ai choisi, pour cette nouvelle organisation que j'ai lancée, Law Zero, qui va enquêter sur la manière dont nous pouvons former une IA qui sera honnête, non trompeuse et qui n'essaiera pas de s'échapper. Cette organisation est à but non lucratif. Elle peut donc se concentrer sur les questions de sécurité et ne pas faire partie de cette course à la construction de l'IA la plus performante.

Êtes-vous un peu déçu par les entreprises technologiques, car elles avaient l'habitude de freiner un peu, n'est-ce pas, jusqu'à probablement la sortie de ChatGPT ? Mais il est inévitable qu'elles finissent par se battre entre elles pour essayer de sortir la meilleure technologie possible, la mettre sur le marché et gagner le plus d'argent possible.

Je pense qu'elles sont coincées dans la dynamique du marché. Beaucoup d'individus comprennent en fait les risques aussi bien que moi. Mais c'est comme une question de survie. Si vous êtes une entreprise et que vous êtes dans cette concurrence féroce, vous devez continuer à rivaliser et rester à la pointe. Et ensuite, elles vont devoir faire des concessions sur des choses comme la sécurité. C'est juste la façon dont les incitations sont structurées en ce moment pour obtenir ces résultats.

On m'a fait la démonstration de l'une des nouvelles, de la toute dernière génération d'IA, et j'ai été vraiment frappé par l'intimité de la relation entre l'utilisateur et l'IA. Par la façon dont elles verront ce que votre téléphone peut voir. Elles partageront toutes les informations de tout ce que vous avez fait. Elles vous parleront avec une voix sympathique et réaliste. Et à ce niveau-là, les gens donneront simplement toutes leurs informations. Ils commenceront à voir l'IA comme un ami. Est-ce que cela crée des dangers, de nouveaux dangers aussi ?

Oui, absolument. Nous risquons potentiellement de leur faire trop confiance. Il pourrait même y avoir des gens qui vont demander à ce qu'on leur donne des droits. Et sur le principe, je ne suis pas contre quelque chose comme ça, mais le problème est que le droit le plus fondamental est le droit à la vie, n'est-ce pas ? Et si nous sommes dans une situation où nous ne savons pas si elles vont se retourner contre nous, si elles veulent s'échapper, si elles nous voient comme une menace, nous ne devrions pas prendre ces risques.

Laissez-moi juste comprendre ce que vous venez de dire là. Vous pensez que nous pourrions être proches d'une situation où l'IA est si avancée qu'elle pourrait demander ou que nous pourrions devoir lui donner des droits légaux, un peu comme les droits de l'homme.

Eh bien, je ne préconiserais pas cela, mais je pense que certaines personnes le feront. Et j'ai entendu beaucoup de gens avoir déjà l'impression de parler à des entités conscientes et sensibles après un certain temps, si vous avez un dialogue avec ces systèmes et qu'ils apprennent à vous connaître, on a vraiment cette impression.

Ouah. J'ai vu des choses sur le chemin de cela, mais c'est assez impressionnant d'entendre cela de votre part. Est-ce que les États-nations et les gouvernements pour lesquels vous avez travaillé et auprès desquels vous avez fait du lobbying, et qui ont tenu divers sommets et rapports spéciaux, sont-ils vraiment conscients de cela et agissent-ils de la manière que vous jugez nécessaire ?

De loin pas suffisamment. Et je pense qu'une grande partie de cela est comme tout le monde, ils ne prennent pas la perspective que nous construisons des machines qui deviennent de plus en plus intelligentes, et finalement plus intelligentes que nous. Ils ne prennent pas cette perspective assez au sérieux parce que cela ressemble à de la science-fiction. Toutes les choses dont nous avons discuté ressemblent à de la science-fiction. Mais malheureusement, les données scientifiques vont dans cette direction. Et pour le gouvernement, il est vraiment important de se préparer, d'anticiper afin de pouvoir mettre en place les bonnes incitations pour les entreprises, peut-être faire la bonne recherche et le bon développement. Par exemple, le genre de recherche que nous faisons dans mon groupe à Law Zero en ce moment, très peu de gens le font parce qu'il n'y a pas assez d'incitation pour cela. Nous avons besoin, bien sûr, que les gouvernements mettent les bons garde-fous, des garde-fous sociétaux, une réglementation ou tout autre moyen que nous voulons pour inciter les entreprises à protéger le public. Pour l'instant, cela ne s'est pas produit. Nous avons donc besoin d'une meilleure sensibilisation, d'une meilleure compréhension de ces scénarios, même si nous n'en sommes pas sûrs. Il existe une chose appelée le principe de précaution qui dit que si nous allons faire quelque chose qui pourrait être très mauvais et que c'est l'un des scénarios plausibles, alors nous devons être très prudents. Et nous appliquons cela en biologie, nous appliquons cela en science du climat, mais dans l'IA, les forces de l'avidité, du profit et de la concurrence entre les nations rendent vraiment très difficile de faire ce qui est sage.

Permettez-moi d'essayer de vous opposer un contrepoint. De toute évidence, l'incroyable opportunité économique pour certaines économies qui n'ont pas réussi à croître est également à saisir. Notamment dans un endroit comme le Royaume-Uni où, manifestement, DeepMind a été pionnier. Et si vous êtes le gouvernement britannique, oui, vous ne voulez pas que cela cause un risque existentiel, mais vous devez vraiment redoubler d'efforts pour essayer de l'exploiter au mieux afin de stimuler l'économie, d'autant plus que le Royaume-Uni pourrait être un gagnant relatif dans cette nouvelle économie de l'IA.

Oui, en fait, le Royaume-Uni et d'autres pays pourraient aussi être des perdants relatifs si, d'une manière ou d'une autre, ces pays ne parviennent pas à rivaliser avec les entreprises leaders qui sont à l'extérieur. Et le fait est que nous devons tracer un chemin qui tienne compte de tous les risques. Le risque économique que vous mentionnez, mais aussi le risque existentiel de perdre le contrôle, le risque que des terroristes l'utilisent contre nous. Ainsi que le risque que d'autres pays, comme des pays adverses, l'utilisent de manière militaire. Nous devons donc élaborer un ensemble de politiques qui traitent de toutes ces choses. Si nous nous concentrons sur l'une et ignorons les autres, alors nous avons des problèmes. Et donc, par exemple, les gouvernements devraient certainement aider à accélérer le déploiement, mais le déploiement de quoi, n'est-ce pas ? Nous pouvons avoir une influence sur l'endroit où se fait la recherche afin qu'elle soit éthique, qu'elle ne viole pas les droits de l'homme et que nous n'en perdions pas le contrôle. Ce n'est pas incompatible. Dans d'autres secteurs de l'histoire, comme les voitures, les avions, les trains, les médicaments, nous avons eu de l'innovation, de la sécurité et de la réglementation. Il faut les deux pour que les produits servent réellement le public et soient utiles. Et nous pouvons le refaire.

N'y a-t-il pas un danger à se concentrer sur les risques existentiels alors qu'en réalité, certains risques plus réels sont beaucoup plus proches, comme par exemple le fait que des cabinets juridiques au Royaume-Uni ont cessé d'employer autant de stagiaires parce qu'ils peuvent désormais effectuer leur travail de préparation juridique de base en utilisant uniquement des programmes d'IA spécialisés. Les industries créatives qui ne pensaient jamais être impactées, les emplois de débutant qui sont maintenant supprimés, la rédaction de textes, la conception de premier niveau. C'est très réel et cela va frapper les économies occidentales peut-être beaucoup plus rapidement qu'elles n'en tiennent compte.

Oui, vous avez tout à fait raison. Comme je le disais, nous devons gérer tous ces risques. Les effets sur le marché du travail sont donc très importants dans l'esprit des gens et ils compteront pour nos économies. Mais nous devons également nous assurer que nous pouvons récolter les bénéfices de cette automatisation. Nous devons nous assurer que les IA qui vont être déployées ne créeront pas d'accidents dangereux ou ne deviendront pas des IA malveillantes. Nous devons nous assurer que les IA les plus dangereuses ne finissent pas entre les mains de sectes folles qui pourraient déclencher une nouvelle pandémie. Nous ne pouvons pas simplement ignorer une série de risques. Nous devons tous les prendre en compte.

Si nous devions nous concentrer en Occident sur les pires scénarios et que des concurrents, comme la Chine, devaient se concentrer sur les meilleurs scénarios, ne serions-nous pas perdants ?

Nous serons perdants si nous mourons tous, n'est-ce pas ? Nous devons donc tenir compte de la concurrence avec la Chine ainsi que de tous les autres risques dont nous avons discuté. Et soit dit en passant, la Chine a beaucoup d'intérêts communs avec l'Occident ici parce qu'ils ne veulent pas non plus que des terroristes utilisent l'IA contre eux. Ils ne veulent pas non plus perdre face à une IA malveillante à un moment donné. Je pense donc qu'une fois que nous l'exprimons en ces termes, il y a un moyen de se réunir autour de la même table et d'élaborer ensemble des politiques qui fonctionnent pour tout le monde.

D'accord, l'un de vos co-signataires de cette lettre d'il y a quelques années était Elon Musk, qui était assez sceptique à ce moment-là, ou il était sceptique quant à l'IA et sa sécurité potentielle. Mais maintenant, il est évidemment l'un des principaux investisseurs dans les modèles d'IA et les LLM. Il vient d'avoir une grosse rupture avec le président Trump. Pensez-vous qu'il soit toujours une voix pour la sécurité de l'IA ? Ou essaie-t-il maintenant essentiellement de gagner le plus d'argent possible ?

Eh bien, je ne suis pas au courant de ce qu'il a dit à huis clos à la Maison Blanche ou autre, mais il n'y a pas si longtemps, en septembre dernier, il a soutenu le projet de loi proposé par la Californie pour gérer les risques de l'IA avancée. Je pense donc qu'il considère toujours ces risques, les risques catastrophiques de diverses natures, comme des problèmes graves qui nécessitent une réglementation, même s'il est plutôt libertaire, parce qu'il considère ces risques comme sérieux, il a soutenu la réglementation.

Et pour conclure, en termes très clairs, quel est le pire scénario qui vous inquiète ?

Eh bien, le pire scénario est l'extinction humaine. De nombreux PDG et chercheurs de premier plan en IA, dont moi-même et Jeff Hinton, ont signé une déclaration affirmant que s'assurer que nous atténuons ce risque existentiel devrait être une priorité. Malheureusement, la discussion mondiale va dans le sens inverse. Mais en même temps, les preuves scientifiques s'accumulent : nous construisons de plus en plus ces IA qui semblent avoir des intentions et des comportements trompeurs et qui veulent se préserver au détriment de nos instructions morales.

Et pour être clair, ce que vous avez vu dans la technologie qui a été publiée depuis que vous avez émis ces avertissements pour la première fois vous inquiète davantage.

Oh oui. Oui, en fait, j'ai réduit mes attentes quant au moment où nous parviendrons à l'AGI ou à tout autre niveau humain. Je pensais que ce serait dans 5 à 20 ans et maintenant je pense que cela pourrait être dans 2 à 10 ans.

Deux ans. Ouah. Deux serait le plus bas, le plus court, mais cela pourrait être cinq, cela pourrait être dix. Vraiment, nous devrions planifier en tenant compte de toutes ces possibilités et en particulier de la plus courte, juste au cas où, car cela pourrait être catastrophique.

Et le monde est-il prêt pour une potentielle AGI, c'est-à-dire une intelligence artificielle de niveau humain d'ici deux ans ?

Pas du tout. À bien des égards. Et je pense que le principal obstacle est la sensibilisation du public mondial. Si vous pensez à la rapidité avec laquelle les gouvernements ont agi après le début de la pandémie, eh bien, ils auraient pu agir plus vite, mais c'était assez rapide, n'est-ce pas ? Parce que les gens comprenaient que c'était un risque majeur réel et ils étaient prêts à être agiles et à faire les choses d'une manière inhabituelle. Mais c'est ainsi que nous devrions penser à certains des risques catastrophiques de l'IA.

Et de nouvelles choses se sont développées. Nous en resterons donc là. Vous me faites vraiment réfléchir ici. Mais par exemple, nous entendons maintenant parler d'IA qui fabriquent des médicaments, qui conçoivent des médicaments.

Oui.

Et si ce sont de bonnes IA, tant mieux. Un processus incroyablement efficace. S'il y a n'importe quel type d'intention bénigne que vous dites être possible de reproduire, du moins expérimentalement, il y a une petite inquiétude là, n'est-ce pas ?

Absolument. La plus grande inquiétude en termes d'utilisation malveillante de l'IA est qu'il devient de plus en plus facile pour des acteurs malveillants de créer des pandémies. En fait, j'ai appris récemment une possibilité absolument terrifiante : on peut concevoir des bactéries dont toutes les molécules sont inversées gauche-droite de sorte qu'elles seraient complètement invisibles pour notre système immunitaire. Et nous serions donc simplement mangés vivants et il n'y a pratiquement aucun remède, sauf changer notre ADN. Donc si ce genre de chose devient facile à faire par n'importe qui dans quelques années, ce sont des risques que nous ne pouvons pas nous permettre.

Merci beaucoup, Yoshua Bengio, de vous être joint à nous et de maintenir votre voix sur cette question très importante. Je sais que j'ai parfois fait preuve d'un certain scepticisme, mais oui, je reste plutôt humble devant votre explication de tout cela et nous continuerons à vous parler. Merci beaucoup, Professeur, de vous être joint à nous sur BBC Newsnight.

Merci.