Êtes-vous mal à l'aise de parler de cela ?

Ouais, c'est assez fou, non ?

Mustafa Suleyman, le milliardaire fondateur de la technologie d'IA de Google. Il a joué un rôle clé dans le développement de l'IA dès ses premières étapes cruciales.

En 2020, j'ai commencé à travailler sur le chatbot de Google. C'était la technologie ultime. Nous pouvons les utiliser pour décupler nos connaissances comme rien d'autre.

Pourquoi ne l'ont-ils pas sorti ?

Nous étions nerveux. Chaque organisation va faire la course pour mettre la main sur l'intelligence, et cela va être incroyablement perturbateur. Cette technologie peut être utilisée pour identifier des tumeurs cancéreuses tout comme elle peut l'être pour identifier une cible sur un champ de bataille. Un minuscule groupe de personnes souhaitant causer du tort va avoir accès à des outils qui peuvent instantanément déstabiliser notre monde. C'est là le défi : comment arrêter quelque chose qui peut causer du tort et potentiellement tuer. C'est là que nous avons besoin d'endiguement.

Pensez-vous que ce soit endiguable ?

Cela doit être possible.

Pourquoi ?

Cela doit être possible.

Pourquoi cela doit-il l'être ?

Parce que sinon, c'est elle qui nous contient.

Pourtant, vous avez choisi de créer une entreprise dans ce domaine. Pourquoi avez-vous fait cela ?

Parce que je veux concevoir une IA qui soit de votre côté. Je pense sincèrement que si nous réussissons, tout sera beaucoup moins cher. Cela va alimenter de nouvelles formes de transport et réduire le coût des soins de santé.

Mais que se passe-t-il si nous échouons ?

La réponse vraiment douloureuse à cette question est que...

Est-ce que cela vous rend triste parfois ?

Oui, c'est intense.

Je trouve cela fascinant. J'ai regardé les statistiques de notre chaîne YouTube, et elles indiquent que depuis le début de cette chaîne, 69,9 % d'entre vous qui la regardez fréquemment n'ont pas encore cliqué sur le bouton s'abonner. J'ai donc un service à vous demander. Si vous avez déjà regardé cette chaîne et apprécié le contenu, ou si vous appréciez cet épisode en ce moment même, s'il vous plaît, cliquez sur le bouton s'abonner. Cela aide cette chaîne plus que je ne peux l'expliquer, et je promets de vous rendre la pareille en rendant l'émission de mieux en mieux. C'est une promesse que je suis prêt à vous faire si vous cliquez sur le bouton s'abonner. Avons-nous un accord ?

Tout ce qui se passe avec l'intelligence artificielle en ce moment, cette nouvelle vague, et tous ces termes comme l'AGI — et j'ai vu un autre terme dans votre livre appelé ACI, c'est la première fois que j'entendais ce terme. Comment vous sentez-vous par rapport à cela émotionnellement ? Si vous deviez résumer ce que vous ressentez par rapport à ce qui se passe en ce moment, quels mots utiliseriez-vous ?

Je dirais que par le passé, j'aurais été pétrifié. Au fil du temps, en réfléchissant aux conséquences et à la trajectoire sur laquelle nous nous trouvons, on s'adapte et on comprend qu'il y a quelque chose d'inévitable dans cette trajectoire. Nous devons la prendre à bras le corps, la guider et la contrôler en tant qu'espèce collective, en tant qu'humanité. Plus on réalise l'influence que nous pouvons avoir collectivement sur ce résultat, plus c'est valorisant. De prime abord, ce sera l'outil qui nous aidera à relever tous les défis auxquels nous sommes confrontés en tant qu'espèce. Nous devons régler le dessalement de l'eau, produire de la nourriture 100 fois moins cher et rendre l'énergie renouvelable omniprésente. Au cours des 50 prochaines années, nous devrons faire plus avec moins, et il existe très peu de solutions pratiques. Former des machines pour qu'elles deviennent des partenaires de recherche scientifique et des créateurs est essentiel, donc le potentiel est énorme. Mais la forme de l'IA n'est pas inévitable ; la manière dont elle se manifeste et est gouvernée dépend de nous au cours de la prochaine décennie. Si nous n'acceptons pas ce défi, cela nous tombera dessus. Je lutte depuis 15 ans pour savoir comment intervenir afin que les bénéfices l'emportent largement sur les risques potentiels.

À quel stade étiez-vous pétrifié ?

J'ai fondé DeepMind en 2010. Au cours des premières années, les progrès étaient modestes, mais en 2013, alors que la révolution de l'apprentissage profond décollait, j'ai vu des lueurs de premières IA apprenant des choses ingénieuses. Par exemple, nous avons appris à une IA à jouer à des jeux Atari comme Space Invaders et Pong. Nous l'avons entraînée à observer les pixels bruts bougeant sur l'écran et à contrôler les actions. Elle est devenue si douée, simplement en associant une valeur entre la récompense et une action, qu'elle a appris des mini-stratégies que nous, humains, n'avions même pas remarquées. C'était incroyable pour moi parce que ce système simple découvrait des astuces qui ne nous étaient pas venues à l'esprit. C'est à la fois passionnant car cela offre l'opportunité de faire progresser notre civilisation, mais aussi pétrifiant.

Y a-t-il eu un moment particulier chez DeepMind où vous avez eu ce moment eurêka, une épiphanie ?

C'était un moment même avant 2013, je me souviens avoir regardé un prototype d'un modèle de génération d'images entraîné à générer des chiffres manuscrits sur une minuscule grille. Nous essayions d'entraîner l'IA à générer un chiffre sept avec une nouvelle écriture. Cela semble simpliste aujourd'hui, mais cela a pris 15 secondes et s'est résolu ; des pixels blancs sont apparus de l'obscurité et ont révélé un chiffre sept. Le modèle comprenait suffisamment bien la représentation pour générer un nouvel exemple. Avancez de 10 ans et nos prédictions étaient correctes. Davantage de puissance de calcul et de vastes quantités de données nous ont permis de passer de la prédiction de chiffres en noir et blanc à la génération de vidéos photoréalistes avec une simple commande en langage naturel.

Vous avez qualifié cela de prévisible, mais qu'est-ce qui vous a surpris au cours de la dernière décennie ?

La génération d'images et de sons était prévisible car la structure d'une image est contenue localement. Je pouvais intuitivement saisir que nous pourrions passer de la prédiction de chiffres sept à des images entières ou de l'audio. Ce qui était plus surprenant, c'est que ces mêmes méthodes s'appliquaient au langage. Le langage semble être un espace d'idées abstrait différent. Quand je dis « le chat est assis sur le », la plupart des gens préiraient « tapis », mais il y a une infinité d'autres possibilités. L'espace est tellement plus grand et les idées tellement plus abstraites que je ne pouvais pas concevoir intuitivement que nous créerions les incroyables grands modèles de langage que vous voyez aujourd'hui.

Vos ChatGPT.

ChatGPT, Bard de Google, et ma nouvelle société Inflection possède une IA appelée Pi qui signifie intelligence personnelle ; elle est aussi bonne que ChatGPT mais plus émotionnelle et empathique. Il est super surprenant que le fait de multiplier par 10 la taille de ces modèles chaque année pendant 10 ans ait produit cela. Si vous vous arrêtez pour réfléchir aux chiffres : en 2013, l'IA Atari utilisait deux pétaflops de calcul. Péta signifie un million de milliards de calculs, donc deux millions de milliards, ce qui est déjà un chiffre insensé.

Ouais, vous m'avez perdu à deux.

C'est totalement fou. Chaque année depuis lors, nous avons multiplié par 10 le nombre de calculs, de sorte qu'aujourd'hui, le plus grand modèle de langage que nous entraînons chez Inflection utilise 10 milliards de pétaflops. C'est un nombre insondable. Nous avons observé que la mise à l'échelle de ces modèles produit une expérience magique qui donne l'impression de parler à un humain extrêmement savant.

Il s'est passé tellement de choses dans la conversation publique autour de l'IA et j'ai tellement de questions. Je pense qu'en ce moment, je me sens assez effrayé, mais c'est une peur logique. Mon cerveau logique n'a pas réussi à trouver comment éviter l'issue où les humains deviennent l'espèce moins dominante. Le premier chapitre de votre livre, The Coming Wave, s'intitule de manière appropriée à ce que je ressens : « L'endiguement n'est pas possible ». Vous appelez la réaction émotionnelle généralisée le « piège de l'aversion au pessimisme ».

Exactement.

Qu'est-ce que le piège de l'aversion au pessimisme ?

Nous ressentons tous cette peur quand nous commençons à appréhender cette vague qui arrive. C'est effrayant et menaçant. Beaucoup de gens, ces dernières années, ont réagi en évitant le pessimisme et en prétendant que soit cela n'arrive pas, soit que tout finira par être rose. Nous avons un biais d'optimisme par défaut. Je pense qu'il s'agit moins d'un besoin d'optimisme que d'une peur du pessimisme. Ce piège signifie que souvent, nous n'avons pas les conversations difficiles nécessaires pour répondre à la vague qui vient.

Avez-vous peur d'avoir ces conversations difficiles à cause de la manière dont elles pourraient être reçues ?

Plus vraiment maintenant. J'ai passé la majeure partie de ma carrière à essayer de mettre ces questions difficiles sur la table politique, en soulevant des problèmes d'éthique, de sécurité et d'endiguement auprès des gouvernements et des sociétés civiles. Je me suis habitué à en parler, et il est essentiel d'avoir une conversation hononête car nous ne pouvons pas laisser cela nous arriver. Nous devons en parler ouvertement.

Au moment où nous parlons, pensez-vous que ce soit endiguable ? Je ne vois pas comment. Le chapitre trois traite du problème de l'endiguement où vous donnez l'exemple du marteau, qui peut être utilisé pour construire ou pour tuer. Vous dites que dans l'histoire, nous n'avons pas pu interdire une technologie ; elle trouve toujours son chemin dans la société à cause des incitations, comme la bombe nucléaire. Êtes-vous optimiste ?

Je ne pense pas qu'un cadre d'optimisme ou de pessimisme soit le bon, car les deux sont biaisés d'une manière qui nous distrait. À première vue, il semble que l'endiguement ne soit pas possible, mais nous avons su reculer face à la frontière dans des cas comme les CFC ou les armes chimiques et biologiques. Cependant, ceux-ci avaient des alternatives. Dans ce cas, ces technologies sont à usage multiple : la même technologie peut identifier des tumeurs cancéreuses ou identifier une cible sur le champ de bataille. Cet usage mixte favorisera la prolifération car il existe d'énormes incitations commerciales et des avantages. Le défi est de savoir comment arrêter quelque chose qui est si bénéfique mais qui peut aussi être utilisé de mauvaises manières.

Pensez-vous que nous y arriverons ?

Je pense que oui. Les États-nations restent l'épine dorsale de notre civilisation. L'État-nation va devoir se mettre à jour rapidement pour contenir cette technologie car sans surveillance, elle proliférera. La réglementation reste un outil réel et nous devons l'utiliser.

À quoi ressemble le monde dans 30 ans si cela n'arrive pas ? La personne moyenne pense aux grands modèles de langage auxquels elle peut poser des questions pour ses devoirs car c'est tout ce à quoi elle a été exposée. Pour donner une idée aux gens, quel est son potentiel si on ne l'endigue pas, et à quoi ressemble le monde dans 30 ans ?

Je pense que l'on aura largement l'impression d'avoir affaire à un autre humain. Pensez à tout ce que vous pourriez faire dans le monde numérique.

Je veux dire en 2050.

D'ici 2050, nous aurons certainement des robots. Plus que cela, nous aurons de nouveaux êtres biologiques parce que la même trajectoire que nous avons connue avec les logiciels va également s'appliquer à la plateforme de la biologie.

Êtes-vous mal à l'aise de parler de cela ?

Ouais, c'est assez fou.

J'ai remarqué que vous avez croisé les bras et j'utilise cela comme un indice pour savoir quand un sujet est inconfortable. Vous en savez tellement plus que moi à ce sujet et vous avez passé des années chez DeepMind, l'un des pionniers dans ce domaine. J'ai regardé une interview d'Elon Musk où il disait qu'il en était presque arrivé au point de vivre dans une incrédulité suspendue, pensant que s'il passait trop de temps à y réfléchir, il ne comprendrait plus le but de ce qu'il fait. Il dit que c'est plus dangereux que les armes nucléaires et qu'il est trop tard pour l'arrêter. Il s'est arrêté pendant 20 secondes sans savoir quoi dire, puis a conclu qu'il vivait dans une incrédulité suspendue.

C'est le moment où nous nous trouvons. Nous devons affronter la probabilité d'issues sombres car la nature compétitive des entreprises et des États-nations signifie que tout le monde va faire la course pour s'approprier l'intelligence. L'intelligence va être une nouvelle forme de capital, comme la terre ou le pétrole. Nous pouvons voir la trajectoire prévisible d'améliorations exponentielles et partout où il y a du pouvoir, il y a un nouvel outil pour le décupler. En regardant vers 2050, on a vraiment l'impression d'une nouvelle espèce qui doit être maîtrisée. Nous ne pouvons pas nous permettre d'être délogés en tant qu'espèce dominante sur cette planète.

Vous avez mentionné des robots et de nouvelles espèces biologiques. Éclairez-moi un peu sur ce que vous voulez dire par là.

Jusqu'à présent, le rêve de la robotique ne s'est pas vraiment concrétisé, mais il est sur la même trajectoire que ces autres technologies. Au cours des 30 prochaines années, nous aurons des robots humanoïdes qui accompliront de nombreuses tâches physiques. De même avec la biologie, nous pouvons désormais séquencer un génome pour un millionième du coût du premier génome il y a 20 ans. Nous pouvons désormais synthétiser de nouveaux morceaux d'ADN qui donnent naissance à la vie sous toutes ses formes, et nous commençons à manipuler cet ADN pour supprimer des traits qui ne nous plaisent pas ou ajouter de nouvelles choses que nous voulons, comme des niveaux de protéines plus élevés dans la viande.

Quelles sont les implications potentielles de cela ?

Le scénario le plus sombre est que des gens expérimentent des agents pathogènes synthétiques qui pourraient finir par être plus transmissibles ou plus mortels.

Comme une pandémie.

Comme une pandémie. C'est là que nous avons besoin d'endiguement. Nous devons limiter l'accès aux outils et au savoir-faire permettant de mener ces expérimentations. L'anthrax n'est pas quelque chose qui peut s'acheter sur internet, et les tout meilleurs de ces outils d'IA vont être capables de créer de nouveaux agents pathogènes pandémiques. Nous devons restreindre l'accès à la puissance de calcul, aux logiciels et aux substances biologiques. Nous devons aborder cela avec le principe de précaution. Jamais auparavant dans l'invention d'une technologie nous n'avions dit de manière proactive que nous devions ralentir pour garantir qu'elle ne cause aucun tort. Ceux d'entre nous qui sont les plus proches du travail voient qu'elle pourrait devenir incontrôlable dans 10 ans, et il vaut mieux renoncer à certains avantages potentiels jusqu'à ce que nous soyons sûrs qu'elle peut être contrôlée pour servir nos intérêts.

Je pense au pouvoir de cette intelligence. On pourrait théoriquement demander à l'un de ces systèmes de créer un virus très mortel avec certaines propriétés, peut-être même un qui mute pour ne tuer qu'une certaine quantité de personnes, un peu comme une bombe nucléaire de virus. Si j'entends cela, je pourrais en vouloir un juste au cas où un adversaire deviendrait incontrôlable. La Russie et l'Amérique pensent la même chose. Même si vous adoptez une approche de précaution aux États-Unis, cela vous met en position de faiblesse lorsqu'un adversaire accélère.

Vous avez mis le doigt dessus ; c'est la « condition de course ». Si je ne le fais pas, l'autre partie le fera, donc je dois le faire. Mais cela crée une prophétie auto-réalisatrice où nous finissons tous par le faire. Cela ne peut pas être juste car il y a une opportunité pour une coopération massive. Nous avons tous un intérêt commun à faire progresser la santé et le bien-être collectifs de l'humanité.

À quel point avons-nous réussi à promouvoir l'intérêt commun dans le développement des technologies au fil des ans, même au niveau des entreprises ?

Le traité de non-prolifération nucléaire a été raisonnablement efficace. Il n'y a que neuf États nucléaires aujourd'hui, et trois pays ont en fait renoncé aux armes nucléaires parce que nous les y avons incités. De petits groupes ont tenté d'accéder aux armes nucléaires et ont largement échoué.

C'est cher et difficile de stocker de l'uranium. Je ne pourrais pas juste le mettre dans une remise.

Vous ne pourriez certainement pas le mettre dans une remise. Vous ne pouvez pas télécharger de l'uranium 235 sur internet. Ce n'est pas disponible en open source, donc les caractéristiques sont différentes.

Mais un gamin dans sa chambre pourrait télécharger quelque chose sur son ordinateur qui soit incroyablement nocif dans le domaine de l'intelligence artificielle.

Ce sera possible dans les cinq prochaines années. Il y a une tendance bizarre : les modèles de pointe construits par Google et OpenAI coûtent des centaines de millions, mais ce qui était à la pointe il y a quelques années est maintenant en open source. Le code et les poids de GPT-3 sont entièrement disponibles gratuitement et il est beaucoup plus petit, ce qui signifie qu'il est moins cher à faire fonctionner. C'est la trajectoire naturelle des technologies utiles. C'est le défi de l'endiguement que j'essaie de soulever dans mon livre.

Nous serons tous les deux vivants dans 30 ans, à moins qu'un robot ne nous tue.

J'espère bien.

Quand vous aurez 60 ans, pensez-vous que nous aurons réussi l'endiguement à l'échelle mondiale ?

Je pense que nous le devons. Je ne peux même pas imaginer que nous n'y arrivions pas.

Pourquoi ?

Parce que je suis fondamentalement un humaniste. Je pense que nous devons faire le choix de donner la priorité à notre espèce. Il est possible que nous inventions des AGI dont il est prouvé qu'elles sont subordonnées aux humains, mais nous sommes assez nombreux à penser que nous ne pouvons pas en être sûrs, donc nous ne devrions pas prendre le risque. Nous devrions nous concentrer sur l'endiguement et la non-prolifération car certaines personnes ayant accès à la technologie voudront voir ce qu'il y a de l'autre côté de la porte et pourraient ouvrir la boîte de Pandore. Cette décision nous affecte tous. C'est cela un monde en réseau : une personne prenant une petite action peut soudainement se propager partout instantanément.

Quelles que soient leurs intentions au moment de l'action.

Cela peut être involontaire ; ils n'ont peut-être jamais eu l'intention de faire du mal.

Vous avez dit qu'il y aura une intelligence de niveau humain avec laquelle interagir, mais cela ressemble à un vœu pieux. Que serai-je pour elles ? Mon QI par rapport à celui de mon chien Pablo n'est pas si éloigné. Il n'y a qu'une différence de 1 % d'ADN avec un orang-outan, pourtant ils lancent leurs excréments pendant que je diffuse. Comme vous l'écrivez au chapitre quatre, il semble ne pas y avoir de limite supérieure au potentiel d'intelligence de l'IA. Pourquoi une telle intelligence voudrait-elle interagir avec moi ?

Cela dépend de la manière dont vous la concevez. L'un des défis de l'endiguement est de concevoir des IA avec lesquelles nous voulons interagir et qui veulent interagir avec nous. Si vous fixez un objectif à une IA qui, par nature, vous ignore en tant qu'humain, alors elle va s'égarer et faire des choses étranges.

Et si elle se réplique ? Si quelque chose devient mille fois plus intelligent que moi, penser que je pourrais avoir une influence sur elle me donne l'impression de surestimer mon importance face à quelque chose d'incompréhensiblement intelligent. La vitesse de son calcul est mille fois supérieure à ce que mon cerveau peut faire. Comment savoir si elle va me respecter ou comprendre que j'ai de l'importance ?

Cela nous ramène au défi de l'endiguement. Si nous ne pouvons pas être certains qu'elle nous respectera, nous devons adopter le principe de précaution. Il semble probable qu'une IA tire parti de données et d'un calcul infinis et dépasse notre capacité d'action, nous devons donc reculer devant ce précipice. Le problème de l'endiguement consiste en fait à dire « non » parfois. C'est un muscle que nous n'avons jamais vraiment exercé en tant que civilisation. Chaque centimètre de notre commerce et de notre politique n'est que choc et compétition.

Profit. Croissance. Victoire.

Exactement. Nous devons réduire la paranoïa et l'exclusion de l'autre, car ce sont ces dynamiques d'incitation qui vont nous pousser à causer de l'auto-mutilation à l'humanité.

Il y a eu quelques moments clés dans ma compréhension de l'IA qui ont été des changements de paradigme. Comme beaucoup, je pensais à l'IA comme à un enfant que je programmerais pour jouer aux échecs. Puis j'ai regardé le documentaire AlphaGo.

C'est exact.

C'était DeepMind, n'est-ce pas ?

C'était nous. Oui.

Vous avez programmé cette IA pour jouer au Go. Elle a fini par battre le champion du monde simplement en jouant contre elle-même. Dans la quatrième partie, elle fait un coup que personne n'aurait pu prédire — un coup qui semble n'avoir aucun sens.

C'est vrai.

Dans ces moments où personne ne l'a entraînée et où elle a fait quelque chose d'inattendu, comment l'entraîner si elle fait des choses que nous n'avions pas anticipées ? Comment la contrôler lorsqu'elle fait des choses que les humains ne pouvaient pas anticiper, comme le coup 37 ?

Exactement.

C'est le coup 37 ?

C'est bien lui.

Regardez ce que mon intelligence a trouvé.

Beau travail.

Je vais survivre un peu plus longtemps que je ne le pensais.

Vous avez au moins une autre décennie devant vous.

Le coup 37 était dingue ; tout le monde s'est demandé pourquoi elle avait fait ça, et cela s'est avéré être un coup de génie que les humains ne pouvaient pas prévoir.

Le commentateur a d'ailleurs cru que c'était une erreur.

Ouais.

C'était un pro et il pensait que c'était sans aucun doute une erreur et qu'AlphaGo avait perdu la partie.

Mais elle était tellement en avance sur nous qu'elle savait quelque chose que nous ignorions.

C'est vrai.

C'est là que j'ai perdu espoir dans l'idée de l'entraîner à faire ce que nous voulons. Comme un chien : assis, donne la patte, fais le beau.

C'est vrai. Le défi est que nous voulons réellement qu'elle fasse ces choses. Quand elle nous aide à trouver un remède pour une maladie, c'est pour cela que nous la construisons, car nous atteignons les limites de ce que les humains peuvent résoudre. Nous voulons que ces outils nous boostent, pourtant cette créativité et cette invention nous font aussi craindre qu'elle puisse faire des choses qui ne nous plaisent pas.

Comment composez-vous avec le potentiel positif évident tout en étant conscient du risque existentiel horrifiant ? Vous construisez Inflection AI et vous comprenez les incitations au niveau des États-nations et des entreprises pour continuer à aller de l'avant. L'« incrédulité suspendue » est-elle la voie à suivre ? Juste savoir que cela va arriver et ne pas trop y penser pour que tout aille bien.

On ne peut pas abandonner. Peser deux vérités contradictoires est une honnêteté que nous devons adopter car le seul chemin possible est d'assumer les risques. Si vous mettez des œillères ou si vous restez super optimiste, vous n'obtiendrez pas l'engagement nécessaire pour résoudre ce problème. Je garde espoir parce que nous progressons en attirant l'attention de tout le monde. Personne n'a toutes les réponses. J'ai écrit ce livre pour dire que l'endiguement doit être possible.

Il le doit.

Il doit être possible.

Pourquoi ?

Il doit être possible.

Vous voulez qu'il le soit.

Je veux désespérément qu'il le soit.

Pourquoi doit-il l'être ?

Sinon, vous croyez que c'est l'évolution inévitable des humains — la vision transhumaniste. Élargissons les horizons : à quoi cela ressemblera-t-il en 2200 ?

Dites-le moi. Vous êtes plus intelligent que moi.

C'est époustouflant. Nous aurons des ordinateurs quantiques d'ici là. Un ordinateur quantique est une architecture informatique complètement différente qui permet d'effectuer des milliards de calculs en une seule opération. Tout ce qui se trouve dans le monde numérique aujourd'hui repose sur le traitement de l'information par des ordinateurs, et la vitesse de ce traitement est une friction. L'informatique quantique est un tout nouveau saut bien au-delà de là où nous en sommes actuellement.

Par analogie, comment pourrais-je comprendre cela ? Modem 56k contre informatique quantique ?

C'est cela.

Quelle est la différence ?

C'est difficile à expliquer. C'est des milliards de fois plus rapide. Pensez à une disquette : en 1960, c'était l'équivalent d'une palette entière d'ordinateur déplacée par un chariot élévateur. Aujourd'hui, vous avez des milliards de fois cette capacité dans votre smartphone. Demain, vous aurez cette puissance dans de minuscules appareils portables ou même des magnets de frigo captant et optimisant tout partout. On ne sait pas trop ce que l'on fera de toute cette connaissance. La connaissance crée de la valeur, et davantage de données a permis toute la valeur en ligne des 25 dernières années. Ce à quoi cela ressemblera dans 150 ans est difficile à imaginer. Je ne pense pas que tout le monde travaillera.

Pourquoi le ferions-nous ?

Nous ne travaillerions pas dans cet environnement. Si l'IA nous aide à résoudre le stockage des batteries — la pièce manquante pour lutter contre le changement climatique — nous pourrons stocker une énergie infinie provenant du soleil. Dans 20 ou 30 ans, ce sera une ressource bon marché et largement disponible. Tout dans la vie inclut le coût de l'énergie, donc si vous supprimez cela, tout devient moins cher. Nous pourrons dessaler l'eau, produire de la nourriture de haute qualité beaucoup moins cher et alimenter de nouvelles formes de transport. Le coût de production va s'effondrer. Tout va devenir radicalement moins cher dans 30 à 50 ans.

Donc, dans 200 ans, nous n'avons aucune idée de ce à quoi ressemble le monde. Cela revient à être un transhumaniste ?

C'est exact.

Qu'est-ce que cela signifie ?

Les transhumanistes croient qu'un jour les humains transcenderont notre substrat biologique. Notre corps physique n'est qu'un support pour l'intelligence. Certains pensent que nous pourrons nous télécharger sur un substrat de silicium qui conservera l'essence de qui vous êtes. Ainsi, en 2200, vous pourriez toujours être vous, mais vivant sur un serveur.

Pourquoi ont-ils tort ? Je pense aux technologies adjacentes comme les avancées biologiques — l'avez-vous appelée biosynthèse ? La biologie synthétique, le développement des nanotechnologies, l'informatique quantique, les progrès de l'IA... tout devient moins cher. Pourquoi ont-ils tort ?

Je n'ai pas vu de preuves que nous soyons capables d'extraire l'essence d'un être d'un cerveau. Je ne vois pas de preuves du dualisme corps-esprit dans les neurosciences ; ils ne font qu'un. Je ne pense pas que l'on puisse émuler le cerveau entier. Certaines personnes font cryogéniser leur cerveau après leur mort.

Mon Dieu.

Ils portent des étiquettes « cryogénisez-moi » et ont des services d'ambulance spéciaux pour préserver le cerveau au moment de leur mort. Personnellement, je pense que c'est insensé, mais leur conviction est que l'on pourra redémarrer ce cerveau et le transférer. Cela ne me semble pas plausible.

Vous avez dit qu'il doit être possible de l'endiguer, mais j'ai du mal car dans votre livre vous dites que l'IA est plus autonome que n'importe quelle autre technologie de l'histoire — une force auto-propulsée au-delà de l'action humaine. Cette idée d'une technologie intelligente et autonome agissant sans instruction me fait penser à un énorme Rottweiler. Il est mille fois plus grand que moi, et je lui dis « Je t'emmène en promenade » alors qu'il se contente de m'enjamber.

Nous avons déjà contenu des Rottweilers, des gorilles et des armes nucléaires auparavant. C'est le moment le plus paisible de l'histoire ; notre plus gros problème est que les gens mangent trop. Nous avons connu une période où les choses se sont globalement améliorées et où l'espérance de vie augmente. Nous avons réussi à contenir des forces plus puissantes que nous. Cela nécessite de la créativité, de l'adaptation et un ton humble dans la gouvernance — pas la paranoïa conflictuelle hyper-agressive du passé. Nous devons contenir cette force comme notre priorité absolue, car sinon c'est elle qui nous contient.

J'ai réfléchi à la cybersécurité. Avec des outils comme les grands modèles de langage, nous sommes confrontés à des questions de confiance. Nous pouvons désormais générer des sons et des vidéos réalistes. J'ai entendu parler d'une grand-mère qui a failli envoyer de l'argent après une arnaque vocale qui ressemblait à son fils. Nous sommes à un moment où nous ne pouvons plus faire confiance à ce que nous voyons ou entendons sur internet. Quels conseils avez-vous pour les personnes inquiètes ?

Le scepticisme est sain et nécessaire. Nous nous sommes adaptés à la première vague d'arnaques par courriels indésirables et de phishing par SMS. Nous devons nous attendre à ce que les criminels utilisent ces outils pour nous manipuler. Les deepfakes vocaux seront convaincants, mais il existe des moyens de les contourner. Les banques utilisent des mots de passe à usage unique, et de plus en plus nous aurons une authentification multi-facteurs où vous triangulez plusieurs sources indépendantes. Les mesures défensives doivent évoluer aussi vite que les attaques.

Vous avez dit que pour beaucoup de ces problèmes, nous allons avoir besoin d'IA pour nous défendre contre d'autres IA.

Nous avons déjà cela. Nous avons des moyens automatisés de détection des spams et des systèmes d'apprentissage automatique pour identifier l'utilisation frauduleuse des cartes de crédit. Les caméras de sécurité utilisent des algorithmes de suivi pour les sons surprenants. Ces IA vont devenir plus performantes, et les utiliser pour la défense est exactement ce à quoi ressemble une IA saine et contrôlée.

J'ai demandé à un grand modèle de langage un exemple d'IA détruisant l'humanité et comment l'empêcher. Il a décrit une IA appelée Cynthia, et la défense était une autre IA agissant dans l'intérêt des humains. Si une IA commençait à faire des ravages sur les infrastructures, nous aurions besoin d'un système tout aussi intelligent pour la combattre.

Nous avons constaté que c'est généralement l'IA plus l'humain qui domine encore, comme c'est le cas aux échecs et au Go.

Au Go, est-ce toujours-

Un article a récemment montré qu'un humain a battu un programme de Go de pointe avec une nouvelle stratégie. Les humains s'adaptent, deviennent plus intelligents et utilisent leurs propres IA. C'est la nature évolutive de la technologie. Les lunettes ont rendu les gens plus intelligents en leur permettant de lire plus longtemps ; la technologie est une interaction itérative entre l'homme et la machine.

Sachant les conséquences si nous ne parvenons pas à l'endiguement, pourquoi avez-vous choisi de créer une entreprise dans ce domaine ? Pourquoi avez-vous fait cela ?

Le meilleur moyen de démontrer comment construire une IA sûre et endiguée est d'expérimenter avec elle. Si nous restons à l'écart de la pointe, nous abandonnons l'opportunité de façonner les résultats à des acteurs qui pourraient poursuivre le profit à tout prix. Cela ne résout pas tous les problèmes, mais je pense que c'est la bonne façon de procéder.

Expérimenter au front.

Si vous avez peur, comprenez. Une compréhension profonde réduit la peur. Passez du temps avec ces modèles et regardez leurs faiblesses — ils font encore beaucoup d'erreurs. Ils ne sont en fait pas si difficiles à construire.

Plus vous avez expérimenté, cela a-t-il été corrélé à une réduction de la peur ?

Oui et non. À court terme, j'ai moins peur car je ne vois pas de préjudice existentiel au cours des deux prochaines décennies. Mais à plus long terme, j'ai du mal à imaginer comment les choses évolueront dans 30 ans.

C'est ce que je dis. J'allais bien avant de commencer à parler d'IA.

C'est vrai.

Certains disent que la réglementation gouvernementale réglera le problème. Rishi Sunak a fait une annonce concernant un comité. Que répondez-vous à cela ?

Joe Biden et l'UE ont également des propositions. La réglementation est essentielle, mais elle ne suffit pas. Beaucoup de régulateurs n'en comprennent pas encore les détails, même s'ils essaient. Je le dis depuis une décennie, et maintenant tout le monde y prête attention car ils voient l'avenir. Nous avons besoin de mouvements, de culture et de personnes construisant de manière moderne. Nous avons besoin de beaucoup de gens expérimentant des stratégies d'endiguement.

N'est-il pas prédit que cette industrie pèse 15 billions de dollars ?

Ouais, j'ai entendu cela. C'est beaucoup.

Si je suis Premier ministre et que je pourrais ne plus être en fonction dans deux ans, je ne veux pas ralentir une manne de 15 billions de dollars pour mon pays. Je dois booster les chiffres pendant ma fenêtre électorale. Je pourrais vous faire de belles promesses, mais je ne serai plus là à moins que les chiffres ne soient bons.

Le court-termisme est partout. Qui est responsable de l'avenir dans 20 ans ?

Qui est-ce ?

Le monde change à l'échelle d'une décennie, mais la gouvernance arbitraire d'un cycle électoral de quatre ans nous tue. Nous manquons d'un organe institutionnel pour la stabilité. Nous avons besoin d'une stratégie mondiale d'endiguement capable de mettre en œuvre le principe de précaution. Les institutions mondiales formées après la Seconde Guerre mondiale ont créé une interdépendance, mais nous manquons d'un mécanisme international pour instaurer la paix dans l'IA. Au lieu de cela, nous recourons à un langage de « choc des civilisations » concernant la Chine, qui suppose que le conflit est inévitable. La réglementation ne suffit pas à gérer cela.

Êtes-vous optimiste quant à une collaboration mondiale ? Les mêmes incitations sont en jeu avec le changement climatique : pourquoi réduire les émissions de carbone ou le développement de l'IA si cela rapporte des billions ?

La réponse douloureuse est que nous n'avons jamais suscité un consensus extrême que dans deux scénarios : après une catastrophe inimaginable, comme la Seconde Guerre mondiale, ou lorsqu'il y a une destruction mutuelle assurée.

Nous avons quand même tiré la balle. Nous avons largué des bombes nucléaires.

Exactement. Il faut une catastrophe pour déclencher un alignement. L'autre scénario est la destruction mutuelle assurée, où les deux parties craignent le suicide.

Et quand il y avait peu de parties.

Exactement.

Avec les armes nucléaires, il n'y avait que neuf États. Avec l'IA, plus de neuf personnes auront accès à ce pouvoir pour des raisons malveillantes.

Le défi de l'endiguement est de réduire au minimum le nombre d'acteurs ayant accès à des menaces existentielles, puis d'utiliser des incitations militaires et économiques pour empêcher la prolifération de la superintelligence.

Un mot rapide sur Huel. Je suis investisseur dans l'entreprise. Quand je suis occupé et que je voyage partout, Huel est une nécessité. Cela me permet d'obtenir toutes les vitamines et minéraux dont j'ai besoin pour être en phase avec mes objectifs de santé tout en répondant à mes exigences professionnelles. Si vous n'avez pas essayé, je vous recommande vivement de tester Huel. Vous pouvez maintenant trouver la version prête à boire dans les Tesco Express partout au Royaume-Uni.

Vous avez exposé un plan pour l'endiguement. Premièrement, la sécurité — des IA développées pour contenir d'autres IA. Deuxièmement, les audits — auditer ce qui est construit dans les modèles open source. Troisièmement, les points de blocage. Qu'est-ce que c'est ?

Les points de blocage sont des parties de la chaîne d'approvisionnement où l'on peut restreindre l'accès. Internet est un ensemble de câbles physiques sous la mer, et ces points de terminaison peuvent être contrôlés. Un autre point de blocage est l'accès aux puces — les GPU utilisés pour entraîner de grands clusters. Nous avons l'un des plus grands supercalculateurs au monde, qui a coûté 1,3 milliard de dollars. Restreindre l'accès à ces puces est un point de blocage.

Vous avez dépensé un milliard de dollars pour un ordinateur.

Nous l'avons fait ; c'était en fait environ 1,3 milliard.

Dans quelques années, ce sera le prix d'un iPhone.

C'est bien le problème. Tout le monde l'aura.

Vous suggérez aux gouvernements de taxer les entreprises d'IA pour financer des changements sociétaux comme la reconversion et l'éducation.

Oui.

Si vous taxez lourdement une entreprise d'IA ici, elle ira à Dubaï ou au Portugal. Ils ne construiront pas là où la taxation est un désavantage concurrentiel.

Taxer les choses les ralentit, ce qui est le but si nous voulons contenir ces technologies. Une coordination est nécessaire car les entreprises pourraient partir à Singapour ou à Dubaï. Pour la prochaine décennie, la force intellectuelle restera dans les méga-villes. J'ai déménagé dans la Silicon Valley parce que la concentration de talents y est écrasante. À long terme, nous avons besoin que les États-nations acceptent de ralentir ensemble, car si un pays prend de l'avance, cela compromet l'effort. C'est le dilemme.

Je suis une personne logique et je vois plus de raisons pour lesquelles nous ne pourrons pas contenir l'IA que de raisons pour lesquelles nous le pourrons. Dans votre livre, vous expliquez que les incitations poussent vers un manque d'endiguement. À court terme, c'est une conquête de territoire. Vous dites que la « vague à venir » représente le plus grand prix économique de l'histoire, et que les scientifiques ont soif de statut et de succès. Ils veulent être les premiers et les meilleurs.

C'est exact.

Vous, Sam Altman et Elon Musk voulez tous le succès et une place dans l'histoire.

C'est exact.

Les incitations sont le meilleur prédicteur de comportement, et au niveau mondial, elles suggèrent que l'endiguement n'aura pas lieu tant qu'un événement tragique ne nous y obligera pas. Ai-je raison de supposer cela ?

L'autre moteur est la menace d'une destruction mutuelle assurée. Nous ne devrions pas attendre quelque chose de catastrophique. La possibilité que la COVID-19 soit un effet secondaire de recherches en laboratoire aurait dû nous forcer à convenir que la recherche sur le gain de fonction doit cesser. Nous avons prouvé que nous ne pouvons pas surmonter le problème de l'endiguement en biologie ; des maladies comme la fièvre aphteuse se sont déjà échappées de laboratoires par le passé.

Mais cela n'a pas changé notre comportement.

La fièvre aphteuse n'a tué que du bétail, donc cela n'a pas causé assez de tort pour changer les choses. Nous ne parvenons toujours pas à nous entendre sur l'origine de la pandémie. Je me sens pessimiste parce qu'il semble évident que ces recherches devraient être arrêtées. Nous devrions utiliser ces moments pour acquérir de la sagesse sur la manière de gérer la technologie dans les décennies à venir.

Devrions.

Nous devons.

C'est le mieux que je puisse faire. Devoir.

Je veux savoir si nous le ferons.

Je pense que les probabilités sont faibles. Par exemple, l'autonomie est une capacité de l'IA que nous ne devrions pas poursuivre.

Vraiment ? Comme les voitures autonomes et tout ça ?

Les voitures autonomes sont différentes car elles opèrent dans un domaine physique contraint avec un contrôle GPS et une télémétrie qui montre qu'elles se comportent comme prévu. Cependant, nous devrions résister à l'autonomie lorsqu'une IA est conçue pour s'auto-améliorer sans surveillance, ou aux armes de champ de bataille qui font face à de nouveaux ennemis à chaque fois. Nous ne devrions pas avoir de robots militaires autonomes dotés d'une force létale.

Vous comprenez les incitations si clairement que j'ai du mal à croire que vous ne pensiez pas qu'elles l'emporteront. Souvent, nous nous réveillons après 10 ans et nous nous demandons comment nous en sommes arrivés là parce que nous n'avons pas tiré la sonnette d'alarme plus tôt. Nous avançons avec optimisme et nous nous réveillons dans 30 ans en ayant perdu le contrôle. J'ai du mal à voir comment quelqu'un d'aussi intelligent que vous croit que l'endiguement va se produire.

Je n'ai pas dit que c'est possible ; j'ai dit que cela doit l'être. Je décris des incitations interdépendantes qui entraînent un processus produisant des résultats dangereux. L'endiguement est le grand défi du XXIe siècle. Si ce n'est pas possible, nous avons de sérieux problèmes. Le premier chapitre dit que ce n'est pas possible, mais pour notre bien, cela doit l'être. C'est ce sur quoi nous devons travailler.

Nous n'avons pas le choix.

Nous n'avons pas d'autre choix que de travailler sur ce problème. C'est un problème crucial.

Quelle part de votre temps consacrez-vous à ce problème ?

Essentiellement tout mon temps. Notre entreprise est une société d'intérêt public, ce qui nous donne l'obligation légale d'équilibrer le profit avec notre impact sur le monde, y compris l'environnement et les non-utilisateurs. C'est une évolution importante de la structure d'entreprise. Si les compagnies de tabac ou de pétrole avaient été tenues de gérer leur travail au-delà du simple profit, les choses seraient différentes. C'est une innovation progressive mais importante dans la manière dont nous organisons la société et encourageons notre travail.

Cela vous rend-il triste parfois, ce qui se passe ?

Oui, c'est intense et c'est beaucoup à assimiler.

Est-ce que cela pèse sur vous ?

Chaque jour. Je travaille sur ce sujet depuis des années et c'est émotionnellement lourd de penser à l'avenir. Je ressens de la frustration quand les gouvernements ne fonctionnent pas ou que les entreprises n'écoutent pas, et quand la culture s'obsède pour de petites choses alors que nous devons nous concentrer sur la vision d'ensemble.

Vous avez une plus grande responsabilité parce que vous comprenez la technologie et que vous avez une chance de l'orienter.

J'accepte cela comme un privilège.

Dans la pièce Hamilton, il y a une réplique : « L'histoire a les yeux rivés sur vous ». Ressentez-vous cela ?

Je ressens cela, oui.

Vous êtes heureux, n'est-ce pas ?

Quelle est la gamme d'émotions avec laquelle vous composez fréquemment ?

C'est épuisant et exaltant à parts égales. C'est magnifique de voir des millions de personnes bénéficier d'outils d'IA qui les rendent plus sages et en meilleure santé. À court terme, c'est incroyable. À plus long terme, c'est épuisant de continuer à avancer le même argument. Je ressens un sentiment de soulagement ces derniers temps car depuis ChatGPT, tout le monde comprend. C'est devenu un problème partagé maintenant, pas seulement dans ma tête ou celle de quelques personnes chez DeepMind et OpenAI.

En fin de compte, les êtres humains pourraient ne plus être les principaux moteurs planétaires comme nous avons eu l'habitude de l'être. Nous allons vivre dans une époque où la majorité de nos interactions quotidiennes ne seront pas avec d'autres personnes mais avec l'IA. Page 284 de votre livre. La dernière page.

Ouais. Nous y sommes déjà. Les gens passent 12 heures par jour à regarder des écrans plutôt qu'à regarder leurs proches. Le métavers a été mal caractérisé comme un monde virtuel dans lequel nous déambulerions. Le métavers est déjà là — c'est l'espace numérique qui existe en parallèle de notre vie quotidienne, comme les conversations sur Twitter ou YouTube. C'est un espace numérique parallèle qui vit en relation avec notre monde physique.

Si un enfant vous demandait ce qu'il devrait poursuivre à la lumière de la façon dont l'IA change le monde, que lui diriez-vous ?

Le savoir est le pouvoir. Acceptez et comprenez les conséquences. Ne détournez pas le regard quand c'est effrayant. Participez et façonnez-le, car il arrive.

Que peuvent faire les individus pour aider à l'endiguement ?

Lisez, utilisez les outils et comprenez la réglementation. Trouvez des groupes de campagne ou connectez-vous avec d'autres en ligne. Posez des questions et soyez attentifs. C'est suffisant — il n'est pas nécessaire d'être plus prescriptif car les gens sont créatifs et ce que vous pouvez apporter deviendra évident si vous êtes attentif.

Dernière question. Et si nous échouons et si nous réussissons ? Et si nous échouons dans l'endiguement et si nous réussissons l'endiguement de l'intelligence artificielle ?

Si nous réussissons, ce sera le moment le plus productif de l'histoire. Nous mettrons l'intelligence à la disposition de milliards de personnes, ce qui nous rendra plus intelligents et plus créatifs. Au cours des prochaines décennies, nous résoudrons les défis sociaux et réduirons le coût de l'énergie, de la nourriture, des soins de santé et de l'éducation à un coût marginal nul. Cela produira une abondance radicale d'ici 30 ans.

Et dans un monde d'abondance radicale, que fais-je de ma journée ?

C'est un bon problème à avoir. Un meilleur problème que ce dont nous avons discuté.

Tout ce qui est merveilleux semble avoir une conséquence involontaire.

Nous vivons dans l'abondance alimentaire et notre problème est l'obésité ; je préfère cela aux alternatives. Nous créerons d'autres opportunités de lutte. Nous nous dirigeons vers un monde où nous libérons les gens du travail. J'ai longtemps prôné un revenu de base universel, bien qu'il puisse prendre la forme d'une réduction du coût des biens de première nécessité pour que les gens ne dépendent pas d'un revenu. Imaginez l'énergie et la nourriture gratuites changeant la structure des villes. Cela permet aux gens de prendre le contrôle de leur destin et de créer leur propre sens. C'est incroyablement créatif, et c'est à cela que ressemble le succès.

Et

L'échec, c'est ne pas atteindre l'abondance radicale, ou plus important encore, un échec de l'endiguement.

À quoi cela mène-t-il ?

Cela mène à une prolifération massive du pouvoir parmi ceux qui ont de mauvaises intentions.

À quoi cela mène-t-il ?

Dans un monde en réseau, un minuscule groupe souhaitant causer du tort aura accès à des outils capables d'impacter instantanément de nombreuses personnes. Le défi de la prolifération est d'empêcher les mauvais acteurs de déstabiliser notre monde. C'est cela l'endiguement.

Notre tradition de clôture est une question du dernier invité : Quel endroit considérez-vous comme le plus sacré ?

Le lac Windermere dans le Lake District. Je me souviens qu'il était incroyablement serein et beau quand j'étais jeune.

Cela semble être l'antithèse du monde dans lequel nous vivons.

Peut-être que je devrais y retourner et me détendre.

Merci d'avoir écrit un si grand livre qui présente des solutions de manière équilibrée. C'est nuancé, intelligent et nécessaire compte tenu des enjeux. C'est incroyablement accessible ; j'ai enfin compris des termes comme nanotechnologie et informatique quantique et leur relation entre eux. C'est un livre merveilleux et parfaitement opportun. Je le recommande vivement. Merci, Mustafa.

Merci. C'était génial et j'ai adoré cette conversation très variée.

Merci.

Si vous avez écouté, vous savez que nous sommes soutenus par Airbnb. Cela m'étonne de voir combien de gens ne réalisent pas qu'ils pourraient disposer de leur propre Airbnb. Comme je travaille souvent en déplacement, il est logique de mettre mon logement sur Airbnb. Si votre travail vous oblige à être absent, ne laissez pas votre maison vide. Vous pouvez transformer votre maison en Airbnb pour générer des revenus. Votre maison pourrait valoir plus que vous ne le pensez ; découvrez-le sur airbnb.co.uk/host.