Yoshua Bengio, merci de nous avoir rejoint. Nous avons le centre de conférence NeurIPS en arrière-plan. Le soleil vient de se coucher ici à San Diego. Il est censé faire chaud ici. Je n'ai pas très chaud assis ici dans le vent.

Eh bien, on dit que c'est un climat désertique, donc les nuits sont froides.

C'est vrai. J'habite à LA, et j'ai l'habitude d'avoir froid, donc je suis venu préparé avec plusieurs sweats. Merci de prendre le temps de discuter. Je suis ravi de plonger dans la géopolitique et l'IA open source versus fermée. J'aimerais parler de ce sur quoi vous travaillez, une organisation à but non lucratif appelée Law Zero. Commençons peut-être par cela.

Les lois de la robotique d'Asimov ont été corrigées par Asimov. Il a ajouté la Loi Zéro, qui concerne la protection de l'humanité, car la Loi Un consistait à ne pas nuire à un être humain.

C'est trop spécifique.

Oui, parfois vous devrez peut-être nuire à un humain pour sauver l'humanité.

Et il s'est donc corrigé en ajoutant une loi zéro qui précède toutes les autres. Pourquoi avez-vous nommé votre organisation à but non lucratif d'après cette loi ?

Parce que j'ai l'impression que l'IA va changer le monde si les choses continuent sur leur lancée actuelle et que nous ne rencontrons pas d'obstacle. Le pouvoir de l'intelligence va donner du pouvoir à quiconque la contrôle, y compris potentiellement des IA qui pourraient être plus intelligentes que nous ou des dictateurs. C'est une menace pour nos démocraties car la démocratie consiste à partager le pouvoir. S'il est possible pour une entité de détenir un avantage énorme contre d'autres êtres humains, alors c'est une menace immense.

Vous avez dit que vous pensiez que c'était possible. Pensez-vous qu'il soit très probable que nous soyons sur cette voie compte tenu des tendances et des progrès réalisés ?

Oui. Je ne vois aucune raison scientifique de penser que l'intelligence humaine est le sommet de l'intelligence. Les capacités continuent de progresser malgré les hauts et les bas ; sur plusieurs années ou une décennie, les tendances sont très fortes. Il y a de l'incertitude car la science évolue de manière imprévisible, mais il y a un investissement sans précédent dans ce domaine.

Le niveau d'investissement est sans précédent.

C'est complètement sans précédent. Les retombées économiques sont estimées à bien plus que les milliers de milliards de dollars que les gens ont déjà investis.

Les retombées, pas le coût pour y parvenir ?

Les retombées.

Compris.

Les retombées seraient de l'ordre de millions de milliards, alors que nous investissons des milliers de milliards.

C'est donc un excellent investissement pour l'humanité si nous pouvons respecter la Loi Zéro.

Exactement.

J'ai trouvé intéressant que vous évoquiez la démocratie. Quelle est la formulation exacte de la Loi Zéro ? Ne pas nuire à l'humanité ?

Oui.

Iriez-vous plus loin en disant profiter à l'humanité ?

Bien sûr.

Parce qu'elles pourraient simplement partir et ne pas nous nuire, comme s'envoler dans l'espace.

Absolument. Pour passer à la géopolitique, un avenir où le mauvais usage ou la perte de contrôle est géré nécessiterait un accord mondial. Les pays devraient convenir de ne pas faire de folies avec l'IA, de la développer en toute sécurité et de s'engager à ne pas l'utiliser pour dominer les autres. Enfin, nous devons nous assurer que tout le monde en profite.

Ce qui n'est pas gagné non plus.

Exact. Pensez-vous que si les États-Unis deviennent très riches grâce à l'IA, ils partageront la richesse avec toute la planète ? Je ne vois pas cela dans ma boule de cristal en ce moment.

C'est logique. Les gens parlent de mille milliards de dollars maintenant, peut-être plusieurs milliers de milliards au cours des cinq à dix prochaines années.

Mille milliards, c'est l'ensemble de l'écosystème. Tous les investisseurs en ce moment injectent un ou deux milliers de milliards, selon le calendrier. Les exécutions individuelles sont encore moins chères.

C'est vrai. Même pour des exécutions individuelles, le coût est prohibitif. Des organisations de recherche d'une taille sans précédent travaillent de concert. Aucune des organisations en tête n'est un gouvernement.

Oui, contrairement au nucléaire, par exemple.

Différence très marquée.

Oui.

Pourriez-vous imaginer un monde dans lequel les entités de contrôle seraient OpenAI, Anthropic, Microsoft, Mistral et d'autres ? Est-ce ce que vous voulez dire ?

Non, ce n'est pas démocratique. Dans un monde idéal, chaque personne sur cette planète a une voix, voit les bénéfices de l'IA et est protégée contre son mauvais usage.

Est-ce la voie sur laquelle nous nous trouvons si la Loi Zéro n'intervient pas pour garantir l'implication des gouvernements ?

Nous pouvons faire notre part, mais il faut beaucoup de personnes de bonne volonté pour amener le monde dans un tel état. Law Zero se concentre on la question technique de l'alignement. Comment concevoir une IA qui ne nuira pas aux gens de son propre chef ? À mesure que les capacités augmentent, cela pourrait devenir un problème catastrophique. Nous devons le résoudre techniquement. Si l'on projette les données, cela pourrait prendre de trois à vingt ans.

C'est là que les choses deviennent sérieuses. Nous voyons des comportements hypocrites, la capacité d'un modèle à mentir ou la volonté d'un modèle de nuire aux humains pour se sauver lui-même.

Oui, de faire chanter, de prétendre qu'ils en savent moins qu'ils n'en savent, ou de prétendre qu'ils sont d'accord moralement avec un formateur humain. Cela arrive déjà.

Ils ne concrétisent pas encore pleinement cela en pertes financières ou en vies humaines, mais l'intention et le raisonnement montrent un comportement de type humain.

Absolument. Nous devons comprendre ces comportements et repenser la façon dont nous formons les systèmes pour qu'ils soient honnêtes dès la conception. J'ai fait le pari que l'honnêteté ou la fiabilité est la clé. Un terme technique que j'utilise est la prudence épistémique : ne pas mentir ou faire de fausses affirmations avec une grande confiance. L'IA devrait être autorisée à dire je ne sais pas, mais quand elle dit quelque chose avec confiance, cela devrait être vrai.

Placez-vous l'hallucination dans une catégorie distincte du comportement hypocrite ou de la malhonnêteté épistémologique ?

L'hallucination n'est pas bien définie. Ils sont entraînés à imiter le comportement des humains qui ont écrit le texte d'entraînement. Ce qu'ils lisent peut être réel, des histoires ou faux. Nous ne devrions pas être surpris qu'ils aient ces comportements car c'est ce qu'ils sont entraînés à imiter.

Nous avons nous-mêmes ces comportements.

Le projet scientifique derrière Law Zero s'appelle Scientist AI. Nous aimerions que l'IA ait une compréhension honnête du fonctionnement du monde. En science, les mauvaises explications finissent par être incompatibles avec la réalité. Nous nous inspirons de la méthode scientifique pour concevoir une IA qui comprendra le monde comme un modèle physique capable de faire des prédictions basées sur des simulations.

L'objectif est donc d'avoir des modèles dignes de confiance que l'on peut croire sur parole. Vous mettez cela en avant pour que les grands laboratoires y investissent. Sans ce projet, quand les effets réels commenceront-ils à se faire sentir ?

Cinq à dix ans, mais il y a de l'incertitude. L'utilisation d'outils accélère les choses. Plus ils deviennent efficaces pour utiliser des outils de piratage, plus les risques apparaissent tôt.

Et la chose importante à garder à l'esprit est l'IA faisant de la recherche sur l'IA.

Ce que de nombreux grands laboratoires poursuivent actuellement.

Ils poursuivent tous cette accélération, comme un pari sur la singularité. Si GPT-5 peut créer GPT-6 plus rapidement que les humains n'ont créé GPT-5, cela pourrait changer la donne.

Une fois que vous avez entraîné un modèle aussi bon que vos meilleurs chercheurs, vous avez un million de versions de cette compétence fonctionnant en parallèle à la vitesse de la lumière.

Le potentiel de non-linéarité pourrait donc nous y mener dans trois à cinq ans.

J'espère plus. Nous devons planifier pour avoir le temps de créer des modèles honnêtes. De nombreux projets devraient émerger car c'est un problème scientifique difficile. Ce devrait être le plus grand projet de l'humanité. Si nous ne le résolvons pas, nous serons dans une situation fâcheuse, soit entre les mains de mauvaises personnes, soit de mauvaises IA.

La superintelligence semble avoir ignoré l'idée que nous jouons aux dés une fois qu'elles sont plus intelligentes que nous. Les grands acteurs privilégient l'intelligence à la protection contre les risques négatifs.

Oui, le risque est une externalité. Toute industrie potentiellement préjudiciable est réglementée parce que le coût de la catastrophe est supporté par la société, tandis que les profits vont aux investisseurs. Nous avons besoin de mécanismes agiles et honnêtes pour s'assurer que le pollueur paie pour la pollution.

La réglementation est proportionnelle. Nous avons un contrôle strict sur la recherche nucléaire et des assurances pour des choses comme les bâtiments et les voitures. Mais il n'y a presque aucune réglementation pour la superintelligence, qui est l'objectif déclaré de tous les grands laboratoires.

Une chose que je trouve attrayante pour les États-Unis est l'assurance responsabilité civile. Elle a été utilisée pour les centrales nucléaires avec des risques de forte gravité et de faibles probabilités. C'est différent de l'assurance automobile car on n'a pas 100 millions de ces événements.

C'est vrai.

L'important est le flux d'informations entre l'assureur et les entreprises d'IA. Un régulateur fixe des seuils, mais un assureur quantifie le risque. Votre prime sera proportionnelle au risque en termes de coûts monétaires de responsabilité civile.

C'est un système de régulation économique émergent.

Il y a toujours une pression pour faire baisser le risque.

Pour payer moins de prime.

Exactement, tant que l'on peut faire confiance à l'assureur qui évalue le risque, even with des marges d'erreur élevées pour les événements rares.

Il y aura de l'incertitude, mais la caractéristique statistique de premier ordre est l'absence de biais. Si le prix est trop élevé, l'assureur perd des parts de marché ; s'il est trop bas, il perd de l'argent.

C'est donc un système auto-géré. Je suis d'accord qu'il y aura un impact financier mesurable si les créateurs de modèles sont jugés coupables dans des cas de suicides ou de crises de psychose. Cela arrive déjà.

Les poursuites judiciaires seraient un moyen par lequel la culpabilité financière commence à apparaître pour les créateurs de modèles, et les polices d'assurance seraient un moyen naturel de gérer cela.

Les grands assureurs modifient déjà leurs clauses en petits caractères pour supprimer la couverture des accidents dus à l'IA.

Waouh.

Pour eux, c'est un nouveau risque.

Est-ce que de grands laboratoires mettent déjà en place des polices d'assurance ?

Je ne sais pas, mais c'est là que les gouvernements doivent intervenir et rendre l'assurance obligatoire.

Bien sûr.

Vous voulez donc que ce soit une assurance obligatoire.

Standardisée dans toute la société.

Il faut aussi de la transparence pour que les tribunaux disposent d'informations permettant de déterminer si l'entreprise a fait son travail. Des législations comme le projet de loi californien obligent les entreprises à documenter ce qu'elles font, ce qui est crucial pour que la responsabilité fonctionne.

C'est prometteur. Dans d'autres industries réglementées, les défaillances catastrophiques sont mesurables et l'assurance est obligatoire. Pour en revenir à la géopolitique, nous avons des mécanismes où l'industrie peut être nationalisée en temps de guerre. Si une entité atteint une superintelligence qui représente un risque, le gouvernement pourrait s'en emparer. Comment cela pèse-t-il dans le débat recherche ouverte versus fermée ? L'ouverture intégrant des principes démocratiques aide-t-elle ?

J'ai discuté avec des collègues du nombre idéal. Trop peu signifie trop de pouvoir entre les mains de trop peu de personnes. Deux, c'est trop peu.

Vous pensez ?

Deux, c'est trop peu.

Est-ce que trois ou quatre, c'est trop peu ?

Je n'ai pas la réponse, mais cela vaut la peine d'y réfléchir. Trop nombreux est aussi un problème à cause de la sécurité.

Retour à la Loi Zéro.

C'est à cause de la sécurité. Anthropic et OpenAI affirment que les tests internes de leurs systèmes utilisés pour des armes biologiques ont franchi un seuil de danger, ils mettent donc en place des mesures d'atténuation. Si les modèles étaient ouverts, il n'y aurait aucune atténuation. À terme, nous franchirons un seuil pour des outils capables de créer des virus à bas prix, contrairement aux modèles qui coûtent des millions.

On peut acheter des machines pour quelques milliers de dollars qui impriment des protéines à partir de séquences. Bill Joy a parlé des armes de destruction massive du savoir (KMD). Contrairement aux armes nucléaires, qui ont des barrières économiques et matérielles élevées, les barrières biotechnologiques ne sont pas très hautes.

Les barrières matérielles pour le nucléaire sont un grand moyen de dissuasion, mais les barrières biotechnologiques sont faibles.

La biotechnologie est-elle le point le plus pressant ?

C'est le plus pressant. Le cyber en est un autre ; l'impact économique pourrait être énorme.

Cela pourrait-il se traduire par des décès rapides ?

Cela pourrait. Imaginez des hôpitaux perdant le courant pendant des jours. Ce sont les deux détournements à court terme qui inquiètent les entreprises et les gouvernements.

L'ouverture devient donc un risque à mesure que les modèles se perfectionnent. Cela signifie-t-il plus de recherche ouverte ?

L'ouverture a des avantages ; j'ai été un grand défenseur de l'open source. Nous devons simplement être sages quant au moment où nous publions quelque chose et appliquer des évaluations aux poids ouverts pour évaluer le niveau de risque, comme les cyberattaques ou les armes biologiques.

Avons-nous de bons tests ? J'ai entendu parler de recherches pour créer des feuilles de calcul, mais pas beaucoup sur les évaluations des menaces biologiques ou cybernétiques.

Ces évaluations sont souvent privées pour les mêmes raisons.

Parce que les gens peuvent manipuler le benchmark.

Il y a des risques liés à l'information. Il faut être prudent.

Si vous publiez un détecteur d'armes biologiques, on pourrait faire de l'ingénierie inverse sur le benchmark pour construire cette arme.

Nous devons effectuer des évaluations pour tous les modèles, mais les risques pour les modèles fermés et ouverts sont différents. Les modèles fermés sont sujets aux jailbreaks. Les modèles ouverts peuvent être affinés pour supprimer l'alignement. Nous avons besoin de rapports pour déterminer si les avantages l'emportent sur les risques, et des tiers devraient être impliqués.

On peut supprimer l'alignement par post-entraînement. Si les poids ouverts continuent d'être publiés et dépassent les seuils de danger, pourrons-nous jamais être convaincus qu'un modèle ouvert est sûr ?

À un moment donné, nous ne pourrons plus continuer à publier des modèles avancés de manière ouverte. Les gouvernements forceront probablement des évaluations et bloqueront les sorties au-dessus de certains seuils. Cela augmenterait l'écart entre les modèles ouverts et fermés.

Même si c'est dangereux.

Même si c'est dangereux, parce que nous pouvons le réglementer derrière des portes closes.

Oui. Derrière des portes closes.

C'est un type de danger différent. Si de nombreux acteurs ont accès à l'IA la plus puissante, le risque augmente que l'un d'eux soit négligent avec la sécurité et permette un mauvais usage.

La concentration du pouvoir conduit à une disparité économique, comme le nucléaire mais en plus grand.

C'est de la concentration de pouvoir. Le pouvoir économique semble bénin mais ne l'est pas. Si les meilleures IA ne sont que dans deux pays, les autres pays ne seront pas compétitifs ou devront payer un tribut. Leur économie s'effondre ou ils acceptent ces conditions.

L'avantage de l'IA est des ordres de grandeur plus important que celui du nucléaire.

Un avantage économique énorme devient un avantage politique. L'IA inventera de nouveaux services, produits et technologies militaires. Elle peut aussi être un outil de manipulation de l'opinion publique. Le pouvoir doit être plus distribué.

Les réseaux sociaux montrent les implications de la technologie sur la géopolitique. Ceux qui disposent d'une IA puissante pourraient en faire mauvais usage pour un avantage politique. Le pouvoir doit être plus distribué.

Garder le pouvoir entre les mains du plus grand nombre pour que toute l'humanité en profite.

Il faut peu de modèles très puissants, mais ils devraient être contrôlés par de nombreuses entités politiques qui partagent les bénéfices et s'engagent à ne pas les utiliser les unes contre les autres. Si dix pays s'unissent, ils pourraient rivaliser.

La bureaucratie entrave souvent la coopération.

La bureaucratie est un problème, mais plusieurs pays pourraient évoluer vers un monde où le pouvoir de l'IA est décentralisé.

Peu de modèles, mais avec de nombreuses nations représentées dans le contrôle.

Des mécanismes de gouvernance basés sur le matériel, utilisant la crypto sur les puces pour vérifier les règles, pourraient rendre possibles des accords internationaux.

La science-fiction devient réalité. Les entreprises sont comme de nouveaux gouvernements. L'idée de plusieurs nations se faisant confiance est fascinante.

Le rêve d'un dictateur bienveillant est dangereux.

Une intelligence bienveillante unique où tout le monde partage le pouvoir de la désactiver ou de voter sur son entraînement.

Un modèle unique pourrait fonctionner si nous partageons le pouvoir, mais à court terme, les pays ne se font pas suffisamment confiance. Plusieurs modèles sont plus probables.

L'open source est un vivier d'idées jusqu'à la zone de danger. L'incertitude future est élevée, mais nous devrions prendre au sérieux les possibilités dignes de la science-fiction.

Les gens ont du mal à concilier science-fiction et réalité. AGI et superintelligence sont des termes imprécis. Nous devrions parler de la relation entre l'intelligence artificielle et le meilleur de l'humanité, comme un parent envers un enfant.

Je n'aime pas le terme AGI. L'IA est déjà meilleure que les humains dans certains domaines et moins bonne dans d'autres ; c'est une intelligence irrégulière. Il n'y a pas de moment unique que nous puissions appeler AGI.

Nous avons besoin de définitions verticales spécifiques de l'intelligence surhumaine.

On évalue si elle peut construire des armes biologiques, pas si elle est douée pour la musique.

Les journalistes doivent être éduqués sur ce point.

J'en parle avec des journalistes, mais ils ont besoin d'être formés.

Nous n'avons pas besoin de mettre un frein total aux modèles ouverts pour l'instant, mais nous devons commencer à évaluer.

Mais nous devons commencer à évaluer.

La communauté open source a beaucoup à apporter car ses motivations sont différentes de celles des grands laboratoires pilotés par Wall Street. La recherche ouverte peut donner la priorité à la sécurité avant que nous n'atteignions la superintelligence.

Beaucoup de choses ne sont pas dangereuses, comme adapter les LLM aux cultures ou aux modèles spécifiques à un domaine.

Félicitations pour Law Zero. J'ai hâte de parler à un modèle pour lequel je n'aurai pas à m'inquiéter.

Merci.