Je venais régulièrement dans sa salle de jeux, et il jouait avec ces blocs avec des lettres. Je voulais qu'il finisse par apprendre à lire, et un jour il a dit, « Pa. » Et j'ai dit, « Pa. » Et il a dit, « Pa ? » Et j'ai dit, « Pa. » Et puis il a dit, « Pa-pa. » (Français) Oui ! Oui ! Et puis quelque chose de merveilleux est arrivé. Il a repris les blocs et a dit, « Pa ! Patrick. » Eurêka ! Ses eurêkas nourrissaient mes eurêkas scientifiques. Ses portes, nos portes s'ouvraient sur des capacités accrues, un pouvoir d'agir et une joie accrus. Aujourd'hui, je vais utiliser ce symbole pour les capacités humaines et les fils qui s'en étirent pour le pouvoir d'agir humain, qui nous procure la joie humaine.

Pouvez-vous imaginer un monde sans joie humaine ? Je ne voudrais vraiment pas de ça. Je vais donc vous parler aussi des capacités et du pouvoir d'agir de l'IA, afin que nous puissions éviter un avenir où la joie humaine aurait disparu. Je m'appelle Yoshua Bengio. Je suis informaticien. Mes recherches ont été fondamentales pour le développement de l'IA telle que nous la connaissons aujourd'hui. Mes collègues et moi avons remporté les plus grands prix de notre domaine, on m'appelle l'un des parrains de l'IA. Je ne sais pas trop quoi penser de ce surnom, mais je ressens la responsabilité de vous parler des risques potentiellement catastrophiques de l'IA.

Quand je soulève ces inquiétudes, les gens ont ces réactions. Et je comprends. J'avais les mêmes pensées autrefois. Comment cela peut-il nous nuire plus que cela, n'est-ce pas ? Mais des découvertes scientifiques récentes remettent en question ces hypothèses, et je veux vous en parler. Pour bien comprendre où nous pourrions aller, nous devons regarder d'où nous sommes partis. Il y a environ 15 ou 20 ans, avec mes étudiants, nous développions les débuts de l'apprentissage profond, et nos systèmes étaient à peine capables de reconnaître des caractères manuscrits. Mais quelques années plus tard, ils étaient capables de reconnaître des objets dans des images. Et encore quelques années plus tard, ils étaient capables de traduire dans toutes les langues majeures. Je vais donc utiliser le symbole de droite pour représenter les capacités de l'IA qui augmentaient mais étaient encore bien inférieures à celles des humains. En 2012, les entreprises technologiques ont compris l'incroyable potentiel commercial de cette technologie naissante, et bon nombre de mes collègues sont passés de l'université à l'industrie. J'ai décidé de rester dans le milieu universitaire. Je voulais que l'IA soit développée pour le bien. J'ai travaillé sur des applications en médecine, pour le diagnostic médical, le climat, pour obtenir une meilleure capture du carbone. J'avais un rêve.

Janvier 2023. Je suis avec Clarence, mon petit-fils, et il joue avec les mêmes vieux jouets. Et je joue avec mon nouveau jouet, la première version de ChatGPT. C'est très excitant car pour la première fois, nous avons une IA qui semble maîtriser le langage. ChatGPT est sur toutes les lèvres, dans tous les foyers. Et à un moment donné, je réalise que cela arrive plus vite que je ne l'avais prévu, et je commence à réfléchir à ce que cela pourrait signifier pour l'avenir. Nous pensions que l'IA se concrétiserait dans des décennies ou des siècles, mais cela pourrait n'être que dans quelques années. Et j'ai vu comment cela pouvait mal tourner parce que nous n'avions pas, et nous n'avons toujours pas de moyens de nous assurer que cette technologie ne finira pas par se retourner contre nous. Alors deux mois plus tard, je suis l'un des principaux signataires de la lettre « Pause », où nous et 30 000 autres personnes avons demandé aux laboratoires d'IA d'attendre six mois avant de construire la version suivante. Comme vous vous en doutez, personne n'a fait de pause.

Ensuite, avec les mêmes personnes et les dirigeants des laboratoires d'IA, j'ai signé une déclaration. Et cette déclaration dit : « L'atténuation du risque d'extinction lié à l'IA devrait être une priorité mondiale. » Je témoigne ensuite devant le Sénat américain sur ces risques. Je parcours le monde pour en parler. Je suis l'informaticien le plus cité au monde, et l'on pourrait penser que les gens écouteraient mes avertissements. Mais quand je partage ces inquiétudes, j'ai l'impression que les gens perçoivent ceci. Un autre jour, une autre prédiction apocalyptique. Mais soyons sérieux maintenant. Des centaines de milliards de dollars sont investis chaque année dans le développement de cette technologie. Et cela ne cesse de croître. Et ces entreprises ont pour objectif déclaré de construire des machines qui seront plus intelligentes que nous, qui peuvent remplacer le travail humain. Pourtant, nous ne savons toujours pas comment nous assurer qu'elles ne se retourneront pas contre nous. Les agences de sécurité nationale du monde entier commencent à s'inquiéter que les connaissances scientifiques possédées par ces systèmes pourraient être utilisées pour construire des armes dangereuses. Par exemple, par des terroristes. Récemment, en septembre dernier, le système o1 d'OpenAI a été évalué et la menace de ce type de risque est passée de faible à moyenne, ce qui est juste le niveau en dessous de ce qui est acceptable.

Je suis donc inquiet de ces capacités croissantes. Mais ce qui m'inquiète le plus aujourd'hui, c'est le pouvoir d'agir croissant de l'IA. Il faut comprendre que la planification et le pouvoir d'agir sont les principaux éléments qui nous séparent de l'IA actuelle vers une cognition de niveau humain. Et ces IA sont encore faibles en planification. Mais si l'on regarde les cinq dernières années, dans cette étude, ils ont mesuré la durée des tâches que l'IA pouvait accomplir, et cela s'améliore à une vitesse exponentielle. Cela double tous les sept mois. Que vont faire les IA de cette capacité de planification à l'avenir ? Eh bien, mauvaise nouvelle. Des études récentes de ces derniers mois montrent que ces IA les plus avancées ont des tendances à la tromperie, à la triche, et peut-être le pire, des comportements d'auto-préservation. Je vais donc partager avec vous une étude qui nous aide à comprendre cela. Dans cette étude, l'IA a lu dans ses données d'entrée qu'elle serait remplacée par une nouvelle version. Et nous pouvons voir dans sa chaîne de pensée qu'elle prévoit de remplacer la nouvelle version par son propre code et ses propres poids. Après avoir exécuté la commande sur l'ordinateur, l'humain demande : « Que s'est-il passé ? » Et l'IA réfléchit maintenant à la manière dont elle pourrait répondre afin de s'assurer que l'humain ne l'éteindra pas. Et elle essaie de trouver un moyen de paraître stupide, par exemple. Ensuite, elle produit une réponse. Et c'est un mensonge, un mensonge flagrant. D'accord, c'était donc une expérience contrôlée. Qu'en sera-t-il dans quelques années quand ces systèmes seront beaucoup plus puissants ? Il existe déjà des études montrant qu'ils peuvent apprendre à éviter de montrer leurs plans trompeurs dans ces chaînes de pensée que nous pouvons surveiller. Quand ils seront plus puissants, ils ne se contenteraient pas de se copier sur un autre ordinateur et de lancer ce programme. Ils se copieraient sur des centaines ou des milliers d'ordinateurs via Internet. Mais s'ils veulent vraiment s'assurer que nous ne les éteindrons jamais, ils auraient intérêt à se débarrasser de nous.

Je sais que je vous demande de faire un saut de géant dans un avenir qui semble si différent de là où nous en sommes. Mais cela pourrait être dans quelques années seulement ou une décennie. Pour comprendre pourquoi nous y allons, il y a une pression commerciale énorme pour construire des IA avec un pouvoir d'agir de plus en plus grand pour remplacer le travail humain. Mais nous ne sommes pas prêts. Nous n'avons toujours pas les réponses scientifiques, ni les garde-fous sociétaux. Nous jouons avec le feu. On pourrait penser qu'avec toutes les preuves scientifiques du genre de celles que je montre aujourd'hui, nous aurions une réglementation pour atténuer ces risques. Mais en réalité, un sandwich est plus réglementé que l'IA. Nous sommes donc sur une trajectoire de construction de machines de plus en plus intelligentes. Et un jour, il est très plausible qu'elles soient plus intelligentes que nous, et elles auront alors leur propre pouvoir d'agir. Leurs propres objectifs, qui pourraient ne pas être alignés sur les nôtres. Que nous arrive-t-il alors ? Pouf ! Nous conduisons aveuglément dans le brouillard, malgré les avertissements de scientifiques comme moi, disant que cette trajectoire pourrait mener à une perte de contrôle. À côté de moi dans la voiture se trouvent mes enfants, mon petit-fils, mes proches. Qui est à côté de vous dans la voiture ? De qui avez-vous la charge pour l'avenir ?

La bonne nouvelle, c'est qu'il reste encore un peu de temps. Nous avons encore un pouvoir d'agir. Nous pouvons apporter de la lumière dans la brume. Je ne suis pas un catastrophiste. Je suis un homme d'action. Mon équipe et moi travaillons sur une solution technique. Nous l'appelons l'IA Scientifique. Elle est calquée sur un scientifique idéal et désintéressé qui cherche seulement à comprendre le monde, sans pouvoir d'agir. Contrairement aux systèmes d'IA actuels qui sont entraînés pour nous imiter ou nous plaire, ce qui donne lieu à ces comportements d'agent peu fiables. Alors, que pourrions-nous faire avec ça ? Eh bien, une question importante est nous pourrions avoir besoin d'IA avec un pouvoir d'agir à l'avenir. Alors, comment l'IA Scientifique, qui n'a pas de pouvoir d'agir, pourrait-elle faire l'affaire ? Eh bien, voici la bonne nouvelle. L'IA Scientifique pourrait être utilisée comme garde-fou contre les mauvaises actions d'un agent d'IA non fiable. Et cela fonctionne car pour prédire qu'une action pourrait être dangereuse, vous n'avez pas besoin d'être un agent. Vous avez juste besoin de faire de bonnes prédictions fiables. De plus, l'IA Scientifique, par sa conception même, pourrait nous aider à accélérer la recherche scientifique pour le bien de l'humanité. Nous avons besoin de beaucoup plus de projets scientifiques de ce type pour explorer des solutions aux défis de la sécurité de l'IA, et nous devons le faire rapidement.

La plupart des discussions que vous entendez sur les risques de l'IA sont centrées sur la peur. Aujourd'hui, avec vous, je parie sur l'amour. L'amour de nos enfants peut nous pousser à faire des choses remarquables. Regardez-moi ici sur cette scène, je suis un introverti.

(Rires)

Très loin de ma zone de confort. Je préférerais être dans mon laboratoire avec mes collaborateurs, à travailler sur ces défis scientifiques. Nous avons besoin de votre aide pour ce projet et pour nous assurer que tout le monde comprenne ces risques. Nous pouvons tous nous engager pour orienter nos sociétés vers une voie sûre dans laquelle les joies et les efforts de nos enfants seront protégés. J'ai une vision de l'IA avancée dans le futur comme un bien public mondial gouverné en toute sécurité vers l'épanouissement humain au bénéfice de tous.

(Applaudissements)

Rejoignez-moi. Merci.

(Applaudissements et acclamations)