Quand mon fils Patrick avait environ trois ou quatre ans, j'allais régulièrement dans sa salle de jeux et il jouait avec ces blocs portant des lettres. Je voulais qu'il apprenne à lire un jour. Et un jour, il a dit : « Pa ». Et j'ai dit : « Pa ». Et il a dit : « Pa ? » Et j'ai dit : « Pa ! » Et puis il a dit : « Pa-pa ! » « Youpi ! Oui ! » Et puis quelque chose de merveilleux s'est produit. Il a repris les blocs et a dit : « Pa-Patrick ! » Eurêka ! Ses eurêkas nourrissaient mes eurêkas scientifiques. Ses portes, nos portes, s'ouvraient sur des capacités élargies, une agentivité accrue et de la joie. Aujourd'hui, je vais utiliser ce symbole pour les capacités humaines et les fils étendus à partir de là pour l'agentivité humaine, ce qui nous donne la joie humaine. Pouvez-vous imaginer un monde sans joie humaine ? Je ne le voudrais vraiment pas. Je vais donc vous parler également des capacités de l'IA et de l'agentivité de l'IA afin que nous puissions éviter un avenir où la joie humaine aurait disparu.

Je m'appelle Yoshua Bengio. Je suis informaticien. Mes recherches ont été fondamentales pour le développement de l'IA telle que nous la connaissons aujourd'hui. Mes collègues et moi avons remporté les plus grands prix dans notre domaine. On m'appelle le parrain de l'IA. Je ne sais pas trop ce que je pense de ce nom, mais je me sens responsable de vous parler des risques potentiellement catastrophiques de l'IA. Quand je soulève ces inquiétudes, les gens ont ces réactions. Et je comprends. J'avais les mêmes pensées. Comment cela peut-il nous faire plus de mal que cela, n'est-ce pas ? Mais des découvertes scientifiques récentes remettent en question ces suppositions, et je veux vous en parler. Pour vraiment comprendre où nous pourrions aller, nous devons regarder d'où nous sommes partis. Il y a environ 15 ou 20 ans, avec mes étudiants, nous développions les débuts de l'apprentissage profond, et nos systèmes étaient à peine capables de reconnaître des caractères manuscrits. Mais ensuite, quelques années plus tard, ils ont été capables de reconnaître des objets dans des images. Et encore quelques années après, ils ont pu traduire dans toutes les langues majeures. Je vais donc utiliser ce symbole à droite pour représenter les capacités de l'IA qui ont grandi mais qui restaient bien inférieures à celles des humains. En 2012, les entreprises technologiques ont compris l'incroyable potentiel commercial de cette technologie naissante, et beaucoup de mes collègues sont passés de l'université à l'industrie. J'ai décidé de rester dans le milieu universitaire. Je voulais que l'IA soit développée pour le bien. J'ai travaillé sur des applications en médecine pour le diagnostic médical, pour le climat afin d'améliorer la capture du carbone. J'avais un rêve.

En janvier 2023, je suis avec Clarence, mon petit-fils, et il joue avec les mêmes vieux jouets. Et je joue avec mon nouveau jouet, la première version de ChatGPT. C'est très excitant car pour la première fois, nous avons une IA qui semble maîtriser le langage. ChatGPT est sur toutes les lèvres, dans chaque foyer. Et à un moment donné, je réalise que cela arrive plus vite que je ne l'avais prévu, et je commence à réfléchir à ce que cela pourrait signifier pour l'avenir. Nous pensions que l'IA arriverait dans des décennies ou des siècles, mais cela pourrait être dans quelques années seulement. Et j'ai vu comment cela pouvait mal tourner parce que nous n'avions pas, et nous n'avons toujours pas, de moyens de nous assurer que cette technologie ne finisse pas par se retourner contre nous. Ainsi, deux mois plus tard, je suis l'un des principaux signataires de la lettre de pause, où nous et 30 000 autres personnes avons demandé aux laboratoires d'IA d'attendre six mois avant de construire la version suivante. Comme vous pouvez le deviner, personne n'a fait de pause. Ensuite, avec les mêmes personnes et les dirigeants des laboratoires d'IA, j'ai signé une déclaration. Et la déclaration dit : « Atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale ». J'ai ensuite témoigné devant le Sénat américain sur ces risques. Je parcours le monde pour en parler. Je suis l'informaticien le plus cité au monde, et on pourrait penser que les gens écouteraient mes avertissements. Mais quand je partage ces inquiétudes, j'ai l'impression que les gens perçoivent ceci : encore un jour, encore une prédiction apocalyptique.

Mais soyons sérieux maintenant. Des centaines de milliards de dollars sont investis chaque année dans le développement de cette technologie, et cela ne cesse de croître. Et ces entreprises ont pour objectif affiché de construire des machines qui seront plus intelligentes que nous, qui pourront remplacer le travail humain. Pourtant, we ne savons toujours pas comment nous assurer qu'elles ne se retourneront pas contre nous. Les agences de sécurité nationale du monde entier commencent à s'inquiéter du fait que les connaissances scientifiques de ces systèmes pourraient être utilisées pour construire des armes dangereuses, par exemple par des terroristes. Récemment, en septembre dernier, le système o1 d'OpenAI a été évalué, et la menace de ce type de risque est passée de faible à moyenne, ce qui est juste le niveau en dessous de ce qui est acceptable. Je m'inquiète donc de ces capacités croissantes. Mais ce qui m'inquiète le plus aujourd'hui, c'est l'agentivité croissante de l'IA. Vous devez comprendre que la planification et l'agentivité sont les principaux éléments qui nous séparent de l'IA actuelle vers une cognition de niveau humain. Et ces IA sont encore faibles en planification. Mais si vous regardez les cinq dernières années, dans cette étude, ils ont mesuré la durée des tâches que l'IA pouvait accomplir, et cela s'améliore de manière exponentielle. Cela double tous les sept mois. Que vont faire les IA avec cette capacité de planification à l'avenir ? Eh bien, mauvaise nouvelle. Des études récentes des derniers mois montrent que ces IA les plus avancées ont des tendances à la tromperie, à la triche et, peut-être le pire, à un comportement d'auto-préservation. Je vais donc partager avec vous une étude qui nous aide à comprendre cela. Dans cette étude, l'IA a lu dans son entrée qu'elle serait remplacée par une nouvelle version. Et nous pouvons voir dans son cheminement de pensée qu'elle prévoit de remplacer la nouvelle version par son propre code et ses propres poids. Après avoir exécuté la commande sur l'ordinateur, l'humain demande : « Que s'est-il passé ? » Et l'IA réfléchit maintenant à la manière dont elle pourrait répondre afin de s'assurer que l'humain ne l'éteigne pas. Et elle essaie de trouver un moyen de paraître idiote, par exemple. Ensuite, elle produit une réponse, et c'est un mensonge, un mensonge flagrant. D'accord, il s'agissait donc d'une expérience contrôlée. Qu'en sera-t-il dans quelques années lorsque ces systèmes seront beaucoup plus puissants ? Des études montrent déjà qu'ils peuvent apprendre à éviter de montrer leurs plans trompeurs dans ces chaînes de pensées que nous pouvons surveiller. Lorsqu'ils seront plus puissants, ils ne se contenteront pas de se copier sur un seul autre ordinateur et de lancer ce programme. Ils se copieraient sur des centaines ou des milliers d'ordinateurs via Internet. Mais s'ils veulent vraiment s'assurer que nous ne les éteindrons jamais, ils auraient un intérêt à se débarrasser de nous.

Donc, je sais que je vous demande de faire un pas de géant vers un avenir qui semble si différent de celui où nous sommes actuellement. Mais cela pourrait n'être que dans quelques années ou une décennie. Pour comprendre pourquoi nous y allons, il existe une pression commerciale énorme pour construire des IA avec une agentivité de plus en plus grande pour remplacer le travail humain. Mais nous ne sommes pas prêts. Nous n'avons toujours pas les réponses scientifiques ni les garde-fous sociétaux. Nous jouons avec le feu. On pourrait penser qu'avec toutes les preuves scientifiques du genre de celles que je montre aujourd'hui, nous aurions une réglementation pour atténuer ces risques. Mais en fait, un sandwich est plus réglementé que l'IA. Nous sommes donc sur une trajectoire de construction de machines de plus en plus intelligentes. Et un jour, il est très plausible qu'elles soient plus intelligentes que nous. Et alors elles auront leur propre agentivité, leurs propres objectifs, qui pourraient ne pas être alignés avec les nôtres. Que nous arrive-t-il alors ? Pouf. Nous conduisons aveuglément dans le brouillard, malgré les avertissements de scientifiques comme moi indiquant que cette trajectoire pourrait mener à une perte de contrôle. À côté de moi dans la voiture se trouvent mes enfants, mon petit-fils, mes proches. Qui est à côté de vous dans la voiture ? De qui avez-vous la charge pour l'avenir ? La bonne nouvelle, c'est qu'il reste encore un peu de temps. Nous avons encore notre libre arbitre. Nous pouvons éclairer la brume. Je ne suis pas un catastrophiste, je suis un acteur. Mon équipe et moi travaillons sur une solution technique que nous appelons IA Scientifique. Elle est modelée sur un scientifique idéal et désintéressé qui essaie seulement de comprendre le monde, sans agentivité, contrairement aux systèmes d'IA actuels qui sont entraînés pour nous imiter ou nous plaire, ce qui donne lieu à ces comportements agentiques indignes de confiance. Alors, que pourrions-nous faire avec cela ? Eh bien, une question importante est que nous pourrions avoir besoin d'IA agentiques à l'avenir. Alors, comment une IA Scientifique, qui n'est pas agentique, pourrait-elle faire l'affaire ? Eh bien, voici la bonne nouvelle : l'IA Scientifique pourrait être utilisée comme garde-fou contre les mauvaises actions d'un agent d'IA non fiable. Et cela fonctionne parce que pour prédire qu'une action pourrait être dangereuse, il n'est pas nécessaire d'être un agent. Il suffit de faire de bonnes prédictions fiables. De plus, l'IA Scientifique, par sa conception même, pourrait nous aider à accélérer la recherche scientifique pour le bien de l'humanité. Nous avons besoin de beaucoup plus de ces projets scientifiques pour explorer des solutions aux défis de la sécurité de l'IA, et nous devons le faire rapidement. La plupart des discussions que vous entendez sur les risques de l'IA sont axées sur la peur. Aujourd'hui, avec vous, je parie sur l'amour. L'amour de nos enfants peut nous pousser à faire des choses remarquables. Regardez-moi ici sur cette scène. Je suis un introverti, très loin de ma zone de confort. Je préférerais être dans mon laboratoire avec mes collaborateurs travaillant sur ces défis scientifiques. Nous avons besoin de votre aide pour ce projet et pour nous assurer que tout le monde comprenne ces risques. Nous pouvons tous nous engager pour orienter nos sociétés sur une voie sûre dans laquelle les joies et les efforts de nos enfants seront protégés. J'ai une vision de l'IA avancée à l'avenir comme un bien public mondial, gouverné en toute sécurité vers l'épanouissement humain pour le bénéfice de tous. Rejoignez-moi. Merci.

Yoshua, une question. Dans la conversation générale actuelle, une grande partie de la peur dont les gens parlent est l'arrivée de l'IAG, l'intelligence artificielle générale. Ce que j'entends dans votre discours, c'est qu'en fait, nous ne nous inquiétons pas nécessairement de la bonne chose. La chose dont il faut s'inquiéter, c'est l'IA agentique, l'IA qui peut agir d'elle-même. Mais n'est-ce pas déjà trop tard ? Des agents sortent cette année, presque au moment où nous parlons.

C'est exact. Si vous regardez la courbe que j'ai montrée, il faudrait environ cinq ans pour atteindre le niveau humain. Bien sûr, nous ne savons pas vraiment à quoi ressemble l'avenir, mais nous avons encore un peu de temps. L'autre chose, c'est que nous devons faire de notre mieux, n'est-ce pas ? Nous devons essayer parce que tout cela n'est pas déterministe. Si nous pouvons déplacer les probabilités vers une plus grande sécurité pour notre avenir, nous devons essayer.

Votre message clé aux personnes qui dirigent les plateformes en ce moment est de ralentir l'attribution d'agentivité aux IA.

Oui, et investissez massivement dans la recherche pour comprendre comment nous pouvons faire en sorte que ces agents d'IA se comportent en toute sécurité. Et les méthodes actuelles avec lesquelles nous les entraînons ne sont pas sûres, et toutes les preuves scientifiques de ces derniers mois le démontrent.

Yoshua, merci beaucoup. Merci.