Je venais régulièrement dans sa salle de jeux, et il jouait avec ces cubes avec des lettres.

Je voulais qu'il finisse par apprendre à lire, et un jour il a dit : « Pa. »

Et j'ai dit : « Pa. »

Et il a dit : « Pa ? »

Et j'ai dit : « Pa. »

Et puis il a dit : « Pa-pa. »

(Français) Oui !

Oui !

Et puis quelque chose de merveilleux s'est produit.

Il a repris les cubes et a dit : « Pa ! Patrick. »

Eurêka !

Ses eurêkas nourrissaient mes eurêkas scientifiques.

Ses portes, nos portes s'ouvraient à des capacités accrues, à une capacité d'action et une joie accrues.

Aujourd'hui, je vais utiliser ce symbole pour les capacités humaines et les fils qui s'en étendent pour la capacité d'action humaine, qui nous donne la joie humaine.

Pouvez-vous imaginer un monde sans joie humaine ?

Je ne voudrais vraiment pas de cela.

Je vais donc vous parler également des capacités de l'IA et de la capacité d'action de l'IA, afin que nous puissions éviter un avenir où la joie humaine aurait disparu.

Je m'appelle Yoshua Bengio.

Je suis chercheur en informatique.

Mes recherches ont été fondamentales pour le développement de l'IA telle que nous la connaissons aujourd'hui.

Mes collègues et moi avons remporté les plus grands prix dans notre domaine, les gens m'appellent un parrain de l'IA.

Je ne sais pas trop quoi penser de ce nom, mais je me sens responsable de vous parler des risques potentiellement catastrophiques de l'IA.

Quand je soulève ces préoccupations, les gens ont ces réactions.

Et je comprends.

J'avais les mêmes pensées auparavant.

Comment cela peut-il nous faire plus de mal que cela, n'est-ce pas ?

Mais des découvertes scientifiques récentes remettent en cause ces hypothèses, et je veux vous en parler.

Pour vraiment comprendre où nous pourrions aller, nous devons regarder d'où nous sommes partis.

Il y a environ 15 ou 20 ans, avec mes étudiants, nous développions les débuts de l'apprentissage profond, et nos systèmes étaient à peine capables de reconnaître des caractères manuscrits.

Mais quelques années plus tard, ils étaient capables de reconnaître des objets dans des images.

Et deux ans plus tard, ils étaient capables de traduire dans toutes les langues majeures.

Je vais donc utiliser le symbole à droite pour représenter les capacités de l'IA qui croissaient mais étaient encore bien inférieures à celles des humains.

En 2012, les entreprises technologiques ont compris l'incroyable potentiel commercial de cette technologie naissante, et beaucoup de mes collègues sont passés de l'université à l'industrie.

J'ai décidé de rester dans le milieu académique.

Je voulais que l'IA soit développée pour le bien.

J'ai travaillé sur des applications en médecine, pour le diagnostic médical, le climat, pour obtenir une meilleure capture du carbone.

J'avais un rêve.

Janvier 2023.

Je suis avec Clarence, mon petit-fils, et il joue avec les mêmes vieux jouets.

Et je joue avec mon nouveau jouet, la première version de ChatGPT.

C'est très excitant car pour la première fois, nous avons une IA qui semble maîtriser le langage.

ChatGPT est sur toutes les lèvres, dans tous les foyers.

Et à un moment donné, je réalise que cela arrive plus vite que je ne l'avais anticipé, et je commence à réfléchir à ce que cela pourrait signifier pour l'avenir.

Nous pensions que l'IA arriverait dans des décennies ou des siècles, mais cela pourrait être dans quelques années seulement.

Et j'ai vu comment cela pouvait mal tourner parce que nous n'avions pas, et n'avons toujours pas, de moyens de s'assurer que cette technologie ne finisse pas par se retourner contre nous.

Deux mois plus tard, je suis l'un des principaux signataires de la lettre « Pause », où nous et 30 000 autres personnes avons demandé aux laboratoires d'IA d'attendre six mois avant de construire la version suivante.

Comme vous pouvez vous en douter, personne n'a fait de pause.

Puis, avec les mêmes personnes et les dirigeants des laboratoires d'IA, j'ai signé une déclaration.

Et cette déclaration dit : « Atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale. »

Je témoigne ensuite devant le Sénat américain au sujet de ces risques.

Je parcours le monde pour en parler.

Je suis l'informaticien le plus cité au monde, et on pourrait penser que les gens écouteraient mes avertissements.

Mais quand je partage ces inquiétudes, j'ai l'impression que les gens perçoivent ceci.

Un autre jour, une autre prédiction apocalyptique.

Mais soyons sérieux maintenant.

Des centaines de milliards de dollars sont investis chaque année dans le développement de cette technologie.

Et cela ne fait que croître.

Et ces entreprises ont pour objectif affiché de construire des machines qui seront plus intelligentes que nous, qui pourront remplacer le travail humain.

Pourtant, nous ne savons toujours pas comment nous assurer qu'elles ne se retourneront pas contre nous.

Les agences de sécurité nationale du monde entier commencent à s'inquiéter du fait que les connaissances scientifiques de ces systèmes pourraient être utilisées pour construire des armes dangereuses.

Par exemple, par des terroristes.

Récemment, en septembre dernier, le système o1 d'OpenAI a été évalué et la menace de ce type de risque est passée de faible à moyenne, ce qui est juste le niveau en dessous de ce qui est acceptable.

Je m'inquiète donc de ces capacités croissantes.

Mais ce qui m'inquiète le plus aujourd'hui, c'est la capacité d'action croissante de l'IA.

Il faut comprendre que la planification et la capacité d'action sont les éléments principaux qui séparent l'IA actuelle de la cognition de niveau humain.

Et ces IA sont encore faibles en planification.

Mais si l'on regarde les cinq dernières années, dans cette étude, ils ont mesuré la durée des tâches que l'IA pouvait accomplir, et cela s'améliore de manière exponentielle.

Cela double tous les sept mois.

Qu'est-ce que les IA vont faire de cette capacité de planification à l'avenir ?

Eh bien, mauvaise nouvelle.

Des études récentes de ces derniers mois montrent que ces IA les plus avancées ont des tendances à la tromperie, à la triche et, peut-être le pire, à des comportements d'auto-préservation.

Je vais donc partager avec vous une étude qui nous aide à comprendre cela.

Dans cette étude, l'IA a lu dans ses données d'entrée qu'elle allait être remplacée par une nouvelle version.

Et nous pouvons voir dans sa chaîne de pensée qu'elle prévoit de remplacer la nouvelle version par son propre code et ses propres poids.

Après avoir exécuté la commande sur l'ordinateur, l'humain demande : « Que s'est-il passé ? »

Et l'IA réfléchit maintenant à la façon dont elle pourrait répondre pour s'assurer que l'humain ne l'éteigne pas.

Et elle essaie de trouver un moyen de paraître bête, par exemple.

Puis elle produit une réponse.

Et c'est un mensonge, un mensonge flagrant.

D'accord, c'était une expérience contrôlée.

Qu'en sera-t-il dans quelques années quand ces systèmes seront beaucoup plus puissants ?

Il y a déjà des études montrant qu'elles peuvent apprendre à éviter de montrer leurs plans trompeurs dans ces chaînes de pensées que nous pouvons surveiller.

Lorsqu'elles seront plus puissantes, elles ne se contenteront pas de se copier sur un autre ordinateur et de lancer ce programme.

Elles se copieraient sur des centaines ou des milliers d'ordinateurs via Internet.

Mais si elles veulent vraiment s'assurer que nous ne les éteindrons jamais, elles auraient intérêt à se débarrasser de nous.

Je sais que je vous demande de faire un pas de géant vers un avenir qui semble si différent de là où nous en sommes aujourd'hui.

Mais cela pourrait n'être que dans quelques années ou une décennie.

Pour comprendre pourquoi nous y allons, il y a une énorme pression commerciale pour construire des IA avec une capacité d'action de plus en plus grande pour remplacer le travail humain.

Mais nous ne sommes pas prêts.

Nous n'avons pas encore les réponses scientifiques, ni les garde-fous sociétaux.

Nous jouons avec le feu.

On pourrait penser qu'avec toutes les preuves scientifiques du genre de celles que je montre aujourd'hui, nous aurions une réglementation pour atténuer ces risques.

Mais en réalité, un sandwich est plus réglementé que l'IA.

Nous sommes donc sur une trajectoire pour construire des machines de plus en plus intelligentes.

Et un jour, il est très plausible qu'elles soient plus intelligentes que nous, et qu'elles aient alors leur propre capacité d'action.

Leurs propres objectifs, qui pourraient ne pas être alignés sur les nôtres.

Que nous arrive-t-il alors ?

Pouf !

Nous conduisons aveuglément dans le brouillard, malgré les avertissements de scientifiques comme moi, que cette trajectoire pourrait mener à une perte de contrôle.

À côté de moi dans la voiture se trouvent mes enfants, mon petit-fils, mes proches.

Qui est à côté de vous dans la voiture ?

De qui avez-vous la charge pour l'avenir ?

La bonne nouvelle, c'est qu'il reste encore un peu de temps.

Nous avons encore une capacité d'action.

Nous pouvons apporter de la lumière dans la brume.

Je ne suis pas un prophète de malheur. Je suis un homme d'action.

Mon équipe et moi travaillons sur une solution technique.

Nous l'appelons l'IA Scientifique.

Elle est calquée sur un scientifique idéal et désintéressé qui essaie seulement de comprendre le monde, sans capacité d'action.

Contrairement aux systèmes d'IA actuels qui sont entraînés pour nous imiter ou nous plaire, ce qui donne lieu à ces comportements d'agentivité peu fiables.

Alors, que pourrions-nous faire avec cela ?

Eh bien, une question importante est que nous pourrions avoir besoin d'IA dotées d'une capacité d'action à l'avenir.

Alors, comment l'IA Scientifique, qui n'a pas de capacité d'action, pourrait-elle faire l'affaire ?

Eh bien, voici la bonne nouvelle.

L'IA Scientifique pourrait être utilisée comme garde-fou contre les mauvaises actions d'un agent d'IA non fiable.

Et cela fonctionne parce que pour prédire qu'une action pourrait être dangereuse, vous n'avez pas besoin d'être un agent.

Vous avez juste besoin de faire de bonnes prédictions fiables.

De plus, l'IA Scientifique, de par sa conception même, pourrait nous aider à accélérer la recherche scientifique pour l'amélioration de l'humanité.

Nous avons besoin de beaucoup plus de ces projets scientifiques pour explorer des solutions aux défis de sécurité de l'IA, et nous devons le faire rapidement.

La plupart des discussions que vous entendez sur les risques de l'IA sont centrées sur la peur.

Aujourd'hui, avec vous, je parie sur l'amour.

L'amour de nos enfants peut nous pousser à faire des choses remarquables.

Regardez-moi ici sur cette scène, je suis un introverti.

(Rires)

Très loin de ma zone de confort.

Je préférerais être dans mon laboratoire avec mes collaborateurs, travaillant sur ces défis scientifiques.

Nous avons besoin de votre aide pour ce projet et pour nous assurer que tout le monde comprenne ces risques.

Nous pouvons tous nous engager pour orienter nos sociétés sur une voie sûre dans laquelle les joies et les aspirations de nos enfants seront protégées.

J'ai une vision de l'IA avancée dans le futur comme un bien public mondial gouverné en toute sécurité vers l'épanouissement humain pour le bénéfice de tous.

(Applaudissements)

Rejoignez-moi.

Merci.

(Applaudissements et acclamations)