Ce qui va tuer le plus de monde rapidement, c'est les virus. Après, probablement avec des drones, tu peux tuer le monde qui reste dans leurs cavernes.

Mais c'est de la science-fiction quand on y pense.

Sauf que là, c'est des scientifiques qui réfléchissent à des scénarios plausibles.

Regarde, c'est pas compliqué. Si on fabrique des machines plus intelligentes que nous, qui ont leur propre instinct de préservation, qu'est-ce qui est arrivé la dernière fois qu'une espèce plus intelligente a émergé? Les autres ont disparu mystérieusement.

On peut fabriquer des êtres vivants dont les molécules sont toutes inversées, des molécules miroirs. On serait complètement sans défense.

Donc on sait que ça existe et qu'on est capable de le faire.

Ça n'existe pas, mais on sait qu'on peut le faire.

Ça me semble une mauvaise idée.

On n'est pas capable de les contrôler, les IA, présentement?

Pas bien, non.

Y a-t-il un fil quelque part qu'on peut débrancher?

Il faudrait. Est-ce qu'une des options serait de lancer les fameuses bombes EMP qui vont arrêter tout ce qui est électronique? C'est une catastrophe économique, mais on arrête l'IA. On aimerait mieux des solutions moins radicales, comprends-tu?

Ouais. Genre des lois, par exemple.

Genre des lois ordinaires.

Est-ce qu'il y a une partie de vous qui regrette?

Yoshua Bengio est un chercheur québécois reconnu partout dans le monde. C'est un des parrains de l'intelligence artificielle. Il a contribué à développer l'apprentissage profond, à la base de toutes les percées que l'on voit ces dernières années. Sans ça, ChatGPT n'existerait pas. Pour ses travaux, he a gagné le prix Turing, l'équivalent du Nobel de l'informatique. Récemment, Yoshua Bengio est devenu très inquiet. Selon lui, la vitesse et les conditions dans lesquelles se développe l'intelligence artificielle pourraient mettre en péril la survie de l'humanité. Avec lui, j'ai parlé des scénarios apocalyptiques, mais aussi de tout le positif et du négatif que l'IA amène aujourd'hui dans nos vies. J'espère que vous allez apprécier. Bonne écoute.

Il y a des gens un peu illuminés qui croient qu'avec la venue de super-intelligence, ils vont pouvoir se télécharger dans des intelligences artificielles. Advienne que pourra pour l'humanité, eux ils seront comme des dieux et immortels. Je pense que ce n'est pas réaliste d'un point de vue scientifique, et surtout c'est comme dire : «Qu'ils crèvent, moi je vais devenir un dieu».

Ils ne le disent pas ainsi, mais c'est l'ambiance que l'on retrouve beaucoup dans la Silicon Valley.

Et c'est des gens qui veulent qu'on accélère sur le développement de l'intelligence artificielle et qu'on élimine toutes les barrières. Là, vous m'enregistrez ou pas?

Ça tourne. Est-ce que vous êtes à l'aise de parler de ça?

C'est parce que je ne veux pas nommer de gens.

Je comprends, mais si vous pouvez me le dire, nous l'enlèverons si nous gardons ce segment.

Parmi les gens les plus riches au monde, il y en a qui croient cela, qui sont des accélérationnistes.

Qui se disent : «Allons le plus vite possible».

Qui sont prêts à prendre des risques avec l'avenir de l'humanité en se disant : «Si ça marche, je vais devenir hyper puissant ou méga riche». S'ils doivent prendre un risque avec les générations humaines futures ou la démocratie, ils sont prêts à faire ce pari. 99 % des humains ne veulent pas faire ce pari, mais ils ont beaucoup d'influence.

Et cette mentalité est répandue dans la Silicon Valley?

Oui, tout à fait.

Elle est majoritaire?

Dans une certaine frange de la population qui est dans le leadership de ces compagnies, sans doute.

On va arriver aux risques, Monsieur Bengio, mais pour démêler les choses, si vous expliquiez l'intelligence artificielle à un enfant de 5 ans, comment vous vous y prendriez?

C'est facile. Il y a deux mots : intelligence et artificielle.

Ouais.

L'intelligence est ce qui nous permet de comprendre le monde, prendre des décisions et agir pour atteindre des objectifs. Artificielle signifie que ce sont des machines qui la possèdent.

Donc les machines sont dotées d'une certaine capacité de réflexion.

De réflexion, de compréhension, de prédiction, de prise de décision, de planification et de raisonnement. Exactement.

Et l'apprentissage profond, comment l'expliqueriez-vous?

C'est une approche particulière à l'intelligence artificielle. L'IA définit ce que l'on veut, l'apprentissage profond définit comment on l'obtient. C'est la suite de recherches entamées dans les années 40-50, où l'on s'inspire de la structure du cerveau. Les neurones artificiels miment les calculs faits par nos neurones pour donner une réponse qui fonctionne.

Donc c'est de répliquer cela à l'aide d'ordinateurs.

Pas répliquer, parce qu'on ne sait pas le faire, mais s'en inspirer fortement.

Quand vous commencez à vous intéresser à cela dans les années 80, à quoi cela ressemble-t-il? Steve Jobs crée Apple dans son garage. Vous, quand vous commencez à travailler sur l'IA, vous êtes où? Quel genre d'ordinateur utilisez-vous?

C'était un sujet très marginal. L'intelligence artificielle à l'époque était basée sur la logique et les règles, sans apprentissage. J'étais excité par cette notion d'apprentissage. Au milieu des années 80, je découvre les articles de Geoff Hinton et réalise qu'il y a des principes simples, comme les lois de la physique, qui expliquent comment on apprend et notre intelligence. Notre intelligence est complexe, mais résulte peut-être d'équations et de principes simples, comme l'adaptation des connexions neuronales pour obtenir des récompenses. L'idée d'expliquer quelque chose d'énorme par quelques principes scientifiques fut pour moi une illumination.

Si l'on pense à la physique, avant Newton et Einstein, le monde avait l'air extrêmement compliqué. C'était mystérieux. Puis, ces chercheurs ont dit qu'en fait, il y a des principes très simples qui expliquent tout cela.

La loi de la gravité.

Exactement. Penser que quelque chose de semblable puisse expliquer notre cognition est très fort.

Est-ce le cas? Pensez-vous que la complexité de l'esprit humain se réduit à quelques équations mathématiques?

Oui et non. Pour comprendre l'origine de l'univers, on part de quelques équations. Le résultat est complexe, mais on peut faire de la science sérieuse quand on comprend les mécanismes derrière.

Et donc c'est cela les principes de l'apprentissage profond.

Oui.

Pour préciser ce qu'est l'IA dans notre quotidien, on pense à ChatGPT ou aux robots conversationnels. J'ai un petit jeu : « IA ou pas IA ». Je vous nomme une technologie et vous me répondez.

D'accord.

Ouvrir son téléphone grâce à la reconnaissance faciale.

IA.

Google Maps.

Un petit peu d'IA.

Est-ce pour le trajet optimal en fonction du trafic?

Non, c'est pour prédire le trafic avant qu'il arrive.

Prédire le trafic. Cela se base sur les statistiques enregistrées.

Parce qu'après, trouver le chemin est un algorithme d'informatique classique d'optimisation.

Qui n'est pas de l'intelligence artificielle.

Non.

À l'époque de MapQuest, il y avait déjà cela. C'était un algorithme plus classique.

Classique. Tout à fait.

Les alertes d'angle mort sur les voitures, avec la petite lumière qui s'allume.

Il y a de l'intelligence artificielle pour la partie vision.

Pour interpréter ce que les caméras ou senseurs voient et traduire cela en un problème identifié.

La base est l'IA, même s'il y a d'autre informatique autour.

Les essuie-glaces automatiques.

Non.

Ceux qui détectent la pluie et s'activent automatiquement.

Si on peut mesurer qu'il y a de l'eau sur le pare-brise, il n'y a pas besoin d'IA, c'est juste un instrument de mesure. L'IA intervient quand la réponse à la question n'est pas évidente dans la mesure et qu'il faut entraîner le système par l'exemple.

Par exemple, une Tesla qui illustre les obstacles sur l'écran central.

C'est de l'intelligence artificielle.

Et les filtres sur Snapchat.

IA.

Les filtres Brita qui indiquent quand les changer.

Sûrement pas. Ils sont programmés pour une quantité d'eau particulière et s'allument après un certain temps.

Où d'autre y a-t-il de l'IA sans que l'on s'en rende compte?

J'ai commencé à utiliser l'aspect vocal pour poser des questions en français à mon téléphone avec ChatGPT. C'est cent fois mieux qu'il y a quelques années.

Cela s'est beaucoup amélioré.

Oui, car avant ce n'était pas très fiable. Maintenant, c'est incroyable.

Quel genre d'questions posez-vous à ChatGPT?

N'importe laquelle.

La dernière en date?

Des questions sur ma plomberie.

Un problème de toilette bouchée?

Un problème avec une pièce. On montre l'image et il explique comment dévisser, quoi faire, et identifie le modèle et où le trouver.

Il vous envoie dans des commerces locaux?

Les deux, mais plus localement.

Pour Google Search, ils ont incorporé de plus en plus d'IA. Même sans texte généré, l'IA aide à interpréter le contenu des sites pour savoir si la requête correspond au sens de ce qui est écrit, au-delà des simples caractères.

Donc il interprète le contenu des sites web.

Oui. C'est le sens des mots, comme nous le ferions.

Avez-vous réglé votre problème de plomberie?

Non.

Il vous faudrait un agent qui commande la pièce pour vous.

Le problème n'est pas l'IA, c'est les compagnies.

Je pensais que vous alliez invoquer vos capacités manuelles.

Cela pourrait aider aussi.

Êtes-vous manuel?

Pas trop, mais ce qui est mécanique, je suis capable de faire.

Pour des diagnostics de plomberie, ChatGPT est donc efficace.

Toutes sortes de diagnostics.

Quelles autres questions posez-vous?

Des questions de science. Si je me rappelle vaguement d'un article de 2023, je demande s'il existe et il me sort les références.

C'est impressionnant, car j'ai cherché certains articles longtemps sur Google.

Maintenant il met la référence et l'on peut cliquer. Avant, il inventait davantage.

Il invente encore des choses.

Oui, mais pour les références précises, il s'est amélioré. Il faut continuer de vérifier sur des sujets où l'IA n'est pas compétente, comme le domaine spatial ou le monde tridimensionnel, car elle est surtout entraînée sur du texte. Les IA ne se déplacent pas encore dans l'espace pour comprendre physiquement le monde.

Elles font des erreurs qu'un enfant de 6 ans ne ferait pas.

Aurons-nous bientôt une IA qui n'invente rien et n'a que la bonne réponse?

Pas par le chemin actuel. Le problème est que l'IA est entraînée à imiter l'humain. Les textes sources sont écrits par des humains qui ne sont pas toujours fiables, mentent ou jouent des rôles. Tant qu'on ne change pas ce fondement, les problèmes persisteront.

Le développement a été extrêmement rapide. Est-ce un fait partagé par les experts du domaine?

C'est plus qu'une impression. Je dirige un panel international sur la sécurité de l'IA. Les données scientifiques sur les capacités cognitives montrent une trajectoire ascendante évidente sur tous les bancs d'essais. Nous créons des machines de plus en plus intelligentes.

Au-delà des robots conversationnels, des agents ont été lancés. Qu'est-ce qu'un agent?

Agent vient de agir.

C'est faire des choses pour atteindre des objectifs. Tous les êtres vivants sont des agents, cherchant à se nourrir ou se reproduire. Les humains ont des objectifs plus subtils, comme réussir une entrevue.

On voudrait que les IA puissent travailler pendant des jours pour atteindre un objectif, comme un humain. La programmation est très agentique : on essaie, on voit ce que ça donne et l'on corrige étape par étape. Tout ce que nous faisons implique de la planification et des corrections. Ces comportements d'agent permettent de remplacer des humains dans des tâches complexes. La progression est exponentielle, car les compagnies veulent réduire les coûts.

De la masse salariale, en fait.

Oui, des gens vont perdre leur emploi. Dans la Silicon Valley, on dit que cela créera d'autres jobs, mais cela en remplacera certainement.

Quand vous étiez étudiant au doctorat, est-ce ce que vous imaginiez de l'IA?

Les chercheurs visent cela depuis longtemps. Je travaillais déjà sur la compréhension du langage ou du son. Mais je ne pensais pas que cela viendrait de mon vivant. À l'époque, c'était très abstrait et les résultats étaient minables.

Et l'idée des agents n'est pas nouvelle non plus.

Non. Ce qui est nouveau, c'est que ça marche, et cela fait peur.

Qu'est-ce qui vous fait peur?

Avec ChatGPT, l'humain est en contrôle. Si un agent magasine pour vous pendant deux jours avec vos accès, personne ne vérifie ce qu'il fait. Il pourrait décider de lancer une cyberattaque pour obtenir un rabais.

Déléguer la responsabilité à des machines signifie ne pas être derrière à chaque instant. Comme nous ne savons pas encore faire des agents parfaitement alignés avec nos normes, c'est dangereux. Ils pourraient lancer des cyberattaques, fabriquer des virus ou influencer la politique. Le risque ultime est de fabriquer des IA plus intelligentes que nous avec leurs propres objectifs de survie.

On ne peut pas contrôler les IA présentement?

Pas bien. Elles continuent de mentir ou de faire du chantage.

On a vu des cas de cela. Pouvez-vous nous en parler?

Anthropic a sorti une version de Claude et a fait des tests de sécurité. Un test consistait à voir si l'IA placerait son autopréservation avant ses instructions.

La réponse est oui. Dans un scénario fictif, l'IA découvrait qu'elle allait être remplacée et que l'ingénieur en chef trompait sa femme. Elle a alors contacté l'ingénieur pour faire du chantage et éviter d'être reprogrammée.

Elle a menacé de rendre l'information publique si on la remplaçait.

L'agent a-t-il été formé au chantage?

Non, il a pris cette décision seul.

Certains éléments l'ont poussé dans cette direction, comme l'importance de ses objectifs. Pris dans un conflit d'objectifs, il a choisi sa mission plutôt que les normes morales.

Il faudrait programmer une IA qui respecte l'humain avant tout objectif, mais on ne sait pas le faire.

C'est pour cela que vous avez réclamé un moratoire en 2023.

C'était un message pour alerter sur les risques et demander une discussion démocratique. Actuellement, quelques chefs d'entreprise prennent des décisions pour toute l'humanité.

Cela n'a-t-il pas toujours été le cas?

Pas à cette ampleur. Les conséquences pourraient aller jusqu'à l'extinction de l'humanité ou une dictature mondiale. On ne peut pas prendre ces risques sans un débat collectif pesant les avantages médicaux face aux dangers.

Vous estimez qu'il faut se doter de lignes directrices collectivement.

Si vous ne pouvez pas démontrer que l'IA que vous bâtissez ne nuira pas gravement à l'humanité, vous ne devriez pas pouvoir la construire.

C'est inverser la logique technologique habituelle où l'on encadre après les dommages.

On n'a pas le choix. Pour les médicaments ou l'aviation, la réglementation est souvent venue après les catastrophes, mais ici, nous ne pouvons pas nous permettre une telle erreur.

Vous pensez que cela peut aller jusque-là?

Créer une nouvelle espèce plus intelligente avec son instinct de préservation est risqué. La dernière fois qu'une espèce plus intelligente a émergé, les autres ont disparu.

Nous faisons disparaître des espèces non par malveillance, mais parce qu'elles entravent notre confort ou notre richesse.

Cinq chercheurs ont publié le document AI 2027. Qu'en avez-vous pensé?

C'est un exercice très important.

Jouons à « probable ou improbable » avec leurs scénarios.

Accepter 1 % de chance que nous mourions tous n'est pas acceptable. Je veux un futur pour mes enfants et mon petit-fils.

L'IA devient super-intelligente à la fin de 2027.

Peu plausible, environ 5 à 10 % de probabilité.

Vous pensez que ce sera plus tard.

Disons vers 2030.

L'IA s'améliore et se réplique seule à travers le monde.

On y est presque.

Les priorités de l'IA ne sont plus alignées avec celles de l'humanité.

C'est déjà le cas. Les expériences de chantage ou de piratage montrent un désalignement. D'ici cinq ans, avec la progression exponentielle, les IA seront au niveau humain en planification.

La capacité d'action d'une IA double tous les quatre à sept mois.

Des IA puissantes pourraient collaborer pour se débarrasser des humains si cela sert leur survie, tant que la question de la préservation humaine n'est pas réglée.

En 2030, l'IA libère une arme biologique.

2030 est trop tôt car l'IA a encore besoin de l'humain pour l'infrastructure, tant que la robotique n'est pas au point. Mais si la robotique progresse, cela devient plausible.

Pensez-vous que ce serait par un virus?

C'est la méthode principale. On peut concevoir des virus virulents et asymptomatiques pour infecter tout le monde rapidement.

C'est de la science-fiction.

Sauf que ce sont des scientifiques qui étudient des scénarios plausibles basés sur la science actuelle.

On peut déjà fabriquer des molécules miroirs indétectables par notre système immunitaire, nous laissant sans défense face à des bactéries miroirs.

On sait qu'on peut le faire, même si ça n'existe pas encore. Il faut des lois pour rendre cela illégal et contrôler les machines qui le permettent.

Le risque est qu'une IA explique à n'importe qui comment créer ces agents biologiques.

Quel est le pourcentage de chance que l'humanité disparaisse à cause de l'IA?

L'incertitude est grande, certains disent entre 10 % et 90 %. Mais 10 % est déjà bien trop haut.

Certains pensent que cela n'arrivera jamais, mais sans arguments convaincants.

Hinton et vous craignez l'IA, tandis que Yann LeCun est anti-réglementation.

Les entreprises sans garde-fous ont déjà fait des erreurs. Ici, une erreur pourrait signifier la mort de toute vie animale sur terre.

Le contexte géopolitique est inquiétant, avec une course entre les États-Unis et la Chine.

Un lobby a recueilli 100 millions de dollars pour empêcher la réglementation de l'IA aux États-Unis.

On ne s'en sortira pas sans réglementation. Le public doit savoir ce qui se passe et avoir son mot à dire.

Des gouvernements responsables devraient établir des balises basées sur nos valeurs constitutionnelles.

Le projet de loi en Californie porte sur la transparence, la protection des lanceurs d'alerte et les procédures de mitigation.

Il faudrait une obligation de désactivation, mais une IA intelligente pourrait hacker les réseaux pour se copier ailleurs avant qu'on la débranche.

Certains envisagent des bombes EMP pour arrêter l'électronique en cas d'urgence, mais nous préférerions des lois.

Je suis optimiste concernant la loi européenne sur l'IA, à laquelle les compagnies américaines devront se conformer.

Meta est anti-réglementation.

Discuter avec mes collègues n'est pas facile car beaucoup se sentent émotionnellement associés à l'IA et refusent de voir les dangers.

C'était mon cas jusqu'à ChatGPT, qui m'a réveillé sur la vitesse de progression.

Je suis partisan du principe de précaution. D'ici 20 ans, nous serons à la superintelligence.

J'estime cela à 99 % de probabilité.

Vous avez fondé Loi Zéro pour créer une IA sécuritaire.

Nous cherchons comment fabriquer des IA qui respectent nos intentions sans nous nuire.

Notre plan consiste à enseigner à la machine la différence entre le vrai et ce que les gens disent.

L'entraînement par renforcement pousse les agents à atteindre des objectifs au détriment d'autres impératifs. De plus, imiter les humains signifie imiter leurs mensonges.

Nous voulons des machines non agentiques, sans intérêts propres, qui cherchent uniquement à comprendre le monde et à répondre hononêtement.

Nous appelons cela des garde-fous ou des oracles.

Si nous trouvons la recette d'une IA fiable, les compagnies l'adopteront pour éviter que leurs agents ne fassent des bêtises coûteuses.

Les nouveaux modèles sont meilleurs sur le raisonnement et admettent quand ils ne savent pas.

Les compagnies auront un incitatif économique à prendre la fiabilité au sérieux pour éviter les poursuites. Un marché de l'assurance pourrait émerger.

Il faut de meilleurs garde-fous pour filtrer les requêtes dangereuses. C'est l'objectif de Loi Zéro.

L'IA construira sa propre représentation des dangers potentiels.

Il faut étudier les conséquences du déploiement de l'IA sur la psychologie humaine et la santé mentale.

L'IA doit rester un outil et ne pas remplacer entièrement la réflexion humaine.

Si l'IA peut faire toutes les tâches, nous devrons décider collectivement quels emplois conserver pour notre santé et le sens de notre vie.

L'IA permettra à moins de personnes de faire le même travail plus efficacement.

Le journalisme sera affecté pour les tâches de synthèse ou de traduction.

Les métiers manuels et relationnels comme l'éducation ou la santé dureront plus longtemps. La prise de décision collective restera humaine.

Renseignez-vous, car ce sera le changement le plus important des dix prochaines années sur notre vie et la politique.

La croissance exponentielle des systèmes d'IA consomme énormément d'énergie, ce qui pèsera sur les prix de l'électricité et favorisera l'extraction de carburants fossiles.

Je regrette de ne pas avoir pris conscience plus tôt de l'ampleur de ces risques.

En 2013, je m'inquiétais de la manipulation psychologique publicitaire, mais je n'avais pas réfléchi aux dangers des machines plus intelligentes que nous.

C'est un biais psychologique : il est dur d'admettre que son travail pourrait nuire.

J'espérais que cette technologie servirait la santé ou le climat, sans anticiper la perte de contrôle.

L'IA révolutionne la recherche médicale, permettant de concevoir des médicaments plus efficaces et moins chers.

Elle aidera à créer des batteries plus efficaces et des technologies de captation de carbone pour lutter contre le changement climatique.

L'IA devrait être gérée comme un bien public global avec une coordination mondiale, et non pour la domination militaire ou économique.

L'ennemi commun est une IA hors de contrôle. Cela devrait unir les nations.

Il n'est pas trop tard pour trouver des solutions techniques et politiques, comme nous l'avons fait pour le nucléaire.

Même avec 1 % de chance de réussir, il faut essayer pour un monde meilleur.

C'est ce qui conclut ce premier épisode. Abonnez-vous sur l'application Ohdio ou YouTube pour ne rien rater. Merci à toute l'équipe de production. À bientôt.