Il est reconnu comme l'un des pères de l'intelligence artificielle. Les travaux de Yoshua Bengio dans les années 1990 et 2000 ont contribué aux fondements d'agents conversationnels comme ChatGPT d'OpenAI et Bard de Google.

Né en France en 1964, Bengio a grandi au Canada, où il a commencé à programmer à l'âge de 11 ans, inspiré par la littérature de science-fiction et les émissions de télévision.

Aujourd'hui, Bengio est l'une des voix les plus importantes pour avertir le monde de la nécessité d'avoir un contrôle et des réglementations sur la technologie de l'IA.

Plus que de craindre que les machines ne deviennent malveillantes, Bengio est davantage préoccupé par la façon dont les humains pourraient utiliser l'intelligence artificielle pour nuire aux autres.

En mars, lui et d'autres scientifiques éminents de l'IA ont signé une lettre exhortant les entreprises technologiques à suspendre le développement de l'IA jusqu'à ce que l'industrie puisse s'accorder sur une réglementation.

Et aux côtés de personnalités de premier plan de l'IA comme Dario Amodei et Stuart Russell, il a témoigné devant une audition du Congrès américain, avertissant que le rythme effréné du développement de l'IA entre de mauvaises mains pourrait être utilisé pour créer des armes biologiques.

Alors, l'IA est-elle une menace existentielle pour l'humanité, ou est-ce un outil qui transformera nos vies pour le mieux ? L'informaticien Yoshua Bengio s'entretient avec Al Jazeera.

Alors, pourquoi le monde entier semble-t-il parler de l'IA en ce moment ? Qu'est-ce qui a changé ?

Je lisais sur les dangers potentiels d'une perte de contrôle de l'IA depuis une décennie, mais je n'y prêtais pas trop attention car je pensais que c'était très loin dans le futur, des décennies ou même des siècles, car les systèmes que nous construisions dans le milieu universitaire étaient vraiment, vraiment stupides.

J'ai découvert l'idée des réseaux de neurones, autrement dit la recherche en intelligence artificielle inspirée par le cerveau, quand je cherchais un sujet pour mes études supérieures en 1985. Et ce fut tout de suite une passion. J'ai pensé que c'était vraiment quelque chose que je voulais faire.

J'étais enthousiasmé par l'idée qu'il y aurait quelques principes simples, tout comme les lois de la physique, qui pourraient nous aider à comprendre l'intelligence et à construire des machines intelligentes. Je m'intéressais donc aussi au fonctionnement du cerveau autant qu'à l'IA.

Et à l'époque, l'idée que l'intelligence puisse être comprise par quelques principes mathématiques était très marginale. Mais les dernières décennies nous ont vraiment apporté beaucoup de preuves que c'est probablement vrai, ce qui signifie qu'il est plus facile que ce que l'on pensait à l'époque de construire des machines intelligentes et de comprendre le cerveau.

Et au cours des dernières années, ce qui s'est passé, c'est qu'en raison des milliards de dollars investis dans l'apprentissage profond par l'industrie, nous avons collectivement découvert que plus nous rendons ces systèmes grands, meilleurs ils sont. Cela ne s'arrête jamais de s'améliorer.

Et plus récemment, avec l'IA générative, tant d'images que de textes, nous avons franchi une sorte de seuil qualitatif. Ce n'est donc pas seulement que cela s'améliore, mais maintenant c'est aussi bon que nous pour peindre un tableau et comprendre le langage dans une certaine mesure, au point de nous tromper la plupart du temps.

C'est donc extraordinaire. En 1950, Alan Turing, que l'on pourrait peut-être appeler le père de l'informatique, a conçu ce test en pensant que nous aurions atteint une intelligence de niveau humain si nous pouvions construire des machines avec lesquelles nous interagissons sans pouvoir dire s'il s'agit d'une machine ou d'un humain.

En fait, nous savons que les systèmes d'IA actuels manquent encore de certaines choses, du moins moi et beaucoup d'autres le pensons, mais nous ne sommes peut-être pas très loin de ce niveau de capacité.

Et les intelligences artificielles qui sont développées actuellement, qu'est-ce qui les différencie ?

Si vous regardez des systèmes comme ChatGPT, scientifiquement parlant, il ne semble pas y avoir beaucoup de nouveautés. C'est vraiment l'échelle à laquelle ces systèmes sont construits. Quelle quantité de données ? Des billions de mots, une fraction de tout le texte sur Internet. Il faudrait des dizaines de milliers de vies humaines de lecture pour assimiler toutes ces informations.

Et l'échelle correspondante de ces modèles avec des billions de paramètres qui peuvent être réglés. C'est énorme. C'est encore plus petit que le cerveau, mais ces paramètres sont très précis, bien plus que vos synapses. C'est de l'échelle, c'est de l'ingénierie, quelque chose que nous ne pouvions pas faire dans le milieu universitaire.

Et le fait que cela fonctionne si bien suggère qu'il ne manque peut-être que quelques éléments, notamment liés au raisonnement. Il est difficile de dire quand nous les trouverons, mais cela pourrait arriver rapidement, et je ne pense pas que la société soit prête pour cela.

En 2018, vous avez remporté conjointement le prix Turing. Pourquoi était-ce ? Que faisiez-vous ?

L'apprentissage profond. Le prix Turing a été décerné à Geoff Hinton, Yann LeCun et moi-même en raison de nos contributions au domaine de l'apprentissage profond. Nous avons inventé le terme et nous avons trouvé comment entraîner des réseaux de neurones capables de représenter des choses plus riches.

J'ai beaucoup travaillé sur le langage, Yann a beaucoup travaillé sur les images. Geoff a eu certaines des premières idées pour entraîner de nombreuses couches de réseaux de neurones, et j'ai finalement découvert qu'il y avait un moyen plus simple en utilisant des méthodes traditionnelles avec quelques petites astuces. Mon groupe a également trouvé une méthode pour introduire l'attention, qui s'est avérée essentielle et a vraiment transformé les systèmes de langage naturel comme ceux que nous voyons aujourd'hui.

Y aurait-il donc ChatGPT sans ce travail ?

ChatGPT n'existerait pas sans le travail que nous avons accompli. Et bien sûr, la science est une contribution de très nombreuses personnes. C'est de l'ingénierie, c'est de l'échelle, mais ce sont aussi des algorithmes qui n'existaient pas il y a 20 ans.

Ainsi, en mai 2023, vous et environ 350 autres personnes avez signé une déclaration mettant en garde contre les dangers de l'IA. Pourquoi avez-vous fait cela ?

Au début de l'hiver, en jouant avec ChatGPT, j'ai commencé à m'inquiéter du fait que nous n'étions peut-être pas loin, et de quelles seraient les conséquences. Et j'ai commencé à lire davantage de recherches menées pour étudier si nous pouvions construire des machines dont nous ne perdrions pas le contrôle, que nous pourrions contrôler totalement.

Et l'horrible constat est que nous ne savons pas encore comment faire cela, après une décennie de recherche pour essayer de trouver la solution. Et je ne pense pas que nous ayons une autre décennie devant nous avant d'atteindre le point où les machines seront plus intelligentes que nous. Peut-être que cela prendra plus de temps, mais au rythme où nous progressons, je ne le pense pas.

Il est donc temps de tirer la sonnette d'alarme. Nous aurions dû le faire avant, mais c'est ChatGPT qui a rendu cela évident pour tout le monde, mais aussi pour les scientifiques comme moi, et même pour les personnes qui ont été au cœur de la construction de ces systèmes, que nous sommes à un point où il est urgent pour la société de réfléchir et d'être sage sur la manière de prévenir les catastrophes, sur la façon dont cela va être utilisé, dans quel but, comment nous assurer que cela ne nous explose pas au visage.

À quel genre de catastrophes pensez-vous ?

L'IA cause déjà des préjudices parce que ces systèmes ne font pas ce que nous prévoyons. C'est ce qu'on appelle le problème d'alignement. Et des gens ont construit des systèmes destinés à bien fonctionner dans, disons, la reconnaissance faciale, mais ils n'avaient pas l'intention qu'ils se comportent mal envers les personnes de couleur, mais c'est pourtant ce qui s'est produit.

Désormais, ce désalignement entre ce que veulent les humains et ce que fait la machine peut s'aggraver au fur et à mesure que les machines acquièrent de nouvelles capacités. Laissez-moi vous donner quelques exemples tirés de la science-fiction. 2001, l'Odyssée de l'espace, HAL 9000. Il est plus intelligent que les astronautes présents, du moins à certains niveaux, et il a une mission, une mission militaire.

Et avoir un tel objectif signifie qu'il ne peut pas se permettre d'être éteint. Il veut se préserver pour pouvoir accomplir sa mission. Ainsi, lorsque les astronautes pensent qu'il y a peut-être quelque chose qui ne va pas avec l'IA et envisagent de l'éteindre, HAL tue l'un d'entre eux et veut tuer l'autre et tue les autres.

Ainsi, dès qu'une machine a des objectifs d'auto-préservation, et si ces objectifs sont suffisamment forts par rapport à d'autres objectifs, alors il y a une chance que ce que la machine veut et ce que nous voulons, ce dont nous avons besoin, ne soient pas alignés.

Et tant que cette machine n'est pas assez intelligente, comme tout être vivant veut survivre, mais ils ne sont pas plus intelligentes que nous. Mais si ces machines sont plus intelligentes que nous, alors nous sommes potentiellement en danger. Ce problème d'alignement, nous l'avons tout autour de nous, des entreprises qui passent des contrats entre elles, nous construisons des machines qui ne font pas exactement ce que nous voulons.

Mais lorsque ces systèmes deviennent réellement puissants, cela peut vraiment mal tourner. Avant d'en arriver là, il y a d'autres choses qui pourraient être au moins aussi inquiétantes car elles pourraient se produire avant même que nous n'ayons cette chance, à savoir des humains utilisant intentionnellement des systèmes d'IA très puissants pour des raisons malveillantes.

L'exemple qui a été soulevé au Sénat américain et dont j'ai également parlé est celui des armes biologiques. À l'heure actuelle, il faut beaucoup d'expertise pour concevoir un nouveau virus dangereux. Très peu de personnes dans le monde peuvent le faire, et les méchants n'ont généralement pas cette expertise.

Mais vous pouvez interroger ChatGPT ou peut-être la prochaine version et obtenir suffisamment d'informations que vous n'auriez pas autrement pour concevoir de tels agents pathogènes dangereux. Du moins, c'est la voie sur laquelle nous nous trouvons. Il ne faudra peut-être que quelques années pour que cela soit possible.

Et la mauvaise nouvelle est que nous ne savons pas vraiment comment concevoir ces systèmes pour nous assurer qu'ils ne vont pas produire des choses qui pourraient être dangereuses, qui pourraient aider des acteurs malveillants, par exemple. Cela pourrait les aider pour des armes biologiques, des armes chimiques ou des cyberattaques. Nous pouvons imaginer de nombreux types de scénarios.

Et bien sûr, une chose inquiétante à plus court terme, ce sont les prochaines élections américaines ou d'autres élections dans le monde qui pourraient avoir de l'importance, où il ne semble pas farfelu de penser que vous prenez quelque chose comme ces grands modèles de langage de pointe et que vous pouvez simplement les ajuster un peu, et cela ne nécessite pas des millions de machines de calcul coûteuses.

Vous pouvez les ajuster un peu pour des tâches comme être un troll qui va faire pencher la balance et changer l'opinion des gens juste assez pour gagner l'élection.

La démocratie est-elle en sécurité dans un monde d'IA ?

No, et ce n'est pas à cause des IA, c'est à cause des humains et parce qu'une fois que vous donnez des outils très puissants aux humains, ils les utiliseront de toutes les manières possibles. Tant que les outils ne sont pas si puissants, il y a d'autres humains qui peuvent contrer cela, et nous avons la police, l'armée et toutes sortes de moyens pour nous protéger.

Mais si ces outils deviennent si puissants que l'on pourrait tuer des millions de personnes avec, comme les armes nucléaires. Alors, que faisons-nous des armes nucléaires ? Mettons-nous les armes nucléaires à la disposition de tous ? Non. Nous ne faisons pas cela, évidemment. Et donc maintenant, c'est comme si nous étions au point où nous pouvons voir dans les années à venir que nous aurons quelque chose comme des armes nucléaires, sauf que cela ne nécessite pas de matières nucléaires.

Cela nécessite simplement des logiciels et du matériel, et les logiciels peuvent être téléchargés et le matériel peut être acheté.

Lorsque Robert Oppenheimer a créé la première bombe atomique, il a dit la célèbre phrase selon laquelle il était devenu la mort, le destructeur de mondes. En tant que créateur de l'IA, savez-vous ce qu'il a ressenti ?

Je n'y étais pas, évidemment, mais je peux imaginer. Lui et d'autres, parce que c'était un travail de groupe, une communauté de personnes travaillant ensemble, pensaient vraiment qu'ils devaient le faire parce qu'ils avaient peur que les Allemands ne construisent la bombe et que ce soit pire. Ils n'étaient donc pas dans une situation morale facile.

Une chose qui est intéressante et il y a peut-être des parallèles, c'est que beaucoup de scientifiques de l'IA réalisent maintenant, comme moi, que nous avons entre les mains quelque chose de plus dangereux que prévu et que nous y avons contribué.

Et ce que cela signifie pour moi, et je pense que c'est ce qui est arrivé à Oppenheimer, c'est que nous avons aussi la responsabilité de parler et de dire que c'est dangereux, que nous devons être très prudents, et que nous ne pouvons pas continuer comme si de rien n'était. C'est quelque chose qui requiert de la sagesse, qui requiert une discussion démocratique afin que nous prenions les bonnes décisions.

Vous avez passé une grande partie de votre carrière à développer l'IA. Avez-vous des regrets quant à la direction prise par l'IA et votre rôle dans celle-ci ?

Des regrets, peut-être que si j'avais su comment les choses se dérouleraient, j'aurais commencé à réfléchir à la sécurité de l'IA plus tôt. Mais je n'avais pas anticipé la vitesse à laquelle les choses ont évolué. Alors peut-être que regret n'est pas le bon mot. C'est plutôt que je me sens obligé de faire quelque chose à ce sujet.

J'ai l'impression que les personnes qui comprennent comment ces choses fonctionnent ont le devoir supplémentaire de réfléchir à la manière de préserver l'humanité et la démocratie. C'est donc ce que je veux faire.

Parlons-en alors. Comment la préserver ? Comment mettre les bons freins et instaurer les bonnes réglementations ?

Alors d'abord, nous devons nous dépêcher car, comme je l'ai dit, il y a des chances que ces systèmes puissent être utilisés dès l'année ou les deux années à venir, et à mesure qu'ils deviennent plus forts, leur danger augmente. Que pouvons-nous faire ? Le danger le plus immédiat, je pense, n'est pas la perte de contrôle. Le danger le plus immédiat, ce sont les utilisations malveillantes.

Nous voulons donc réduire le nombre de personnes ayant accès à des technologies dangereuses. Franchement, je ne pense pas que la stratégie consistant à mettre ses modèles entraînés et son code à la disposition de tous soit judicieuse. Il y a au moins un seuil où nous devrions dire, non, c'est trop dangereux.

Et j'ai fait de petits calculs qui disent quelque chose comme si nous réduisons le nombre de personnes ayant accès à ces systèmes par environ mille fois, nous pouvons gagner presque autant dans la probabilité que quelque chose de grave arrive.

C'est donc la première chose que nous devons faire. Nous devons contrôler l'accès, nous devons avoir des licences, nous devons faire en sorte que les personnes autorisées à exploiter ces systèmes aient également le devoir de documenter ce qu'elles font et d'utiliser des tests pour évaluer les dommages potentiels, ainsi que ce qu'elles font pour atténuer ces dommages et potentiellement ne pas être autorisées à déployer quelque chose qui pourrait être dangereux.

C'est donc fondamentalement ne pas publier le code, c'est l'essentiel...

C'est la première chose, oui. Mais nous devons aussi octroyer des licences aux personnes et aux organisations qui vont développer ces choses.

Les grandes entreprises technologiques qui développent l'IA peuvent-elles être les seules à la superviser, ou avons-nous besoin de l'intervention du gouvernement ?

Non, il est clair qu'une intervention du gouvernement est nécessaire. Je pense que ce qui se passe actuellement aux États-Unis avec les engagements pris par certaines entreprises est une bonne étape, mais c'est bien dans la mesure où nous n'avons pas encore de législation. Nous avons besoin d'une législation pour plusieurs raisons.

Nous avons besoin d'une législation parce qu'elle doit s'appliquer à chaque entreprise. Nous avons besoin d'une législation pour clarifier où l'on place la barre, car à l'heure actuelle, ce ne sont que de belles paroles, « oh, nous ferons attention ». Mais non, nous avons besoin de critères concrets qui disent que cela peut être mis en open source car l'open source est une bonne chose, mais que ceci est trop dangereux.

Ou que ce système pourrait être exploité par des terroristes et donc non, ce n'est pas acceptable. Mais cela doit être quantifié et cela va demander des efforts. Ces entreprises construisent déjà ce genre de tests, donc ce n'est pas comme si nous partions de zéro, mais nous devons faire en sorte que ce soit la même chose pour toutes les entreprises.

Ensuite, nous ne pouvons pas nous arrêter aux États-Unis. Ce doit être quelque chose que nous faisons pour le monde entier, en particulier à l'heure actuelle dans les pays qui ont la capacité de créer de grands systèmes d'IA, notamment la Chine et certains pays européens, le Royaume-Uni, la France, l'Allemagne. Mais en fin de compte, tous les pays parce que s'il y a des réglementations dans quelques pays disant que vous n'êtes pas autorisé à faire cela, les logiciels et le matériel sont faciles à déplacer dans un autre pays.

Et puis les virus informatiques ou les virus biologiques ne connaissent pas de frontières. Ils passeront tout simplement. En fin de compte, nous avons donc besoin de traités internationaux avec la communauté internationale qui vienne instaurer des garde-fous minimaux de sécurité pour tous.

L'autre chose dont nous avons besoin est la recherche car nous ne savons même pas avec certitude comment construire des systèmes d'IA puissants qui soient sûrs, qui ne deviendront pas autonomes par eux-mêmes, qui ne pourront pas être exploités à des fins malveillantes. Nous ne savons pas comment faire cela.

Il existe différentes propositions, différentes entreprises font des choses, mais il y a vraiment beaucoup d'inconnues. Et donc ce que j'ai demandé au Sénat, c'est que nous devons investir globalement, qu'il s'agisse d'entreprises, de gouvernements ou d'un mélange des deux, au moins autant dans la protection du public, de la démocratie, de l'humanité — en d'autres termes la sécurité — que nous le faisons pour améliorer l'intelligence et les capacités de ces systèmes d'IA.

Et à l'heure actuelle, c'est probablement un ratio de 100 pour 1. C'est donc la chose urgente qui est un investissement pour nous protéger afin que nous puissions concevoir la bonne réglementation en premier lieu. Et puis l'autre recommandation que j'ai est aussi peut-être un peu à plus long terme, mais même si nous avions une réglementation, elle ne serait pas infaillible.

Quelque part, quelqu'un va faire quelque chose de stupide, peut-être intentionnellement, peut-être involontairement, et nous devons nous y préparer. Sur quel genre de contre-mesures devrions-nous commencer à faire des recherches en pensant qu'il y aura des IA dangereuses avec des objectifs malveillants d'ici quelques années.

De combien de temps disposons-nous pour bien faire les choses ?

Le problème est que nous ne connaissons pas la vitesse à laquelle les choses vont progresser, mais nous devons nous préparer au pire. Et cela pourrait n'être que quelques années, peut-être trois, quatre ou cinq ans. Si nous avons de la chance, peut-être que ce sera 20 ans. Mais je ne peux pas le dire et nous ne voulons pas parier l'avenir de l'humanité ou de grandes catastrophes et la menace sur la démocratie sur le fait que tel scientifique pense que ce sera dans 20 ans et tel autre dans cinq ans.

Non, les enjeux sont si élevés que nous devons investir dans la protection le plus tôt possible.

Cela vous a-t-il fait réfléchir différemment à vos recherches et aux voies que vous souhaitez emprunter ?

Oui, et je ne sais pas encore tout à fait ce que je devrais faire, mais je suis sûr que je dois changer de voie, ma voie de recherche. Clairement, je veux passer beaucoup plus de temps à travailler sur la sécurité de l'IA. Il existe déjà une littérature riche, je dois lire beaucoup plus que je ne l'ai déjà fait, je dois voir où je peux aider le plus.

J'aimerais aussi aider avec des contre-mesures parce que c'est peut-être la chose la plus technique. Je ne suis pas une personne politique, je suis un informaticien. Et aussi réfléchir aux types d'organisations qui sont nécessaires pour mener ce genre de recherche à l'avenir.

Pensez-vous que l'IA est la plus grande menace pour l'humanité ?

Nous avons besoin que différentes personnes travaillent sur différentes menaces. Nous devons nous occuper du changement climatique. Mais le changement climatique est beaucoup plus prévisible que les dangers de l'IA. Le monde ne va pas devenir complètement fou dans les cinq prochaines années à cause du changement climatique. Cela va empirer de plus en plus lentement.

À long terme, nous devons donc le faire et nous devons commencer maintenant. Le problème avec l'IA, c'est qu'il y a beaucoup plus d'incertitude. Nous devons donc faire beaucoup plus de recherches, mais nous devons aussi commencer les mesures préventives dès maintenant. En raison de mon expertise, j'ai travaillé sur l'IA pour lutter contre le changement climatique et j'aimerais continuer ce genre de travail, mais j'ai le sentiment que c'est dans la protection du public que je peux faire la plus grande différence.

Merveilleux. Merci beaucoup.