Alors, l'intelligence humaine sera-t-elle la limite supérieure de ce qui est possible ?

Je pense qu'absolument pas.

Je me demande ce que tout cela signifie pour les gens. Si nous arrivons à un point où l'intelligence humaine est éclipsée par la superintelligence, qu'est-ce que cela signifie pour la société ?

Cela signifie une transformation massive. C'est en fait quelque chose qui va changer structurellement l'économie, la société et toutes sortes de choses. Et nous devons réfléchir à la manière dont nous structurons ce nouveau monde.

Bienvenue sur Google DeepMind : Le Podcast avec moi, votre animatrice, la professeure Hannah Fry. L'IAG arrive. C'est ce que tout le monde semble dire. Aujourd'hui, mon invité sur le podcast est Shane Legg, scientifique en chef de l'IAG et cofondateur de Google DeepMind. Shane parle de l'IAG depuis des décennies, même à l'époque où elle était considérée, selon ses propres mots, comme la "frange marginale insensée". On lui attribue la popularisation du terme et certaines des premières tentatives pour définir ce qu'elle pourrait réellement être. Aujourd'hui, au cours de cette conversation, nous allons discuter avec lui de la manière dont l'IAG devrait être définie, de la façon dont nous pourrions la reconnaître à son arrivée, de la manière de s'assurer qu'elle est sûre et éthique, et surtout, de ce à quoi ressemblera le monde une fois que nous y serons. Shane a été remarquablement franc sur la manière dont l'ensemble de la société sera impacté au cours de la prochaine décennie. Cela vaut vraiment la peine de rester avec nous pour cette discussion. Bienvenue sur le podcast, Shane. Nous vous avons parlé pour la dernière fois il y a cinq ans, et vous nous exposiez alors votre vision de ce à quoi l'IAG pourrait ressembler. En ce qui concerne les systèmes d'IA que nous avons aujourd'hui, pensez-vous qu'ils montrent de petites étincelles d'IAG ?

Oui, je pense que c'est bien plus que des étincelles.

Plus que des étincelles ?

Ma définition de l'IAG, ou parfois ce que j'appelle l'IAG minimale, est un agent artificiel capable d'accomplir au moins le type de tâches cognitives que les gens peuvent généralement faire. J'aime ce seuil car s'il est inférieur à cela, on a l'impression qu'il échoue à accomplir des choses cognitives que nous attendrions des gens, donc on a l'impression que nous n'y sommes pas encore. D'un autre côté, si je fixe le seuil minimal bien plus haut, je le place à un niveau où beaucoup de gens ne seraient pas capables de faire certaines des choses que nous exigeons de l'IAG. Nous pensons que les gens possèdent une sorte d'intelligence générale. J'estime que si une IA peut accomplir les types de tâches cognitives que les gens peuvent généralement faire, au moins, voire plus, alors nous devrions la considérer comme appartenant à cette catégorie.

Ce que nous avons maintenant, où cela se situe-t-il sur ces niveaux ?

C'est inégal. Elle est déjà bien meilleure que les humains pour parler des langues. Elle peut parler 150 langues ; personne ne peut faire ça. Sa culture générale est phénoménale. Je peux l'interroger sur la banlieue où j'ai grandi, une petite ville de Nouvelle-Zélande, et il se trouve qu'elle connaît des choses à son sujet. D'un autre côté, elles échouent encore à faire des choses que nous attendrions normalement des gens. Elles ne sont pas très douées pour l'apprentissage continu, c'est-à-dire apprendre de nouvelles compétences sur une longue période. C'est incroyablement important ; par exemple, si vous prenez un nouvel emploi, on ne s'attend pas à ce que vous sachiez tout pour être performant dès votre arrivée, mais vous devez apprendre au fil du temps. Elles ont aussi des faiblesses en raisonnement, particulièrement en raisonnement visuel. Les IA sont très douées pour reconnaître des objets ; elles reconnaissent les chats, les chiens et tout ce genre de choses depuis un moment. Si vous leur demandez de raisonner sur des éléments au sein d'une scène, elles deviennent beaucoup plus hésitantes. Les gens comprennent qu'il y a une question de perspective, que peut-être la voiture bleue est plus grande mais paraît plus petite parce qu'elle est plus loin. Les IA ne sont pas si douées pour ça. Ou si vous avez une sorte de diagramme avec des nœuds et des arêtes entre eux...

Comme un réseau.

Un réseau, ou un graphe, comme dirait un mathématicien. Et vous posez des questions à ce sujet, et elle doit compter le nombre d'arêtes...

De rayons.

De rayons qui partent de l'un des nœuds du graphe. Une personne fait cela en prêtant attention à différents points puis en les comptant mentalement. L'IA n'est pas très douée pour ce type de chose. Il y a toutes sortes de choses comme celle-ci que nous voyons actuellement. Je ne pense pas qu'il y ait de bloqueurs fondamentaux sur l'un de ces points, et nous avons des idées sur la manière de développer des systèmes capables de faire ces choses, et nous voyons les métriques s'améliorer au fil du temps dans plusieurs de ces domaines. Je m'attends à ce que, sur plusieurs années, tous ces problèmes soient résolus, mais nous n'y sommes pas encore. Cela va prendre un peu de temps car il y a une longue traîne de capacités cognitives humaines où les IA sont encore en dessous des performances humaines. À mesure que nous atteindrons ce stade, et je pense que cela viendra dans quelques années, les IA seront beaucoup plus fiables, ce qui augmentera considérablement leur valeur de bien des manières. Durant cette période, elles deviendront également de plus en plus capables d'atteindre un niveau professionnel et au-delà en codage, en mathématiques, en plusieurs langues et en culture générale. C'est quelque chose d'inégal.

Si vous pensez qu'elles deviendront plus fiables avec le temps, comment ? Est-ce simplement une question d'agrandir les modèles, de faire les choses à plus grande échelle ? Est-ce plus de données ? Avez-vous une voie claire pour les rendre plus fiables ?

Je pense que oui, et ce n'est pas une chose particulière. Ce n'est pas juste des modèles plus grands ou plus de données. Dans certains cas, c'est plus de données d'un type particulier, et quand vous collectez des données qui nécessitent un raisonnement visuel, les modèles apprennent à le faire. Dans d'autres cas, cela nécessite des éléments algorithmiques, de nouveaux processus internes. Par exemple, si vous voulez faire de l'apprentissage continu, où l'IA continue d'apprendre au fil du temps, vous pourriez avoir besoin d'un processus par lequel les nouvelles informations sont stockées dans un système de récupération, une mémoire épisodique, puis vous pourriez avoir des systèmes où ces informations sont réintégrées par entraînement dans un modèle sous-jacent. Cela nécessite plus que de simples données ; cela nécessite des changements algorithmiques et architecturaux. La réponse est une combinaison de ces facteurs, et cela dépend du problème particulier.

Je sais que vous ne pensez pas que l'IAG doive être un simple seuil oui/non que l'on franchit, mais plutôt un spectre de niveaux. Parlez-moi de cela.

J'ai ce que j'appelle l'IAG minimale, c'est-à-dire lorsque vous avez un agent artificiel capable de faire au moins toutes les tâches cognitives que nous attendrions normalement d'un être humain. Nous n'y sommes pas encore, mais cela pourrait prendre un an, cela pourrait prendre cinq ans. Je dirais environ deux ans.

C'est donc le niveau le plus bas.

C'est ce que j'appelle l'IAG minimale. C'est le point où je dirais que cette IA ne subit plus d'échecs qui nous surprendraient si nous confiions cette tâche cognitive à une personne. Je pense que c'est le seuil minimal. Cela ne signifie pas que nous comprenons pleinement comment atteindre les capacités de l'intelligence humaine, car vous pouvez avoir des personnes extraordinaires qui accomplissent des prouesses cognitives incroyables, inventent de nouvelles théories en physique ou en mathématiques, composent des symphonies incroyables ou écrivent une littérature remarquable. Ce n'est pas parce que notre IA peut faire ce qui est typique de la cognition humaine que nous connaissons nécessairement toutes les recettes et algorithmes nécessaires pour accomplir des prouesses extraordinaires de la cognition humaine. Une fois que nous pourrons, avec notre IA, atteindre tout le spectre de ce qui est possible avec la cognition humaine, alors nous saurons vraiment que nous avons pleinement atteint le niveau humain. Nous appelons cela l'IAG complète.

Existe-t-il un niveau au-delà ?

Je pense qu'une fois que vous commencez à aller au-delà de ce qui est possible avec la cognition humaine, vous commencez à entrer dans ce qu'on appelle la superintelligence artificielle, ou SIA. Il n'y a pas vraiment de définitions claires à ce sujet. J'ai essayé à plusieurs reprises d'en trouver une bonne, et chaque définition que j'ai proposée présente des problèmes importants. Au moins en termes vagues, cela signifie une IAG qui a une généralité mais qui est maintenant si capable en général qu'elle dépasse de loin ce que les humains sont capables d'atteindre.

Je sais que vous faites partie des personnes qui ont aidé à inventer cette expression, IAG. Pensez-vous qu'elle soit encore utile ? Il y a tellement de définitions concurrentes maintenant ; c'est le mot à la mode que tout le monde utilise. Vous avez raison de dire que la façon dont elle est décrite ressemble presque à une ligne oui/non que l'on franchit plutôt qu'à ce continuum de niveaux que vous décrivez.

Quand j'ai proposé le terme, je le voyais davantage comme un domaine d'étude. Je parlais à Ben Goertzel, pour qui j'avais travaillé un an auparavant, et he voulait écrire un livre sur l'ancienne vision de l'IA, ces machines pensantes capables de faire beaucoup de choses différentes, plutôt que les tâches spécialisées typiques de l'époque. Qu'en est-il du vieux rêve de l'IA, construire un système doté d'une capacité très générale, capable d'apprendre, de raisonner, d'utiliser le langage, d'écrire de la poésie, de faire des maths ou peut-être de peindre un tableau ? Je lui ai dit : si c'est vraiment la généralité que nous voulons, pourquoi ne pas simplement mettre le mot "générale" dans le nom et l'appeler intelligence artificielle générale ? IAG se prononce facilement. Plusieurs personnes ont commencé à utiliser le terme en ligne, et les gens ont commencé à se demander quand nous aurions l'IAG. L'IAG est donc passée d'un domaine d'étude à une catégorie d'artefacts, et elle a alors eu besoin d'une définition. J'aurais dû la définir à ce moment-là. Il s'est avéré quelques années plus tard que nous avons découvert qu'un homme, Mark Gubrud, avait écrit un article en 97 où il utilisait le terme, mais c'était dans une conférence sur la sécurité nanotechnologique, et aucun d'entre nous n'était au courant. Sa définition faisait en fait référence aux types de tâches cognitives que les gens font dans l'industrie et ailleurs. C'est assez similaire dans l'esprit à ce que j'utilise maintenant. Si cela avait été fixé plus clairement dès le départ, cela aurait été utile.

Regrettez-vous d'avoir inventé le terme ?

No, parce que cela a permis aux gens de se référer à cette idée de construire des IA qui étaient réellement générales, dans la mesure où l'intelligence humaine est générale. Il y avait un besoin pour cela, et c'est pourquoi le terme a pris. Si les gens utilisent des expressions comme "IA avancée", AlphaFold est une IA avancée mais elle est très spécialisée. AlphaGo est très spécialisée. Comment désigner des systèmes qui sont très généraux ? Différentes personnes ont vu le terme et l'ont adapté de différentes manières ou l'ont regardé sous différents angles. Pour certains, quand ils pensaient à l'IAG, ils pensaient à quelque chose de lointain, dans plusieurs décennies, qui serait très transformateur. Ils ont commencé à penser à l'IAG en termes de transformation qu'elle créerait dans la société, en se concentrant sur la croissance économique ou d'autres résultats. J'ai tendance à y voir un point historique dans le temps où nous devons dire que ces IA appartiennent à une catégorie similaire à notre intelligence parce qu'elles peuvent accomplir des tâches cognitives que nous pouvons typiquement faire. Cela ne révolutionne pas nécessairement le monde. La personne moyenne ne sera pas un Mozart ou un Einstein et n'inventera pas le successeur de la théorie quantique. C'est un moment historique important car il y a 20 ans, nous n'avions aucune IA capable de s'approcher des tâches cognitives que les gens font typiquement. Il est utile d'essayer de la définir car les gens ont des calendriers différents. Certains disent que l'IAG sera là dans trois ans, d'autres disent 15 ou 20 ans. Souvent, quand je leur parle, je m'aperçois qu'ils utilisent une définition différente. Cela mène à la confusion car les gens utilisent le terme pour signifier des choses différentes, et dans certains cas, je suis d'accord avec ce qu'ils pensent qu'il va arriver ; ils utilisent juste le mot d'une manière différente.

Je veux comparer certaines des autres définitions que les gens utilisent pour l'IAG. Certains ont suggéré une liste de tâches ou le "Dernier examen de l'humanité", qui est un test de modèle de langage de 2 500 questions dans différents domaines comme les sciences humaines et naturelles. D'autres disent qu'elle doit pouvoir se débrouiller dans une cuisine, comme être formée comme chef et être déposée dans une cuisine différente. Il y en a même un qui demande si elle pourrait gagner un million de dollars à partir de 100 000 dollars. Quel est votre avis sur ces définitions ?

J'ai un avis sur chacune. Gagner un million de dollars à partir de mille dollars — c'est une perspective économique. Beaucoup de gens auraient du mal à faire cela. C'est une perspective étroite sur la question. Peut-être pourriez-vous avoir un algorithme de trading qui opère sur les marchés et fait cela, mais c'est tout ce qu'il sait faire. C'est la généralité que je trouve intéressante. L'une des choses incroyables de l'esprit humain est notre flexibilité et notre généralité à faire beaucoup de choses différentes. Si vous avez un ensemble particulier de tâches, peut-être pouvez-vous construire un système capable de les accomplir, mais il pourrait encore échouer à des tâches cognitives de base que nous attendrions de n'importe qui. Ce n'est pas satisfaisant. La façon dont j'opérationnaliserais ma définition serait d'avoir une suite de tâches pour lesquelles je connais les performances typiques...

Chez les humains.

Chez les humains. Et je regarderais si l'IA peut accomplir toutes ces tâches. Si elle échoue à l'une de ces tâches, elle ne répond pas à ma définition.

Parce qu'elle n'est pas assez générale.

Elle échoue à accomplir une tâche cognitive que nous attendrions des gens. Si elle réussit cela, je propose de passer à une deuxième phase, plus contradictoire. Nous réunissons une équipe de personnes et leur donnons un mois ou deux. Ils sont autorisés à regarder à l'intérieur de l'IA et à faire ce qu'ils veulent. Leur travail consiste à trouver une tâche cognitive que les gens font typiquement et où l'IA échoue. S'ils la trouvent, elle échoue par définition. S'ils ne trouvent rien après quelques mois d'investigation, à toutes fins utiles, nous y sommes, car les cas d'échec sont désormais si difficiles à trouver que des équipes de personnes n'y parviennent pas après une période prolongée.

Pensez-vous que nous nous mettrons un jour d'accord sur une définition de ce qu'est l'intelligence ou l'IAG ?

En ce qui concerne l'IAG elle-même, je suppose que dans quelques années, les IA deviendront si généralement capables de tant de manières que les gens parleront simplement d'elles comme étant des IAG, et IAG signifiera simplement ces choses. Les gens auront moins de discussions pour savoir si quelque chose est une IAG. Les gens diront qu'ils ont le dernier Gemini 9 et qu'il est vraiment bon ; il peut écrire de la poésie, apprendre un nouveau jeu de cartes, faire des maths, traduire des choses ou planifier des vacances. Il semblera tout simplement évident aux gens qu'elle possède une généralité d'intelligence.

En termes d'avoir une voie définie vers l'IAG, vous parlez des risques de ne pas en avoir, comme le fait qu'elle acquière une certaine connaissance avant une autre — par exemple, être douée en génie chimique avant de devenir douée en éthique. Quelle est l'importance de ce travail dès maintenant, avant d'y arriver ?

Le travail sur la compréhension de ses capacités dans différentes dimensions est très important car nous devons réfléchir à la manière dont la société navigue l'arrivée d'une intelligence artificielle puissante et capable. On ne peut pas simplement la placer sur une seule dimension. Elle peut être capable de manière surhumaine dans certains domaines et très fragile et faible dans d'autres. Si vous ne comprenez pas cette répartition, vous ne comprendrez pas les opportunités qui existent ; vous ne comprendrez pas non plus les risques ou les façons dont elle pourrait être mal appliquée. Je pense que c'est une part importante de la navigation et de la compréhension de la situation actuelle par la société. Une grande partie du dialogue actuel sur l'IA tend déjà à dire qu'elle est soit extrêmement capable, soit pas vraiment capable et surestimée. La réalité est plus complexe. Elle est incroyablement capable à certains égards et assez fragile à d'autres.

Il faut prendre l'image globale, en somme.

Il faut prendre l'image globale. C'est comme pour l'intelligence humaine. Certaines personnes sont très douées pour les langues, les maths ou la musique, mais ne le sont peut-être pas autant pour autre chose.

Si nous avons la performance et la généralité, l'autre volet dont je veux vous parler est l'éthique. Comment cela s'insère-t-il dans tout cela ?

L'éthique dans l'IA comporte de nombreux aspects. L'un d'eux est simplement : l'IA elle-même a-t-elle une bonne compréhension de ce qu'est un comportement éthique, et est-elle capable d'analyser les actions possibles en fonction de ce comportement éthique et de le faire de manière robuste, d'une manière en laquelle nous pouvons avoir confiance ?

Ainsi, l'IA elle-même peut raisonner sur l'éthique de ce qu'elle fait.

Oui.

Comment cela fonctionne-t-il alors ? Comment intégrez-vous cela en elle ?

J'ai quelques idées là-dessus, mais ce n'est pas un problème résolu ; c'est un problème très important. J'aime ce que certains appellent la surveillance de la chaîne de pensée. J'ai donné quelques courtes conférences à ce sujet ; j'appelle cela la sécurité de Système 2.

C'est la pensée Système 1, Système 2 de Daniel Kahneman.

Exactement. L'idée de base est qu'en tant que personne, si vous êtes confronté à une situation éthique difficile, il ne suffit souvent pas de suivre votre instinct. Vous devez réellement vous asseoir et réfléchir à la situation, aux complexités et aux nuances, aux actions possibles, aux conséquences probables, puis analyser tout cela par rapport à un système d'éthique, de normes et de morale. Vous devrez peut-être raisonner pas mal pour comprendre comment tout cela s'imbrique, puis utiliser cette compréhension pour décider de ce qui doit être fait.

Disons que la façon dont le cerveau humain fonctionne dans cette situation est que quelqu'un vous agace, vous avez une poussée de colère et voulez réagir — c'est votre pensée Système 1, rapide et instinctive. Mais vous reprenez votre souffle, vous y réfléchissez et considérez les conséquences — c'est votre pensée Système 2 — et vous pourriez alors choisir une voie différente.

Oui. Vous pourriez dire, par exemple, que mentir est mal, donc nous n'allons pas mentir. Mais vous pourriez être dans une situation particulière où des personnes malveillantes cherchent quelqu'un, et si vous mentez, vous pouvez sauver sa vie ; alors la chose éthique à faire est de mentir. La règle simple n'est pas toujours adéquate pour prendre la bonne décision. Parfois, on a besoin de logique et de raisonnement pour réfléchir à l'acte éthique. Cela devient compliqué, et vous avez probablement entendu parler de tous ces dilemmes du tramway où nos instincts et notre analyse commencent à diverger et causent de la confusion. Ce n'est pas du tout un terrain simple. Nous avons maintenant des IA qui font cela — ces IA pensantes — et vous pouvez réellement voir la chaîne de pensée qu'elles utilisent. Quand vous posez à une IA une question ayant un aspect moral ou éthique, vous pouvez réellement la voir raisonner sur la situation. Si nous pouvons rendre ce raisonnement vraiment rigoureux et lui donner une solide compréhension de l'éthique et de la morale auxquelles nous voulons qu'elle adhère, elle devrait, en principe, pouvoir devenir plus éthique que les humains car elle pourra appliquer et raisonner de manière plus cohérente, à un niveau surhumain, les choix auxquels elle est confrontée.

Cela transforme l'éthique en un problème de raisonnement plutôt qu'en une simple question de ressenti. En même temps, je m'interroge sur l'ancrage dans la réalité. Pour l'instant, ces choses ne vivent pas dans le monde comme les humains. Est-il possible de prendre ce que l'on ressent en vivant le monde d'un point de vue humain et d'ancrer véritablement ces machines dans l'éthique humaine ?

Il y a quelques complexités. La première est qu'il n'y a pas une seule éthique humaine ; il existe différentes idées à ce sujet qui varient selon les personnes, mais aussi selon les cultures et les régions. Elle devra comprendre que dans certains endroits, les normes et les attentes sont un peu différentes. Dans une certaine mesure, les modèles en savent déjà beaucoup là-dessus car ils absorbent des données du monde entier, mais ils devront être vraiment excellents dans ce domaine. En termes d'ancrage dans la réalité, nous construisons actuellement ces agents en collectant de nombreuses données du monde, en les entraînant dans de grands modèles, puis ils deviennent des objets relativement statiques avec lesquels nous interagissons. Cela change, et nous intégrons davantage d'algorithmes d'apprentissage, mais nous rendons aussi les systèmes plus autonomes. Ce ne sont plus seulement des systèmes à qui l'on parle, mais peut-être des systèmes capables d'agir. Vous pouvez dire que vous voulez qu'elle écrive un logiciel ou qu'elle conçoive un plan pour un voyage au Mexique avec des préférences spécifiques. Ces agents commenceront aussi à s'incarner dans la robotique et d'autres choses de ce genre. À mesure que vous avancez sur cette voie, les IA se connectent davantage à la réalité, et elles doivent réellement apprendre par l'interaction et l'expérience plutôt que par un simple ensemble de données. C'est là que le lien avec la réalité se resserre. Une grande partie des données qui ont été injectées au début provenaient des humains, donc il y a un ancrage dans la réalité qui se fait aussi via ce processus.

Cette idée que l'IA soit meilleure en éthique que les humains eux-mêmes — tant que son raisonnement n'est pas aussi bon que le nôtre, comment s'assurer qu'elle soit mise en œuvre de manière sûre ? Par exemple, un argument utilitariste fonctionne assez bien pour les voitures autonomes où l'on veut sauver le plus de vies possible. Mais en médecine, cette même idée ne fonctionne pas ; on ne peut pas sacrifier un patient sain pour sauver la vie de cinq autres. Comment s'assurer qu'elle finisse par raisonner dans la bonne direction ?

On ne peut pas tout garantir. L'espace des possibilités d'action dans le monde est si vaste qu'une fiabilité à 100 % n'existe pas. Ce n'est pas une réalité dans une grande partie du monde tel qu'il existe. Si vous avez besoin d'une chirurgie et que le chirurgien dit que c'est sûr à 100 %, en tant que mathématicienne, vous savez qu'il ne vous dit pas la vérité. Rien n'est jamais à 100 %. Ce que nous devons faire, c'est tester ces systèmes, les rendre aussi sûrs et fiables que possible, et peser les bénéfices et les risques. Nous devons également les surveiller. Lorsqu'ils sont déployés, nous gardons une trace de ce qui se passe. Si nous commençons à voir des cas d'échec au-delà de ce que nous considérons comme acceptable, nous devrons peut-être faire machine arrière et les arrêter. Il y a toute une gamme de choses à faire : des tests avant la sortie, une surveillance une fois qu'ils sont là, et l'interprétabilité où nous regardons à l'intérieur du système. Avec la sécurité de Système 2, on peut réellement la voir raisonner. Il faut vérifier que ce raisonnement reflète fidèlement ce qu'elle essaie réellement de faire. Si vous avez des moyens de regarder à l'intérieur du système et de voir pourquoi elle fait les choses, cela peut vous donner un autre niveau de réassurance sur le fait qu'elle essaie d'agir de la bonne manière. Il ne s'agit pas toujours du résultat, mais de l'intention. Il y a une grande différence entre quelqu'un qui vous blesse intentionnellement et quelqu'un qui vous bouscule accidentellement. Nous interprétons cela très différemment. Si nous pouvons voir à l'intérieur de nos IA, nous pourrions accepter qu'elle était face à une situation délicate et qu'elle a essayé de faire la meilleure chose possible selon son analyse, mais qu'il y a eu un effet secondaire négatif. Si elle a fait la mauvaise chose intentionnellement, c'est une tout autre histoire. Ce sont tous des aspects de la sécurité de l'IAG, et nous avons des gens qui travaillent sur tous ces sujets.

Limitez-vous la capacité de ces systèmes à interagir avec le monde réel ou la rapidité avec laquelle vous les sortez jusqu'à ce que vous soyez confiante qu'ils ont atteint le seuil de sécurité ?

Nous avons toutes sortes de références et de tests. Nous les exécutons en interne pendant un certain temps, et nous avons des points particuliers que nous testons et qui sont des domaines à risque.

Comme quoi ?

Nous essayons de voir si le système aidera à développer une arme biologique.

D'accord.

Évidemment, il ne devrait pas.

Oui.

Si nous voyons que nous pouvons d'une manière ou d'une autre le tromper ou le forcer à être utile dans ce domaine, c'est un problème. Le piratage en est un autre : aidera-t-il les gens à pirater des choses ? Nous avons une collection de ces tests qui continue de s'agrandir avec le temps, puis nous évaluons sa puissance dans certains de ces domaines et prévoyons des mesures d'atténuation appropriées à chaque niveau de capacité. Cela pourrait signifier que nous ne sortons pas le modèle ou d'autres mesures selon ce que nous trouvons.

Eh bien, parlons de l'impact sur la société de tout cela, une fois que nous aurons une IAG vraiment capable. Mon objectif principal maintenant est d'essayer de comprendre ce qui se passe si nous obtenons une IAG et qu'elle est raisonnablement sûre pour son niveau de capacité. La liste de tout le reste est énorme. Il y a des questions comme : si nous avons une IAG puissante et qu'elle est raisonnablement sûre, est-elle consciente ? Est-ce même une question pertinente ?

Avez-vous une position là-dessus en ce moment ?

Nous avons un groupe qui étudie cela, et nous avons parlé aux plus grands experts mondiaux du sujet. La réponse courte est que personne ne le sait vraiment.

Pour être tout à fait claire, nous parlons ici de l'IAG complète plutôt que de ce que nous avons actuellement.

Oui.

Vous êtes convaincu que ce que nous avons actuellement ne l'est pas.

Je ne pense pas qu'elle le soit. Alors que nous nous dirigeons vers une future IAG dans 10 ans qui sera très capable, ce système sera-t-il conscient ? Quand je parle à certains des experts les plus célèbres au monde qui étudient cela, certains ont des arguments pour et d'autres des arguments contre. Quand je leur soumets un scénario concret, comme Gemini 10 incarné dans un robot humanoïde qui intègre les informations de ses capteurs, peut se souvenir de sa propre histoire en tant qu'agent et parler de sa conscience, ils ne sont pas absolument sûrs. Peut-être aurons-nous une réponse à cela. C'est une question de longue date, et il est difficile d'en faire une question scientifique stricte car nous ne savons pas comment formuler cela comme une chose mesurable. Ce dont je suis sûr, c'est que certaines personnes penseront qu'elles sont conscientes et d'autres non, particulièrement en l'absence d'une définition scientifique et d'un mode de mesure bien acceptés. Comment allons-nous naviguer là-dedans ? Ce n'est qu'une question parmi tant d'autres. Ensuite, nous avons des choses comme savoir si nous allons passer de l'IAG complète vers une superintelligence dépassant de loin l'intelligence humaine. Cela va-t-il arriver rapidement, lentement, ou jamais ? Si l'on passe à la superintelligence, quel est son profil cognitif ? Y a-t-il certaines choses où elle dépassera de loin l'humain ? Nous voyons déjà qu'elle peut parler 200 langues. Y a-t-il d'autres choses où, à cause de la complexité computationnelle, elle ne sera pas vraiment bien meilleure que les humains ? Cela semble être une question importante à laquelle l'humanité doit réfléchir : allons-nous entrer dans la superintelligence dans une décennie ou deux ?

Avez-vous une position là-dessus ? Pensez-vous qu'on ira vers la superintelligence ?

Je pense à Einstein, par exemple, qui a conçu la relativité générale. Serons-nous dans une position où vous aurez une IAG capable de théoriser sur le monde et de proposer une véritable compréhension scientifique dépassant ce que les humains ont réussi ?

Je pense que oui, sur la base du calcul. Le cerveau humain est un processeur mobile qui pèse quelques livres et consomme environ 20 watts. Les signaux sont envoyés via les dendrites. La fréquence sur le canal est de l'ordre de 100 ou 200 hertz dans le cortex. Les signaux sont des propagations d'ondes électrochimiques se déplaçant à environ 30 mètres par seconde. Si vous comparez cela à ce que nous voyons dans un centre de données, au lieu de 20 watts, vous pourriez avoir 200 mégawatts. Au lieu de quelques livres, vous pourriez avoir plusieurs millions de livres. Au lieu de 100 hertz sur le canal, vous pouvez avoir 10 milliards de hertz. Au lieu d'une propagation d'onde électrochimique à 30 mètres par seconde, vous pouvez être à la vitesse de la lumière, soit 300 000 kilomètres par seconde. En termes de consommation d'énergie, d'espace, de bande passante et de vitesse de propagation du signal, vous avez six, sept, peut-être huit ordres de grandeur dans les quatre dimensions simultanément. L'intelligence humaine sera-t-elle la limite supérieure de ce qui est possible ? Je pense absolument pas. À mesure que notre compréhension de la manière de construire des systèmes d'intelligence se développe, nous allons voir ces IA dépasser de loin l'intelligence humaine. Nous voyons déjà des machines dans certains domaines capables de voler plus vite que l'oiseau le plus rapide. Je pense que nous verrons cela aussi dans la cognition. Le stockage de l'information a déjà dépassé ce dont le cerveau humain est capable. Je pense que nous allons commencer à voir cela dans le raisonnement et dans toutes sortes d'autres domaines. Oui, je pense que nous allons vers la superintelligence. C'est pourquoi je suis très intéressé par la sécurité de Système 2 ; si nous ne pouvons pas arrêter le développement vers la superintelligence à cause des dynamiques de compétition, alors nous devons réfléchir très sérieusement à la manière de rendre une superintelligence super-éthique. Si vous avez un système capable d'appliquer son intelligence non seulement pour atteindre des objectifs mais aussi pour prendre des décisions éthiques, alors cela pourrait croître avec ses capacités.

Je me demande ce que tout cela signifie pour les gens. Si nous arrivons à un point où l'intelligence humaine est éclipsée par la superintelligence, qu'est-ce que cela signifie pour la société ? Est-ce que cela signifie une inégalité massive, où les gens qui n'ont plus de valeur dans ce qu'ils peuvent offrir à l'économie sont complètement laissés pour compte ?

Elle n'est pas adaptée pour cela, n'est-ce pas ?

Nous avons besoin que les personnes qui étudient tous ces différents aspects de la société prennent l'IAG au sérieux. Mon impression est que beaucoup ne le font pas. Quand je parle à des gens intéressés par l'une de ces choses en particulier, ils disent que c'est un outil intéressant et amusant, mais ils n'ont pas intériorisé l'idée que les limites actuelles qu'ils connaissent sont souvent obsolètes. Souvent, les gens disent avoir essayé quelque chose avec l'IA il y a un an ; or, il y a un an, c'est déjà de l'histoire ancienne par rapport à ce que font les modèles actuels, et dans un an, ce sera bien meilleur. Ils ne voient pas cette tendance. À certains égards, je pense que beaucoup de personnes dans le grand public sont en avance sur les experts. Si je parle à des personnes non techniques des systèmes d'IA actuels, certains disent qu'elle possède déjà une intelligence humaine car elle parle plus de langues qu'eux, fait des maths et de la physique mieux qu'ils ne le pourraient jamais, et connaît plus de recettes. Ils demandent en quoi elle n'est pas intelligente. Souvent, les experts dans un domaine particulier aiment avoir le sentiment que leur domaine est profond et spécial et que cette IA ne va pas vraiment les toucher.

Je veux terminer avec votre célèbre prédiction sur l'IAG. Vous êtes resté incroyablement constant là-dessus pendant plus d'une décennie. Vous avez dit qu'il y avait une chance sur deux d'avoir l'IAG d'ici 2028.

Oui.

C'est l'IAG minimale.

Oui.

Wow. Et êtes-vous toujours à 50-50 pour 2028 ?

Oui. 2028. Et vous pouvez voir cela sur mon blog depuis 2009.

Et que pensez-vous de l'IAG complète ? Quel est votre calendrier pour cela ?

C'est quelques années plus tard. Cela pourrait être trois, quatre, cinq ou six ans plus tard.

Mais d'ici une décennie.

Je pense que ce sera d'ici une décennie.

Vous arrive-t-il de vous sentir un peu nihiliste avec toutes ces connaissances ?

Il y a une opportunité énorme ici. Beaucoup de gens consacrent beaucoup d'efforts à un travail qui n'est pas si amusant que ça. Tout comme la révolution industrielle a exploité l'énergie pour effectuer un travail mécanique, ce qui a créé de la richesse dans la société, nous pouvons maintenant exploiter les données, les algorithmes et le calcul pour effectuer un travail cognitif. Cela peut générer une richesse immense pour les gens, incluant de nouvelles technologies et des médicaments. Cette technologie a un potentiel de bénéfice incroyable. Le défi est de savoir comment obtenir ces bénéfices tout en gérant les risques et les coûts. Pouvons-nous imaginer un monde futur où nous bénéficions réellement d'une intelligence qui nous aide à nous épanouir ? À quoi cela ressemble-t-il ? Je vais essayer de comprendre du mieux que je peux, mais c'est une question profonde. Elle touche à la philosophie, à l'économie, à la psychologie et à l'éthique. Nous avons besoin de beaucoup plus de gens qui réfléchissent à cela et tentent d'imaginer ce à quoi ressemble ce futur positif.

Shane, merci beaucoup. C'était passionnant. Les humains ne sont pas très doués pour les exponentielles. En ce moment, nous nous tenons sur le tournant de la courbe. L'IAG n'est plus une expérience de pensée lointaine. Ce que j'ai trouvé si intéressant dans cette conversation avec Shane, c'est qu'il pense que le grand public comprend mieux cela que les experts. Si ses calendriers sont corrects, et il a eu l'habitude d'avoir raison par le passé, nous n'aurons peut-être pas le luxe du temps pour une réflexion et une prise de conscience lentes. Nous avons des questions difficiles, urgentes et véritablement passionnantes qui nécessitent une attention sérieuse dès maintenant. Vous avez écouté Google DeepMind : Le Podcast avec moi, votre animatrice, Hannah Fry. Si vous avez apprécié cette conversation, abonnez-vous à notre podcast ou laissez-nous un avis. Au prochain épisode, nous recevrons le cofondateur de DeepMind, Demis Hassabis, alors ne manquez pas celui-là.