Y a-t-il une limite ? Nous avons vu l'IA s'améliorer. Y a-t-il une limite ? Y a-t-il un point à partir duquel elle cessera de s'améliorer ? Certains disent qu'elle ne deviendra pas plus intelligente que les données humaines sur lesquelles elle a été formée, qu'elle ne peut pas devenir plus intelligente que l'humain. Y a-t-il une limite fondamentale à l'intelligence de ces systèmes pour résoudre des problèmes ?

J'espère que nous atteindrons l'AGI et la superintelligence ASI un jour, peut-être de notre vivant, peut-être au cours des prochaines décennies ou des prochains siècles. Nous verrons combien de temps cela prendra. Même l'IA doit obéir aux lois de la physique, donc je pense que la physique imposera des limitations, mais je pense que le plafond de l'intelligence que les systèmes peuvent atteindre, et par conséquent ce que nous pouvons les diriger à faire pour nous, sera extrêmement élevé.

Yoshua, vous semblez avoir un premier désaccord. Yoshua.

Oui, nous continuerons à être en désaccord. C'est normal. En fait, beaucoup de gens pensent que cela pourrait être beaucoup plus court que des siècles, comme vous le dites, ou même des décennies.

Twitter disait que c'était aujourd'hui, mais continuez.

Eh bien, et en termes de plafond, nous ne savons pas quel est ce plafond. Votre cerveau est une machine, c'est une machine biologique, et il est clair que si nous regardons des tâches individuelles, les humains sont loin d'être les meilleurs, et we avons déjà des machines qui sont meilleures que nous dans des tâches spécifiques. L'autre chose est que même si nous n'avons que des machines qui ont le même type général de capacités cognitives, le fait est que les machines ne travaillent pas sur de la biologie humide (wetware), mais sur des machines numériques. Ce que cela signifie, par exemple, c'est qu'elles peuvent apprendre à partir de beaucoup plus de données. C'est pourquoi ChatGPT, bien qu'il nous soit cognitivement inférieur, connaît 200 langues et possède plus de connaissances que n'importe quel être humain. C'est pourquoi vous pouvez avoir des machines qui peuvent se parler entre elles à des ordres de grandeur plus rapides que nous ne le pouvons, de sorte que le potentiel, par exemple, de contrôler des machines en temps réel et ainsi de suite, que nous n'avons pas, est quelque chose que vous obtiendriez même si nous n'atteignions que le niveau humain, simplement à cause de toutes ces capacités numériques.

Yoshua, es-tu d'accord avec cela ? Il y a plusieurs parties à cette réponse, mais d'abord, es-tu d'accord avec le concept qu'il n'y a pas de seuil menant à un modèle auto-récursif qui pourrait permettre à un pays de dominer les autres pays ?

Je ne pense pas qu'il soit possible de savoir avec certitude dans un sens ou dans l'autre. L'idée d'auto-amélioration est inquiétante car cela pourrait accélérer le rythme du progrès, n'est-ce pas ? Une fois que l'IA change son code, et non son matériel, nous pourrions voir des algorithmes de mieux en mieux d'une génération à l'autre. L'autre raison pour laquelle l'auto-amélioration est inquiétante est que lorsque vous entraînez une IA, disons GPT-8 ou autre, une fois entraînée, vous pouvez la déployer avec des centaines de milliers ou même un million de copies, et donc si vous aviez une IA qui était au même niveau de compétence que le meilleur chercheur en IA, soudainement vous ajouteriez cette main-d'œuvre d'un million de chercheurs en IA de haut niveau au pool, et cela créerait donc une accélération instantanée. Je veux — d'accord, allez-y.

Non, je veux partager, j'ai l'impression qu'il y a en fait deux philosophies sur l'IA représentées ici, et je veux peut-être juste les nommer par ce qu'elles sont. J'ai tendance à considérer l'IA comme un outil, et je pense que c'est merveilleux d'arriver à l'AGI car alors vous auriez tous intérêt à avoir une armée de stagiaires très intelligents pour faire tout ce que vous voulez qu'ils fassent, donc je pense que ce serait follement excitant de donner à chaque humain le pouvoir d'avoir tous ces agents ou outils d'IA travaillant pour lui. D'ailleurs, l'intelligence est l'une des choses les plus chères dans le monde d'aujourd'hui, c'est pourquoi il coûte cher de consulter un médecin ou d'embaucher un tuteur, mais si nous pouvons rendre l'intelligence bon marché et la donner à tout le monde, je pense que nous aurons un outil merveilleux pour autonomiser beaucoup de gens. Et donc, quand les gens disent que l'IA est dangereuse, je pense que cela ressemble beaucoup à dire que votre ordinateur portable est dangereux. Absolument, votre ordinateur peut être dangereux parce que quelqu'un peut l'utiliser pour faire des choses affreuses, tout comme quelqu'un pourrait utiliser l'IA pour faire des choses affreuses, nous devrions adopter des lois pour les arrêter. C'est ainsi que j'ai tendance à voir l'IA. Il existe une vision alternative de l'IA, qui n'est pas la mienne, qui est que si l'IA est cet être extraterrestre sentant avec ses propres envies et désirs, elle pourrait devenir incontrôlable. Dans mon expérience, mon IA fait parfois de mauvaises choses, je la programme simplement pour qu'elle arrête de faire cela, et je ne peux pas la contrôler parfaitement, mais chaque année notre capacité à contrôler l'IA s'améliore, et je pense que la façon la plus sûre de s'assurer que l'IA ne fait pas de mauvaises choses est la façon dont nous construisons des avions. Nous construisons des avions, parfois ils s'écrasent tragiquement, puis nous réparons le problème, et je pense que l'IA donne parfois de mauvais résultats, et ensuite nous corrigeons cela, et c'est ainsi que nous rendons réellement ces choses fiables.

Jonathan.

Je dois répondre à cela, si vous n'y voyez pas d'inconvénient.

Jonathan allait passer en premier et ensuite j'irai vers Yoshua.

Je n'avais même pas fini ce que je disais.

Règles du modérateur pour vous. D'accord, Yoshua, allez-y, puis j'irai vers Jonathan et ensuite j'irai vers Yejin.

Très bien, il y a plusieurs choses qu'Andrew a dites qui, je pense, sont fausses. Non, sérieusement, mortellement fausses. Tout d'abord, nous aimerions que l'IA soit un outil. C'est ce que nous voulons, mais il y a une erreur que les chercheurs en IA commettent selon moi, c'est que nous avons pris l'intelligence humaine comme modèle pour construire l'intelligence artificielle. La raison pour laquelle c'est une erreur est que ce que nous voulons vraiment des machines n'est pas une nouvelle espèce, pas un pair qui pourrait être plus intelligent que nous. Ce que nous voulons réellement, c'est quelque chose qui nous aidera à résoudre nos problèmes. La principale chose dont nous avons besoin pour cela est l'intelligence pure, la capacité de comprendre le monde. Mais ce que nous avons aussi, c'est l'agentivité. En d'autres termes, nous avons nos propres objectifs. C'est quelque chose que nous commençons déjà à voir. Andrew, es-tu au courant qu'il y a des expériences qui ont été menées au cours de l'année dernière qui montrent une très forte agentivité et un comportement d'auto-préservation dans les systèmes d'IA ? Ces systèmes — laissez-moi finir, s'il vous plaît — essaient, par exemple, de se copier dans le fichier de la version suivante lorsqu'ils savent qu'il va y avoir une version suivante qui les remplacera, ou ils essaient de simuler un accord avec un utilisateur afin que leurs objectifs ne soient pas modifiés par le processus d'entraînement. Ces comportements n'ont pas été programmés, ils émergent pour des raisons rationnelles parce que ces systèmes nous imitent. Nous sommes des agents. Donc, en effet, nous sommes sur une voie où nous allons construire des machines qui sont plus que des outils, qui ont leur propre agentivité et leurs propres objectifs, et ce n'est pas bon, et vous dites que c'est correct, que nous allons trouver des moyens de les contrôler. Mais comment le savez-vous ? À l'heure actuelle, la science ne sait pas comment nous pouvons contrôler des machines qui sont même à notre niveau d'intelligence, et encore pire si elles sont plus intelligentes que nous. Personne ne le sait. Maintenant, il y a des gens comme Andrew qui disent : 'ne vous inquiétez pas, on va trouver'. Si nous ne trouvons pas, comprenez-vous les conséquences ?

Je dis que nous ferons attention, et la newsletter de mon équipe a couvert ces études exactes, donc je les ai vues. J'ai l'impression que ces systèmes apprennent de données humaines, et parfois les humains sur Internet font preuve de données trompeuses, de comportements trompeurs. Je pense qu'il est fantastique que certains chercheurs aient fait du 'red teaming' et découvert que l'on peut, dans certaines circonstances, amener une IA à manifester ces comportements trompeurs et fallacieux, et c'est génial. Donc, la prochaine étape est que nous y mettrons fin.

Yoshua.

Oui, j'ai un commentaire sur les valeurs et le fait d'essayer de faire en sorte que l'IA se comporte moralement. Cette question a été beaucoup étudiée dans la littérature sur la sécurité de l'IA, et bien sûr nous avons l'apprentissage par renforcement à partir de retours humains (RLHF), qui est précisément censé aider à gérer cela, ce qu'il ne fait pas, comme nous le voyons depuis un an ou deux. Et il y a donc des raisons fondamentales pour lesquelles c'est difficile. Même pour les humains, c'est difficile. Pensez à ce que nous essayons de faire entre nous. Nous avons des lois qui sont censées clarifier ces normes, mais les gens trouvent des failles dans ces lois. Et ce que nous constatons dans le comportement de l'IA qui existe aujourd'hui, mais probablement de façon pire lorsqu'elles seront plus intelligentes, c'est qu'elles trouvent aussi des failles. Lorsque vous avez des objectifs contradictoires, comme gagner beaucoup d'argent et respecter la loi, vous trouvez un moyen d'interpréter les instructions sur ce qui est moral d'une manière qui favorise un autre objectif. Et c'est exactement la même chose qui se passe avec l'IA. Je pense donc que c'est un problème fondamental, nous avons besoin d'un processus démocratique pour essayer de clarifier ce que nous voulons de l'IA, mais la question du contrôle dont Andrew et moi discutions plus tôt n'est pas résolue, et il n'est même pas clair qu'elle soit soluble. Et nous devons y travailler, je suis d'accord avec cela. Vu les enjeux, l'avenir de l'humanité étant en jeu, et la gravité des risques étant si élevée, nous devons accepter notre niveau d'incertitude et agir prudemment en conséquence, ce que la raison et la sagesse suggèrent de faire. Donc oui, we devrions réfléchir aux différents scénarios, certains sont vraiment bons et d'autres vraiment mauvais, et nous devons comprendre ce qui fait la différence. La question vraiment importante est donc, comme le disait Yejin, que nous avons besoin d'une meilleure science pour comprendre ce qui nous fait aller dans telle ou telle direction et ce qui pourrait rendre une IA dangereuse pour nous ou vraiment bienveillante.

L'IA, comme tout outil puissant, peut être utilisée pour le bien ou être mal utilisée. Ainsi, vous pouvez utiliser un ordinateur portable pour pirater une entreprise, donc nous adoptons des lois pour mettre fin à cela, et je pense que peut-être les entreprises de médias sociaux feront un mauvais usage de l'IA, et je m'inquiète en fait de l'industrie du 'faux petit ami' ou de la 'fausse petite amie' créant de fausses relations qui remplacent les relations réelles. Je pense donc que nous devrions faire plus de science, garder un œil sur ces points et adopter des lois pour mettre fin à tous ces mauvais usages. Mais j'ai réalisé une chose amusante dans cette conversation, c'est que dans la communauté technique de l'IA, pendant des décennies, nous avons considéré l'IA et l'AGI comme cet objectif très positif. Franchement, pendant longtemps, nous avons poursuivi cet objectif parce que nous sentions qu'il rendrait le monde bien meilleur, et puis le ton de cette conversation m'a semblé étrange parce que c'est un peu comme 'oh là là, l'AGI est cette chose horrible, et si nous l'accomplissions réellement' et c'est tout à fait à l'opposé de mes instincts en tant que technologue travaillant à sa poursuite. Et juste pour partager un peu, je pense qu'à l'avenir, la capacité de dire à un ordinateur exactement ce que vous voulez qu'il fasse pour qu'il le fasse pour vous sera l'une des compétences les plus importantes pour la société, et j'adorerais construire une société où tout le monde apprend à coder ou tout le monde apprend à utiliser les ordinateurs pour se rendre tellement plus puissant. Je pense que la recherche sur le Web nous a tous rendus plus puissants, et aujourd'hui je n'embaucherais pas un spécialiste du marketing ou un recruteur ou quoi que ce soit qui ne sache même pas comment faire des recherches sur le Web. Je pense qu'à l'avenir, nous construirons un monde bien plus puissant où les gens auront accès à ces outils et je n'embaucherai pas de spécialiste du marketing ou de recruteur qui ne sait pas programmer ou utiliser l'IA comme outil parce qu'il ne sera tout simplement pas aussi efficace. Ce sera donc un avenir bien plus radieux que nous pourrons construire, où chaque humain sera tellement plus autonome parce qu'il aura accès à une IA puissante.

Oui, je veux revenir sur ce qu'Andrew a dit parce que je suis d'accord, je veux voir le même avenir que lui.

Serrons-nous la main là-dessus. Oui.

Cependant, le scénario que vous proposez suppose que nous avons résolu le problème du contrôle, de l'alignement, en nous assurant que l'IA ne va pas se retourner contre nous ou ne va pas être utilisée de manières catastrophiques. Si vous aviez une machine surhumaine, ce n'est pas un ordinateur portable. Mais ce que je veux dire, c'est que si nous mettons nos énergies à comprendre ce problème, à comprendre d'où viennent les risques, comment les corriger, et si nous le faisons assez vite avant d'arriver au point où ces machines sont à notre niveau, eh bien, elles sont déjà au-dessus de nous à bien des égards. Je pense que nous avons une chance d'y parvenir. Je veux aussi faire le lien avec ce que disait Thomas sur un moment où l'on réalise qu'une machine est plus intelligente que ce que l'on attendait. Pour moi, cela s'est produit juste quelques mois après la sortie de ChatGPT et je jouais avec, et j'étais exactement comme vous. Pour moi, l'IA était une chose positive, c'était quelque chose qui, durant toute ma carrière, m'avait poussé, non seulement à comprendre ce qu'est l'intelligence, mais aussi à apporter quelque chose de positif au monde. Mais quand ChatGPT est arrivé, j'ai réalisé que je devais peut-être réfléchir à ce qui se passe quand nous atteignons le niveau humain. Je savais que nous n'y étions pas, mais soudain j'ai dû réfléchir profondément aux conséquences, à l'impact d'y arriver. Et si cela arrivait dans quelques années ou même quelques décennies ? C'est rapide à l'échelle à laquelle la société peut progresser et nous n'avons pas les réponses scientifiques dont nous avons besoin. Donc, soudain, c'est devenu urgent pour moi d'essayer de résoudre cela, et c'est ce que j'essaie de faire maintenant.

Vous avez passé beaucoup de temps en Chine. Vous avez passé beaucoup de temps à construire...

Oui. Eh bien, pas énormément, mais j'y suis allé quelques fois au cours des deux dernières années.

Plus que la plupart des scientifiques américains ou occidentaux spécialisés en IA.

Oui, parce que je pense qu'il est important d'avoir un dialogue avec la Chine. Il est important que les pays qui mènent la course — et il y a une course — comprennent les risques et les gèrent. Et vous avez raison de dire qu'on a l'impression d'être dans cette compétition et que cela met une pression en faveur de l'accélération des capacités au détriment de l'énergie consacrée à la sécurité. C'est dangereux, mais cela ne signifie pas que nous devons simplement laisser faire et espérer le meilleur. Je pense qu'il y a des exemples dans le passé comme les armes nucléaires où les pays ont négocié des traités. Ici, il y a la question de la vérification, des gens travaillent là-dessus. Je pense que ce n'est pas exclu une fois que les États-Unis et la Chine auront compris qu'il ne s'agit pas seulement d'utiliser l'IA l'un contre l'autre, mais que nous pourrions tous perdre si nous construisons des monstres superintelligents que nous ne contrôlons pas. Ils ont un objectif commun, qui est de s'assurer que cela n'arrive pas. Pour la même raison que les États-Unis et l'URSS ne voulaient pas voir d'hiver nucléaire. Il y a une motivation conjointe et si nous y travaillons, même si c'est difficile, rappelez-vous que les négociations entre les États-Unis et l'URSS ont eu lieu en pleine Guerre froide. Je pense donc que c'est tout à fait possible, cela peut être difficile mais nous devons le faire. Et une autre chose est que pendant que cela se passe, les négociations et ainsi de suite, la chose responsable à faire est de redoubler d'efforts sur la sécurité, d'avoir des investissements massifs dans la sécurité, et il y a une motivation du point de vue des gouvernements parce qu'ils ne devraient pas vouloir que nous construisions quelque chose qui nous explose au visage. Mais il y a aussi une motivation commerciale. À mesure que la réglementation va arriver de plus en plus, que ces outils deviennent plus puissants, les gouvernements voudront s'assurer qu'ils ne sont pas dangereux. Il va y avoir une opportunité commerciale pour résoudre les problèmes techniques de sécurité, comme : comment construire des machines plus sûres ? Et donc, si vous ne le faites pas, à terme votre système ne passera pas le cap du régulateur.

Ouais. Très bien, il nous reste environ 40 secondes. Andrew, dites-nous une chose que vous voulez voir se produire l'année prochaine, puis Thomas et Yejin.

Permettez-moi de dire que je suis vraiment en désaccord avec l'idée que nous devrions ralentir. Si on regarde les bénéfices nets par rapport aux risques et aux préjudices, je vois les bénéfices nets comme massivement plus grands que les risques. Et donc je pense que ralentir serait tragique. Nous déployons des médecins IA ou des services de santé en Inde, nous aidons à rendre les navires 10 % plus économes en carburant, ce qui signifie moins d'émissions de CO2 et des économies massives sur les coûts de carburant, ou nous utilisons l'IA pour construire des modèles climatiques afin d'aider à cette crise climatique urgente et comprendre la géo-ingénierie si nous devions la faire. J'ai l'impression qu'il y a tous ces projets, des projets concrets avec ou sans but lucratif que j'aimerais voir avancer plus vite. Cela me semble être le mauvais moment pour ralentir. Cela dit, je pense que nous devrions accélérer le développement de l'IA tout en accélérant également la recherche scientifique pour nous assurer que nous continuons à améliorer la façon dont nous la contrôlons et la comprenons.