La dernière fois que nous nous sommes parlé, c'était il y a deux ans et un mois. Je suis curieux de savoir comment vos attentes au cours de ces deux années ont évolué quant à votre vision de l'avenir.

L'IA s'est donc développée encore plus vite que je ne le pensais. En particulier, ils ont maintenant ces agents d'IA, qui sont plus dangereux que l'IA qui se contente de répondre à des questions, parce qu'ils peuvent agir dans le monde. Je pense donc que les choses sont devenues, au contraire, plus effrayantes qu'elles ne l'étaient auparavant.

Je ne sais pas si nous voulons l'appeler IAG, super-intelligence, ou autre, un système d'IA très performant. Avez-vous un calendrier en tête pour savoir quand vous pensez que cela arrivera ?

Il y a un an, je pensais qu'il y avait de bonnes chances que cela arrive dans 5 à 20 ans. Je suppose donc que je devrais croire qu'il y a de bonnes chances que cela arrive dans 4 à 19 ans. Je pense que c'est toujours mon estimation.

D'accord. Ce qui est plus tôt que lors de notre discussion, car vous pensiez encore à environ 20 ans.

Oui. Je pense qu'il y a de bonnes chances que ce soit là dans 10 ans ou moins désormais.

Donc, dans quatre à 19 ans, nous atteignons ce point. À quoi cela ressemble-t-il ?

Je ne veux pas vraiment spéculer sur ce à quoi cela ressemblerait si l'IA décidait de prendre le contrôle. Il y a tellement de façons dont elle pourrait le faire.

Et je ne parle même pas de prendre le contrôle. Nous pourrons en parler, je suis sûr que nous le ferons. Mais en mettant de côté ce genre de prise de contrôle, juste une intelligence artificielle super intelligente. De quel genre de choses serait-elle capable ou que ferait-elle ?

Le bon scénario est que nous serions tous comme le PDG idiot d'une grande entreprise qui a un assistant extrêmement intelligent qui fait tout fonctionner, mais qui fait ce que le PDG veut. Le PDG pense qu'il fait des choses, mais en réalité, tout est fait par l'assistant. Et le PDG se sent merveilleusement bien parce que tout ce qu'il décide de faire réussit. C'est le bon scénario.

Et je vous ai entendu souligner quelques domaines pour lesquels vous pensez qu'il y a des raisons d'être optimiste quant à cet avenir. Pourquoi ne pas les passer en revue ?

Dans des domaines comme la santé, ils seront bien meilleurs pour lire les images médicales, par exemple. C'est une chose mineure. J'avais prédit il y a quelques années qu'ils seraient meilleurs d'ici maintenant. Et ils sont à peu près comparables aux experts aujourd'hui. Ils seront bientôt considérablement meilleurs parce qu'ils auront eu beaucoup plus d'expérience. L'un de ces systèmes peut examiner des millions de radiographies et apprendre de chacune d'elles, ce qu'un médecin ne peut pas faire. Ils seront de très bons médecins de famille. Imaginez un médecin de famille qui a vu 100 millions de personnes, dont une demi-douzaine de personnes atteintes de votre maladie très rare. Il serait tout simplement un bien meilleur médecin de famille. Un médecin de famille capable d'intégrer des informations sur votre génome avec les résultats de tous vos tests et de tous les tests de vos proches. Tout l'historique sans rien oublier. Ce serait bien, bien meilleur. Déjà, l'IA combinée à un médecin est bien plus efficace pour établir des diagnostics dans les cas difficiles qu'un médecin seul. Nous allons donc obtenir de bien meilleurs soins de santé grâce à ces choses. Et ils concevront aussi de meilleurs médicaments.

L'éducation est un autre domaine.

Oui. Dans l'éducation, nous savons que si vous avez un tuteur privé, vous pouvez apprendre environ deux fois plus vite. Ces outils finiront par être des tuteurs privés extrêmement performants qui sauront exactement ce que vous ne comprenez pas et quel exemple précis vous donner pour clarifier les choses afin que vous compreniez. Peut-être pourrez-vous apprendre trois ou quatre fois plus vite avec ces outils. C'est une mauvaise nouvelle pour les universités, mais une bonne nouvelle pour les gens.

Oui. Pensez-vous que le système universitaire survivra à cette période ?

Je pense que de nombreux aspects survivront. Je pense que c'est toujours le cas qu'un étudiant diplômé dans un bon groupe au sein d'une bonne université est la meilleure source de recherche véritablement originale. Et je pense que cela survivra probablement. Vous avez besoin d'une sorte d'apprentissage.

Certains espèrent que cela aidera à résoudre la crise climatique.

Je pense que cela aidera. Cela créera de meilleurs matériaux. Nous pourrons fabriquer de meilleures batteries, par exemple. Je suis sûr que l'IA sera impliquée dans leur conception. Les gens l'utilisent pour le captage du carbone dans l'atmosphère. Je ne suis pas convaincu que cela fonctionnera à cause des considérations énergétiques, mais cela pourrait. En général, nous allons obtenir de bien meilleurs matériaux. Nous pourrions même obtenir de la supraconductivité à température ambiante, ce qui signifierait que l'on pourrait avoir de nombreuses centrales solaires dans le désert et que nous pourrions en être à des milliers de kilomètres.

D'autres points positifs à mentionner ?

Eh bien, à peu près n'importe quelle industrie va devenir plus efficace car presque toutes les entreprises veulent prédire des choses à partir de données. Et l'IA est très douée pour faire des prédictions. C'est presque toujours meilleur que les méthodes que nous avions auparavant. Cela va donc entraîner d'énormes gains de productivité. Cela signifie que lorsque vous appellerez un centre d'appels, quand vous appellerez Microsoft pour vous plaindre que quelque chose ne fonctionne pas, la personne au centre d'appels sera en fait une IA qui sera bien mieux informée.

Oui. Quand je vous ai interrogé il y a quelques années sur les suppressions d'emplois, vous sembliez penser que ce n'était pas une grande préoccupation. Est-ce toujours votre avis ?

Non, je pense que ce sera une grande préoccupation. L'IA s'est tellement améliorée ces dernières années que si j'avais un travail dans un centre d'appels, je serais très inquiet.

Oui. Ou peut-être un travail d'avocat, ou de journaliste, ou de comptable.

Oui. Tout ce qui est routinier. Je pense que les journalistes d'investigation dureront assez longtemps car il faut beaucoup d'initiative plus une certaine indignation morale. Je pense que les journalistes resteront en activité pendant un moment.

Mais au-delà des centres d'appels, quelles sont vos inquiétudes concernant les emplois ?

Eh bien, tout travail routinier. Un poste de secrétariat standard, quelque chose comme un parajuriste, par exemple. Ces emplois sont condamnés.

Avez-vous réfléchi à la manière dont nous avancerons dans un monde où tous ces emplois disparaissent ?

C'est ainsi : il devrait en résulter que si vous augmentez la productivité, tout le monde en profite. Les personnes qui font ces travaux pourraient travailler quelques heures par semaine au lieu de 60. Ils n'auraient plus besoin de deux emplois. Ils pourraient être payés beaucoup d'argent pour un seul emploi car ils seraient tout aussi productifs en utilisant des assistants d'IA. Mais nous savons que cela ne se passera pas comme ça. Nous savons ce qui va arriver : les extrêmement riches vont devenir encore plus extrêmement riches et ceux qui ne sont pas très aisés devront maintenant cumuler trois emplois.

Je pense que personne n'aime cette question, mais nous aimons la poser. Cette idée de P-doom, la probabilité d'une catastrophe. Et je suis curieux de savoir si vous voyez cela comme une chose tout à fait possible, ou si c'est juste tellement grave que même si la probabilité n'est pas très élevée, nous devrions simplement être très inquiets. Où vous situez-vous sur cette échelle de probabilité ?

Je pense que la plupart des experts du domaine conviendraient que si l'on considère la possibilité que ces choses deviennent beaucoup plus intelligentes que nous et nous retirent le contrôle, prennent le pouvoir. La probabilité que cela se produise est très probablement supérieure à 1 % et très probablement inférieure à 99 %. Je pense que presque tous les experts peuvent s'accorder là-dessus.

Mais ce n'est pas très utile.

No, mais c'est un bon début. Cela peut arriver comme cela peut ne pas arriver. Et ensuite, les gens ne sont pas d'accord sur les chiffres. Je suis dans la position malheureuse d'être d'accord avec Elon Musk là-dessus, à savoir qu'il y a environ 10 à 20 % de chances que ces choses prennent le contrôle. Mais ce n'est qu'une supposition sauvage. Je pense que des gens raisonnables diraient que c'est bien plus de 1 % et bien moins de 99 %. Mais nous traitons avec quelque chose dont nous n'avons aucune expérience. Nous n'avons aucun bon moyen d'estimer quelles sont les probabilités.

Il me semble qu'à ce stade, il est inévitable que nous finissions par le savoir.

Nous allons le savoir, oui. Parce qu'il semble extrêmement probable que ces choses deviennent plus intelligentes que nous. Déjà, elles sont bien plus cultivées que nous. GPT-4 en sait des milliers de fois plus qu'une personne normale. Ce n'est pas encore un excellent expert en tout, mais ses successeurs finiront par l'être. Ils seront capables de voir des connexions entre différents domaines que personne n'a vues auparavant.

Oui. Je suis aussi intéressé par la compréhension de, bon, il y a cette terrible chance de 10 à 20 %. Mais...

Ou plus, ou moins.

Mais prenons simplement comme prémisse qu'il y a 80 % de chances qu'ils ne prennent pas le contrôle et ne nous anéantissent pas. C'est donc le scénario le plus probable. Pensez-vous toujours que ce serait globalement positif ou globalement négatif si ce n'est pas le pire résultat ?

D'accord, si nous pouvons les empêcher de prendre le contrôle, ce serait une bonne chose. La seule façon pour que cela arrive est d'y consacrer des efforts sérieux. Mais je pense qu'une fois que les gens auront compris que cela arrive, il y aura beaucoup de pression pour y consacrer des efforts sérieux. Si nous continuons comme maintenant, en essayant simplement de faire des profits, cela arrivera. Ils vont prendre le contrôle. Nous devons faire en sorte que le public fasse pression sur les gouvernements pour qu'ils fassent quelque chose de sérieux. Mais même si les IA ne prennent pas le contrôle, il y a le problème des acteurs malveillants utilisant l'IA à des fins néfastes. La surveillance de masse, par exemple, qui se produit déjà en Chine. Si vous regardez ce qui arrive aux Ouïghours dans l'ouest de la Chine, l'IA est terrible pour eux.

Pour monter dans l'avion pour venir à Toronto, j'ai dû me soumettre à une photo de reconnaissance faciale de notre gouvernement américain.

C'est exact. Quand j'entre au Canada, vous présentez votre passeport, il vous regarde et regarde votre passeport. À chaque fois, il échoue à me reconnaître. Tout le monde est reconnu. Des gens de toutes nationalités sont reconnus. Moi, il ne peut pas me reconnaître. Et je suis particulièrement indigné puisque je suppose qu'il utilise des réseaux de neurones.

Vous n'avez pas négocié d'exception, n'est-ce pas ?

Non, c'est juste qu'il y a quelque chose en moi qu'il n'aime pas.

Je dois trouver un moment pour en parler, alors ce moment est aussi bon qu'un autre. Parlons un peu du Nobel. Pouvez-vous nous dépeindre le jour où vous l'avez appris ?

Alors, j'étais à moitié endormi. Mon téléphone portable était à l'envers sur la table de nuit avec le son coupé. Mais quand un appel arrive, l'écran s'allume. Et j'ai vu cette petite ligne de lumière parce que je me trouvais allongé sur l'oreiller avec ma tête de ce côté et il était posé là.

Face au téléphone plutôt que de lui tourner le dos.

Je faisais face au téléphone par pur hasard. J'ai vu cette petite ligne de lumière. J'étais en Californie, et il était 1h00 du matin. La plupart des gens qui m'appellent sont sur la côte Est ou en Europe.

Vous n'utilisez pas le mode 'ne pas déranger'.

Non. Je coupe juste le son. Et je me suis dit, j'étais juste curieux de savoir qui diable m'appelait à 4h00 du matin sur la côte Est. C'est fou. Alors j'ai décroché et il y avait ce long numéro de téléphone avec un indicatif de pays que je ne reconnaissais pas. Et puis cette voix suédoise arrive et me demande si c'est bien moi et je dis : 'Oui, c'est moi.' Et ils disent que j'ai gagné le prix Nobel de physique. Enfin, je ne fais pas de physique, n'est-ce pas ? J'ai donc pensé qu'il s'agissait d'un canular. En fait, je pensais que le plus probable était un canular. Je savais que les prix Nobel allaient être annoncés car j'étais très intéressé de savoir si Demis Hassabis recevrait le prix Nobel de chimie. Et je savais que ce serait annoncé le lendemain. Mais je ne fais pas de physique. Je suis un psychologue caché dans l'informatique et j'obtiens le prix Nobel de physique.

Était-ce une erreur ?

Eh bien, la seule chose qui m'est venue à l'esprit, c'est : si c'est une erreur, peuvent-ils le reprendre ? Pendant les deux jours suivants, j'ai tenu le raisonnement suivant : Quelle est la chance qu'un psychologue obtienne le prix Nobel de physique ? Eh bien, peut-être une sur deux millions. Maintenant, quelle est la chance que, si c'est un rêve, j'obtienne le prix Nobel de physique ? Eh bien, peut-être une sur deux. Donc si c'est une sur deux dans mon rêve et une sur deux millions dans la réalité, cela rend un million de fois plus probable que ce soit un rêve plutôt que la réalité. Et pendant les deux jours suivants, je me demandais : 'Es-tu bien sûr que ce n'est pas un rêve ?'

Vous m'avez entraîné dans ce territoire très farfelu, mais cela fait partie de cette discussion. Certaines personnes pensent que nous vivons dans une simulation et que l'IAG n'est pas tout à fait une preuve mais un indice que c'est peut-être la réalité dans laquelle nous vivons.

Oui, je ne crois pas vraiment à ça. Je pense que c'est un peu farfelu. Mais je ne pense pas que ce soit totalement absurde. J'ai vu Matrix moi aussi.

Voici où je voulais en venir avec le Nobel. Je crois que vous avez dit quelque chose du genre : vous espérez utiliser votre crédibilité pour transmettre un message au monde. Pouvez-vous expliquer ce que c'est ?

Oui, que l'IA est potentiellement très dangereuse. Il y a deux types de dangers. Il y a les acteurs malveillants qui l'utilisent à des fins néfastes, et il y a l'IA elle-même qui prend le contrôle. Ce sont des menaces de natures assez différentes. Nous savons que des acteurs malveillants l'utilisent déjà à des fins néfastes. Elle a été utilisée pendant le Brexit pour inciter les Britanniques à voter pour la sortie de l'Europe d'une manière insensée. Une société appelée Cambridge Analytica obtenait des informations de Facebook et utilisait l'IA. L'IA s'est beaucoup développée depuis. Elle a probablement été utilisée pour faire élire Trump. Ils avaient des informations de Facebook, et cela a probablement aidé. Nous n'en sommes pas sûrs car cela n'a jamais vraiment fait l'objet d'une enquête. Mais aujourd'hui, elle est beaucoup plus compétente et les gens peuvent donc l'utiliser bien plus efficacement pour des choses comme les cyberattaques, la conception de nouveaux virus, évidemment des fausses vidéos pour manipuler les élections, des fausses vidéos ciblées en utilisant des informations sur les gens pour leur donner exactement ce qui les rendra indignés, et des armes létales autonomes. Tous les grands pays vendeurs d'armes s'efforcent de fabriquer des armes létales autonomes : l'Amérique, la Russie, la Chine, la Grande-Bretagne et Israël. Je pense que le Canada est probablement un peu trop timoré pour ça.

La question est alors de savoir quoi faire. Quel type de réglementation pensez-vous que nous devrions poursuivre ?

D'accord, nous devons donc distinguer ces deux types de menaces : les acteurs malveillants qui l'utilisent à des fins néfastes et l'IA elle-même qui prend le contrôle. J'ai surtout parlé de cette deuxième menace, non pas parce que je pense qu'elle est plus importante que les autres, mais parce que les gens pensaient que c'était de la science-fiction. Je veux utiliser ma réputation pour dire : 'No, ce n'est pas de la science-fiction, nous devons vraiment nous en inquiéter.' Et si vous demandez ce que nous devrions faire, ce n'est pas comme le changement climatique. Le changement climatique : il suffit d'arrêter de brûler du carbone et tout ira bien à long terme. Ce sera terrible pendant un certain temps, mais à long terme, tout ira bien si vous ne brûlez pas de carbone. Pour une prise de contrôle par l'IA, nous ne savons pas quoi faire. Nous ne savons pas, par exemple, s'il existe un moyen d'empêcher cela. Mais nous devrions certainement essayer très fort. Et les grandes entreprises ne vont pas le faire. Si vous regardez ce que font les grandes entreprises en ce moment, elles font du lobbying pour obtenir moins de réglementation sur l'IA. Il n'y a pratiquement aucune réglementation en l'état, mais elles en veulent moins parce qu'elles veulent des profits à court terme. Nous avons besoin que les gens fassent pression sur les gouvernements pour exiger que les grandes entreprises effectuent des recherches sérieuses sur la sécurité. En Californie, ils avaient un projet de loi très sensé, le projet 1047, où ils disaient qu'au moins ce que les grandes entreprises doivent faire, c'est tester les choses avec soin et rapporter les résultats de leurs tests. Et même ça, ils ne l'ont pas aimé.

Cela vous fait-il penser que la réglementation n'aura pas lieu ou comment cela se passe-t-il ?

Cela dépend beaucoup des gouvernements que nous aurons. Je pense que sous le gouvernement américain actuel, la réglementation ne va pas avoir lieu. Toutes les grandes entreprises d'IA se sont mises au lit avec Trump et c'est juste une mauvaise situation.

Elon Musk, qui est évidemment si impliqué dans l'administration Trump, a été quelqu'un de préoccupé par la sécurité de l'IA depuis très longtemps.

Oui, c'est un curieux mélange. Il a des opinions folles comme aller sur Mars, ce que je trouve complètement insensé. Peu importe à quel point...

Est-ce parce que cela n'arrivera pas ou parce que cela ne devrait pas être une priorité ?

Parce que peu importe à quel point vous rendez la Terre invivable, elle sera toujours bien plus hospitalière que Mars. Même si vous aviez une guerre nucléaire mondiale, la Terre sera beaucoup plus hospitalière que Mars. Mars n'est tout simplement pas hospitalière. Évidemment, il a fait de grandes choses comme les voitures électriques et aider l'Ukraine avec les communications grâce à son Starlink. Il a donc fait de bonnes choses. Mais en ce moment, il semble alimenté par le pouvoir et la kétamine et il fait beaucoup de choses folles. Il a donc ce drôle de mélange d'opinions.

Son passé de personne préoccupée par la sécurité de l'IA ne vous rassure donc pas quant à l'administration actuelle.

Je ne pense pas que cela va le ralentir dans l'exécution de choses dangereuses avec l'IA. Déjà, ils publient les poids de leurs grands modèles de langage d'IA, ce qui est une folie.

D'accord. Ces entreprises ne devraient pas publier les poids. Meta publie les poids, OpenAI vient d'annoncer qu'ils sont sur le point de publier les poids. Vous pensez que c'est une mauvaise idée.

Je ne pense pas qu'ils devraient faire ça. Parce qu'une fois que vous publiez les poids, vous supprimez la barrière principale à l'utilisation de ces outils. Si vous regardez les armes nucléaires, la raison pour laquelle seuls quelques pays en possèdent est qu'il est difficile d'obtenir les matières fissiles. Si l'on pouvait acheter des matières fissiles sur Amazon, beaucoup plus de pays auraient des armes nucléaires. L'équivalent des matières fissiles pour l'IA, ce sont les poids d'un grand modèle. Car l'entraînement d'un très grand modèle coûte des centaines de millions de dollars — peut-être pas l'exécution finale de l'entraînement, mais toute la recherche qui précède les choses que vous faites avant l'exécution finale de l'entraînement — des centaines de millions de dollars qu'une petite secte ou une bande de cybercriminels ne peut pas se permettre. Une fois que vous publiez les poids, ils peuvent alors partir de là et l'affiner pour faire toutes sortes de choses pour seulement quelques millions de dollars. Je pense donc que c'est juste de la folie de publier les poids. Et les gens en parlent comme de l'open source, mais c'est très, très différent de l'open source. Dans un logiciel open source, vous publiez le code et ensuite beaucoup de gens regardent ce code et disent : 'Hé, il pourrait y avoir un bug à cette ligne', et ils le corrigent. Quand vous publiez les poids, les gens ne regardent pas les poids en disant : 'Hé, ce poids pourrait être un peu faux.' No, ils prennent simplement ce modèle de base avec les poids qu'ils ont maintenant et ils l'entraînent pour faire quelque chose de mal.

Le problème avec l'argument cependant, tel qu'articulé par votre ancien collègue Yann LeCun entre autres, est que l'alternative est d'avoir cette minuscule poignée d'entreprises qui contrôlent cette technologie massivement puissante.

Je pense que c'est mieux que d'avoir tout le monde contrôlant une technologie massivement puissante. Je veux dire, vous pourriez dire la même chose pour les armes nucléaires. Aimeriez-vous que quelques pays seulement les contrôlent ou ne pensez-vous pas que tout le monde devrait les avoir ?

Une chose que je retiens de ceci est que vous avez de réelles inquiétudes sur le fait que toutes les grandes entreprises actuelles fassent ce qui est dans le meilleur intérêt de la société plutôt que ce qui sert leur recherche de profit. Est-ce la bonne façon de vous comprendre ?

Je pense que la façon dont les entreprises fonctionnent est qu'elles sont légalement tenues d'essayer de maximiser les profits pour leurs actionnaires. Elles ne sont pas légalement tenues — peut-être que les entreprises d'intérêt public le sont, mais la plupart ne le sont pas — de faire des choses qui sont bonnes pour la société.

Pour laquelle d'entre elles, le cas échéant, vous sentiriez-vous bien de travailler aujourd'hui ?

Je me sentais bien de travailler pour Google car Google était très responsable. Elle n'a pas publié ces grands chatbots ; elle a été la première à les avoir et elle ne les a pas publiés. Je serais moins heureux de travailler pour eux aujourd'hui. Je ne serais heureux de travailler pour aucune d'entre elles aujourd'hui. Si je travaillais pour l'une d'elles, je serais plus heureux avec Google qu'avec la plupart des autres, mais...

Avez-vous été déçu quand Google est revenu sur sa promesse de ne pas soutenir les utilisations militaires de l'IA ?

Très déçu. Surtout que je savais que Sergey Brin n'aimait pas les utilisations militaires de l'IA.

Pourquoi pensez-vous qu'ils l'ont fait ?

Je ne peux pas vraiment spéculer sans informations internes. Je n'ai aucune information interne sur les raisons pour lesquelles ils l'ont fait. Je pourrais spéculer qu'ils s'inquiétaient d'être maltraités par l'administration actuelle s'ils n'utilisaient pas leur technologie pour fabriquer des armes pour les États-Unis.

Voici la question la plus difficile que je vous poserai probablement aujourd'hui. Ne détenez-vous pas encore beaucoup d'actions Google ?

Je détiens quelques actions Google. La majeure partie de mes économies n'est plus en actions Google. Mais je détiens des actions Google et quand Google monte, je suis content et quand il descend, je suis malheureux. J'ai donc un intérêt personnel dans Google. Mais s'ils mettaient en place des réglementations strictes sur l'IA qui rendaient Google moins précieux mais augmentaient les chances de survie de l'humanité, je serais très heureux.

L'un des laboratoires les plus en vue a évidemment été OpenAI, et ils ont perdu tellement de leurs meilleurs éléments. Qu'en avez-vous pensé ?

OpenAI a été créée explicitement pour développer la super-intelligence en toute sécurité. Et au fil des ans, la sécurité est passée de plus en plus au second plan. Ils allaient consacrer une certaine fraction de leur puissance de calcul à la sécurité et puis ils sont revenus là-dessus. Et maintenant ils essaient d'entrer en bourse ; ils essaient d'être une entreprise à but lucratif. Ils essaient de se débarrasser de pratiquement tout engagement envers la sécurité pour autant que je puisse voir. Ils ont perdu beaucoup de très bons chercheurs. En particulier, un de mes anciens étudiants, Ilya Sutskever, qui est un très bon chercheur et qui était l'une des personnes largement responsables de leur développement de GPT-2 et de là jusqu'à GPT-4.

Lui avez-vous parlé avant tout ce drame qui a conduit à son départ ?

No, il est très discret. Il ne me parlerait de rien qui soit confidentiel pour OpenAI. J'étais assez proud de lui pour avoir renvoyé Sam Altman, même si c'était très naïf. Le problème était qu'OpenAI était sur le point d'avoir une nouvelle levée de fonds et lors de cette nouvelle levée de fonds, tous les employés allaient pouvoir transformer leur argent fictif en actions OpenAI en argent réel.

Argent fictif signifiant de l'argent vraiment hypothétique.

De l'argent hypothétique qui disparaîtrait si OpenAI faisait faillite.

Moment difficile pour une insurrection.

Une semaine ou deux avant que tout le monde ne reçoive peut-être de l'ordre d'un million de dollars chacun en encaissant leurs actions — peut-être plus. C'est un mauvais moment pour une insurrection. Et donc les employés se sont massivement prononcés en faveur de Sam Altman, mais ce n'était pas parce qu'ils voulaient Sam Altman ; c'était parce qu'ils voulaient pouvoir transformer leur argent fictif en argent réel.

Oui. C'était donc naïf de le faire à ce moment-là.

Cela vous a-t-il surpris qu'il commette cette erreur ou était-ce le genre de décision de principe mais peut-être pas totalement calculée à laquelle on pourrait s'attendre ? Je ne sais pas. Ilya est brillant et a une boussole morale solide, il est donc bon sur la moralité et il est très bon techniquement, mais en termes de manipulation des gens, il n'est peut-être pas si bon.

Je veux dire, c'est un peu une question joker, mais je pense que c'est intéressant et pertinent pour le domaine et pertinent pour les gens qui discutent de ce qui se passe. Vous avez parlé de la discrétion d'Ilya. Il semble y avoir cette culture des accords de confidentialité (NDA) dans toute l'industrie. Et il est donc difficile de savoir ce que les gens pensent parce qu'ils ne veulent pas ou ne peuvent pas discuter de ce qui se passe.

Je ne suis pas sûr de pouvoir commenter cela car quand j'ai quitté Google, je pense que j'ai dû signer tout un tas de NDA. En fait, quand j'ai rejoint Google, je pense que j'ai dû signer tout un tas de NDA qui s'appliqueraient à mon départ. Je n'ai aucune idée de ce qu'ils disaient ; je ne m'en souviens plus.

Vous sentez-vous muselé par eux ?

Non.

Pensez-vous cependant que c'est un facteur qui fait que le public a plus de mal à comprendre ce qui se passe parce que les gens ne sont pas autorisés à nous dire ce qui se passe ?

Je ne sais pas vraiment. Il faudrait savoir quelles personnes ne vous disent pas les choses. Je ne vois pas cela comme un gros problème. Je pense que c'était un gros problème qu'OpenAI semble avoir eu une clause disant que si vous aviez déjà des actions, ils pouvaient vous retirer l'argent. Ça, je pense que c'était un gros problème et ils ont rapidement fait marche arrière quand c'est devenu public.

C'est exact. Et je devrais vous donner la chance de citer n'importe qui comme un bon acteur ici dont les gens devraient se sentir plus rassurés. Vous avez mentionné Anthropic — est-ce le nom, ou voyez-vous... Il y a un certain nombre de questions importantes et pertinentes sur lesquelles j'aimerais avoir votre avis. L'une d'elles est l'orientation des États-Unis et de l'Occident vis-à-vis de la Chine dans leurs efforts pour poursuivre l'IA. Êtes-vous d'accord avec l'idée que nous devrions essayer de restreindre la Chine ? Il y a cette idée de contrôles à l'exportation, cette idée que nous devrions faire en sorte que les démocraties atteignent l'IAG en premier. Quelle est votre réflexion sur tout cela ?

Tout d'abord, il faut décider quels pays sont encore des démocraties. Ma réflexion à ce sujet est qu'à long terme, cela ne changera pas grand-chose. Cela peut ralentir les choses de quelques années, mais il est clair que si vous empêchez la Chine d'obtenir la technologie la plus avancée, les gens savent comment cette technologie avancée fonctionne. La Chine vient d'investir des milliards — peut-être des centaines de milliards, de l'ordre de 100 milliards je crois — dans la fabrication de machines de lithographie ou dans l'obtention de leur propre technologie nationale pour faire ces choses. Cela les ralentira un peu, mais cela les forcera en fait à développer leur propre industrie et, à long terme, ils sont très compétents et ils le feront. Cela ne fera donc que ralentir les choses de quelques années.

Mais la course est le bon cadre. Nous ne devrions pas essayer de coopérer avec la Chine communiste.

Je ne la décrirais plus comme communiste. J'ai utilisé le terme chargé spécifiquement parce que pourquoi ne coopérerions-nous pas, n'est-ce pas ? La seule raison de ne pas coopérer est de penser qu'ils sont une force malveillante. Eh bien, il y a des domaines dans lesquels nous ne coopérerons pas, où 'nous' est — je suppose que je ne sais plus qui est 'nous' car je suis au Canada maintenant et nous avions l'habitude d'être un peu le Canada et les États-Unis, mais ce n'est plus le cas. Évidemment, les pays ne vont pas coopérer pour développer des armes létales autonomes, car les armes létales autonomes sont destinées à être utilisées contre d'autres pays.

Mais nous avons eu des traités sur d'autres types d'armes comme vous l'avez souligné.

Nous pourrions avoir des traités pour ne pas les développer. Mais coopérer pour les rendre meilleures, ils ne vont pas le faire. Maintenant, il y a un domaine où ils coopéreront, c'est sur la menace existentielle. S'ils deviennent un jour sérieux quant à l'inquiétude sur la menace existentielle et s'ils font des choses à ce sujet, ils collaboreront sur cela — sur les moyens d'empêcher l'IA de prendre le contrôle — car nous sommes tous dans le même bateau. Au plus fort de la guerre froide, l'Union soviétique et les États-Unis ont collaboré pour empêcher une guerre nucléaire mondiale. Même des pays très hostiles l'un envers l'autre collaboreront lorsque leurs intérêts s'alignent, et leurs intérêts s'aligneront lorsqu'il s'agira de l'IA contre l'humanité.

Il y a cette question de l'utilisation équitable (fair use), à savoir s'il est acceptable que le contenu de milliards d'humains créé au fil de nombreuses années soit en quelque sorte ramassé et réutilisé dans des modèles qui remplaceront certaines de ces mêmes personnes ayant créé les données d'entraînement. Où vous situez-vous là-dessus ?

Je pense que je me situe un peu partout là-dessus dans le sens où c'est une question très compliquée. Au départ, il semble qu'ils devraient payer pour cela. Mais supposons qu'un musicien produise une chanson dans un genre particulier et demandons : comment a-t-il produit cette chanson dans ce genre ? D'où vient sa capacité à produire des chansons dans ce genre ? Eh bien, cela vient de l'écoute de chansons d'autres musiciens de ce genre. Il a donc écouté ces chansons, il a en quelque sorte internalisé des choses sur la structure des chansons, puis il a généré quelque chose dans ce genre. Et ce qu'il a généré est différent, donc ce n'est pas du vol, et c'est accepté. Eh bien, c'est ce que fait l'IA. L'IA absorbe toutes ces informations puis produit de nouvelles choses. Elle ne se contente pas de prendre et d'assembler des morceaux. Elle génère de nouvelles choses qui ont les mêmes thèmes sous-jacents. Et donc ce n'est pas plus du vol que ce que fait une personne quand elle fait la même chose. Mais le point est qu'elle le fait à une échelle massive.

Oui, aucun musicien n'a jamais mis tous les autres musiciens au chômage.

Exactement. En Grande-Bretagne, par exemple, le gouvernement ne semble avoir aucun intérêt à protéger les artistes créatifs. Et si vous regardez l'économie, les artistes créatifs valent beaucoup pour la Grande-Bretagne. J'ai une amie nommée Beeban Kidron qui dit que nous devrions protéger les artistes créatifs ; c'est très important pour l'économie. Laisser simplement l'IA partir avec tout semble injuste.

Le RBUI, le revenu de base universel. Est-ce une partie de la solution aux déplacements causés par l'IA selon vous ?

Je pense que cela pourrait être nécessaire pour empêcher les gens de mourir de faim. Je ne pense pas que cela résolve totalement le problème. Même si vous aviez un RBUI assez élevé, cela ne résout pas le problème de la dignité humaine. Pour beaucoup de gens, surtout pour les universitaires, leur identité est mêlée à leur travail. S'ils deviennent chômeurs, le simple fait de recevoir la même somme d'argent ne compense pas totalement. Ils ne sont plus qui ils sont.

J'ai tendance à penser que c'est vrai aussi. Je vous ai vu donner cette citation à un moment donné où vous disiez que vous auriez pu être plus heureux si vous aviez été ébéniste.

Eh bien, oui, parce que j'aime vraiment être charpentier.

Et n'y a-t-il pas une alternative où vous naissez 100 ans plus tard où vous n'avez pas à perdre tout votre temps sur ces réseaux de neurones et vous profitez simplement de l'ébénisterie tout en percevant un revenu mensuel ?

Oui, mais il y a une différence entre le faire comme un passe-temps et le faire pour gagner sa vie. D'une certaine manière, c'est plus réel de le faire pour gagner sa vie.

Donc vous ne pensez pas qu'un futur où nous pourrions poursuivre nos passe-temps et ne pas avoir à contribuer à l'économie...

Je pense que cela pourrait être bien si tout le monde faisait cela. Mais si vous faites partie d'un groupe défavorisé qui reçoit le revenu de base universel et que vous avez moins de revenus que d'autres personnes parce que les employeurs voudront que vous fassiez cela pour pouvoir amener d'autres personnes à travailler pour eux, ce sera très différent.

Je suis intéressé par cette idée des droits des robots. Je ne sais pas s'il y a un meilleur terme pour le décrire, mais à un moment donné vous allez avoir ces IA massivement intelligentes, elles vont être agentes et faire toutes sortes de choses dans le monde. Devraient-elles pouvoir posséder des biens ? Devraient-elles pouvoir voter ? Devraient-elles pouvoir épouser des humains dans une relation amoureuse ? Quel genre de droits...

Ou même s'ils sont simplement plus intelligents que nous, et si c'est une meilleure forme d'intelligence que celle que nous avons, devrait-il être acceptable pour eux de simplement prendre le contrôle et que les humains fassent partie de l'histoire ?

Eh bien, passons à cette idée plus vaste dans un second temps. Je suis curieux sur l'idée plus étroite. À moins que vous ne pensiez que les questions étroites sont sans importance parce que la grande question prime.

Non, je pense que les questions étroites sont pertinentes. J'avais l'habitude de m'inquiéter de cette question. Je me disais : 'Eh bien, s'ils sont plus intelligents que nous, pourquoi ne devraient-ils pas avoir les mêmes droits que nous ?' Et maintenant je pense : 'Eh bien, nous sommes des gens. Ce qui nous importe, ce sont les gens.' Je mange des vaches — je sais que beaucoup de gens n'en mangent pas, mais je mange des vaches — et la raison pour laquelle je suis heureux de manger des vaches est parce que ce sont des vaches et que je suis une personne. Et c'est la même chose pour ces IA super-intelligentes. Elles sont peut-être plus intelligentes que nous, mais ce qui m'importe, ce sont les gens, et je suis donc prêt à être méchant avec elles. Je suis prêt à leur refuser leurs droits parce que je veux ce qu'il y a de mieux pour les gens. Maintenant, elles ne seront pas d'accord avec cela et elles pourraient gagner, mais c'est ma position actuelle sur la question de savoir si l'IA devrait avoir des droits : même si elles sont intelligentes, même si elles ont des sensations, des émotions et des sentiments, ce ne sont pas des gens, et les gens sont ce qui m'importe.

Mais ils vont tellement ressembler à des gens. J'ai l'impression que ça va...

Ils vont être capables de simuler, oui. Ils vont pouvoir donner l'impression d'être tout à fait comme des gens.

Oui, oui. Soupçonnez-vous que nous finirons par leur donner des droits ?

Je ne sais pas. J'ai tendance à éviter cette question car il y a des problèmes plus immédiats, comme les mauvaises utilisations de l'IA ou la question de savoir s'ils essaieront de prendre le contrôle et comment l'empêcher. Et cela semble un peu excentrique si vous commencez à parler du fait qu'ils aient des droits. Vous perdez la plupart des gens quand vous allez là.

Même en restant sur les gens, il semble y avoir très bientôt, si ce n'est déjà là, cette capacité d'utiliser l'IA pour sélectionner les bébés que nous avons. Êtes-vous inquiet du tout par cette limite ? La sélection des embryons ?

Vous voulez dire sélectionner pour le sexe ou sélectionner pour les attributs de...

L'intelligence et la couleur des yeux et la probabilité d'avoir un cancer du pancréas ; la liste s'allonge de plus en plus pour toutes les choses que nous pourrions sélectionner.

Je pense que si l'on pouvait sélectionner un bébé qui a moins de risques d'avoir un cancer du pancréas, ce serait une excellente chose. Je suis prêt à le dire.

D'accord, c'est donc une chose que nous devrions poursuivre. Nous devrions faire des bébés plus sains, plus forts, meilleurs.

C'est un territoire très difficile. Mais certains aspects me semblent avoir du sens. Comme si vous êtes un couple normal en bonne santé et que vous avez un fœtus et que vous pouvez prédire qu'il va avoir de très graves problèmes et peut-être ne pas vivre très longtemps, il me semble logique d'avorter et d'avoir un bébé en bonne santé. Cela me semble tout simplement raisonnable. Maintenant, je sais que beaucoup de gens religieux ne seraient pas du tout d'accord avec cela. Mais pour moi, si vous pouviez faire ces prédictions de manière fiable, cela semble tout simplement avoir du sens.

Je nous ai retenus par rapport à la chose centrale que je pense que vous voulez que les gens retiennent, à savoir cette idée de machines prenant le contrôle et l'impact de cela. J'aimerais donc en discuter aussi pleinement que vous le souhaiteriez. Comment voulez-vous cadrer ce problème ? Comment les gens devraient-ils y réfléchir ?

Une chose à garder à l'esprit est le nombre d'exemples que vous connaissez de choses moins intelligentes contrôlant des choses beaucoup plus intelligentes. Nous savons que lorsque des choses sont d'une intelligence plus ou moins égale, la moins intelligente peut contrôler la plus intelligente. Mais avec un grand écart d'intelligence, il y a très peu d'exemples où la plus intelligente n'est pas aux commandes. C'est donc quelque chose que vous devriez garder à l'esprit comme une grande inquiétude. Je pense que la situation dans laquelle nous sommes actuellement — la meilleure façon de la comprendre émotionnellement — est que nous sommes comme quelqu'un qui possède ce très mignon petit tigre. À moins que vous ne puissiez être très sûr qu'il n'aura pas envie de vous tuer quand il sera grand, vous devriez vous inquiéter.

Et pour prolonger la métaphore, vous le mettez dans une cage, vous le tuez, que faites-vous du petit tigre ?

Eh bien, le point concernant le petit tigre est qu'il est simplement plus fort physiquement que vous, donc vous pouvez toujours le contrôler car vous êtes plus intelligent. Nous n'avons aucune expérience de choses qui sont plus intelligentes que nous. Les gens n'ont pas l'habitude d'y penser. Les gens pensent qu'on peut en quelque sorte le contraindre — on ne lui permet pas d'appuyer sur des boutons ou quoi que ce soit. Des choses plus intelligentes que vous vont être capables de vous manipuler. Une autre façon d'y penser est la suivante : Imaginez qu'il y a ce jardin d'enfants où des enfants de deux et trois ans sont aux commandes et vous travaillez simplement pour eux. Vous n'êtes pas tellement plus intelligent qu'un enfant de deux ou trois ans comparé à une super-intelligence, mais vous êtes plus intelligent. Alors, à quel point serait-il difficile pour vous de prendre le contrôle ? Eh bien, vous leur dites simplement qu'ils vont tous avoir des bonbons gratuits, et que s'ils signent simplement ceci ou acceptent verbalement cela, ils auront des bonbons gratuits aussi longtemps qu'ils le voudront et vous aurez le contrôle. Ils n'auront aucune idée de ce qui se passe. Et avec les super-intelligences, elles vont être tellement plus intelligentes que nous que nous n'aurons aucune idée de ce qu'elles mijotent.

Et alors que faisons-nous ?

Nous nous demandons s'il existe un moyen de construire une super-intelligence de sorte qu'elle ne veuille pas prendre le contrôle. Je ne pense pas qu'il y ait un moyen de l'empêcher de prendre le contrôle si elle le veut. Une possibilité est donc de ne jamais construire de super-intelligence.

Pensez-vous que ce soit possible ?

Je veux dire, c'est concevable, mais je ne pense pas que cela arrivera car il y a trop de concurrence entre les pays et entre les entreprises, et ils courront après la prochaine nouveauté brillante. Cela se développe très vite. Je ne pense donc pas que nous pourrons éviter de construire une super-intelligence ; cela va arriver. La question est : pouvons-nous la concevoir de telle sorte qu'elle ne veuille jamais prendre le contrôle, qu'elle soit toujours bienveillante ? C'est une question très délicate. Les gens disent : 'Eh bien, nous allons faire en sorte qu'elle s'aligne sur les intérêts humains.' Mais les intérêts humains ne s'alignent pas entre eux. Si je dis que j'ai deux lignes à angle droit et que je vous demande de me montrer une ligne parallèle aux deux, c'est délicat. Et si vous regardez le Moyen-Orient, par exemple, il y a des gens avec des opinions très tranchées qui ne s'alignent pas. Alors, comment allez-vous faire pour que l'IA s'aligne sur les intérêts humains ? Les intérêts humains ne s'alignent pas entre eux. C'est donc un problème. Il va être très difficile de trouver comment obtenir une super-intelligence qui ne veuille pas prendre le contrôle et qui ne veuille jamais nous faire de mal. Mais nous devrions certainement essayer.

Et essayer est en quelque sorte juste un processus itératif, mois après mois, année après année nous essayons de...

Oui, donc évidemment si vous allez développer quelque chose qui pourrait vouloir prendre le contrôle, quand c'est juste un peu moins intelligent que vous — et nous en sommes très proches maintenant — vous devriez regarder ce qu'il ferait pour essayer de prendre le contrôle. Si vous regardez les IA actuelles, vous pouvez voir qu'elles sont déjà capables de tromperie délibérée. Elles sont capables de prétendre être plus bêtes qu'elles ne sont, de vous mentir pour pouvoir vous embrouiller afin que vous ne compreniez pas ce qu'elles mijotent. Nous devons être très conscients de tout cela, étudier tout cela, et étudier s'il existe un moyen de les empêcher de faire cela.

Quand nous nous sommes parlé il y a quelques années, j'ai été surpris de vous voir exprimer des inquiétudes car vous ne l'aviez pas vraiment fait auparavant. Et maintenant vous les exprimez très clairement et fermement. Était-ce surtout que vous vous sentiez plus libre de dire ces choses ou était-ce vraiment un très grand changement radical dans votre vision ces dernières années ?

Quand nous nous sommes parlé il y a deux ans, je travaillais encore chez Google. C'était en mars, et je n'ai démissionné qu'à la fin du mois d'avril. Mais je pensais déjà à partir, et j'avais eu une révélation avant notre discussion où j'avais réalisé que ces choses pourraient être une meilleure forme d'intelligence que nous. Cela m'a fait très peur.

Et vous ne pensiez pas cela avant simplement parce que vous pensiez que l'horizon temporel était très différent.

Non, ce n'était pas seulement ça. C'était à cause des recherches que je faisais chez Google.

D'accord.

J'essayais de déterminer si l'on pouvait concevoir des modèles de langage analogiques massifs qui utiliseraient beaucoup moins d'énergie.

Mhm.

J'ai commencé à réaliser pleinement l'avantage d'être numérique. Tous les modèles que nous avons actuellement sont numériques. Si vous êtes un modèle numérique, vous pouvez avoir exactement le même réseau de neurones avec les mêmes poids fonctionnant sur plusieurs pièces de matériel différentes — comme des milliers de pièces de matériel différentes. Ensuite, vous pouvez faire en sorte qu'une pièce de matériel examine un morceau d'Internet, et une autre pièce de matériel en examine un autre morceau. Chaque pièce de matériel peut dire : 'Comment aimerais-je modifier mes paramètres internes, mes poids, pour absorber les informations que je viens de voir ?' Chacune de ces pièces de matériel séparées peut faire cela, puis elles peuvent simplement faire la moyenne de tous les changements de poids, car elles utilisent toutes les mêmes poids exactement de la même manière. Faire la moyenne a donc du sens. Vous et moi ne pouvons pas faire cela. Et s'ils ont un billion de poids, ils partagent des informations à hauteur de trillions de bits à chaque fois qu'ils font cette moyenne. Or, quand je veux transmettre une connaissance de ma tête à la vôtre, je ne peux pas simplement prendre les forces des connexions entre mes neurones et faire la moyenne avec les forces des connexions entre vos neurones, car nos neurones sont différents. Nous sommes analogiques, et nous avons simplement des cerveaux très différents.

Oui.

Donc la seule façon que j'ai de vous transmettre des connaissances est de faire des actions, et si vous me faites confiance, vous essayez de changer les forces de connexion dans votre cerveau afin de pouvoir faire les mêmes choses. Si vous demandez à quel point c'est efficace, eh bien, si je vous donne une phrase, ce n'est que quelques centaines de bits d'information tout au plus. C'est donc très lent. Nous communiquons seulement quelques bits par seconde. Ces grands modèles de langage fonctionnant sur des systèmes numériques peuvent communiquer des trillions de bits par seconde. Ils sont donc des milliards de fois plus efficaces que nous pour partager des informations. Cela m'a fait peur.

D'accord. Mais ce qui vous a surpris ou ce qui a changé votre réflexion, c'est que vous pensiez auparavant que l'analogique allait être la solution ?

Non, je pensais que si nous voulions utiliser beaucoup moins d'énergie, nous devrions nous demander s'il est possible de faire cela de manière analogique. Parce qu'on peut utiliser beaucoup moins d'énergie, on peut aussi être beaucoup moins rigoureux dans la conception du système. On n'a pas besoin de fabriquer un système qui fait précisément ce qu'on lui dit, ce qu'est un ordinateur. On peut fabriquer un système avec beaucoup d'imprécision, et il apprendra à utiliser ce système imprécis, ce que sont nos cerveaux.

Pensez-vous que la technologie n'est plus destinée à cette solution, mais va s'en tenir à la solution numérique ?

Je pense qu'elle s'en tiendra probablement à la solution numérique. Maintenant, il est tout à fait possible que nous puissions amener ces ordinateurs numériques à concevoir un meilleur matériel analogique, meilleur que nous. Je pense que cela pourrait être l'avenir à long terme.

Vous vous êtes lancé dans ce domaine parce que vous vouliez savoir comment le cerveau fonctionne. Pensez-vous que nous nous en rapprochons grâce à ce travail ?

Je pense que pendant un temps nous l'avons fait ; nous avons appris beaucoup à un niveau très général sur le fonctionnement du cerveau. Il y a 30 ou 50 ans, si vous demandiez aux gens : 'Pourrait-on avoir un grand réseau de neurones aléatoire avec des forces de connexion aléatoires, puis lui montrer des données et le faire apprendre à faire des choses difficiles comme reconnaître ce que quelqu'un dit ou répondre à des questions simplement en lui montrant beaucoup de données ?', presque tout le monde aurait dit : 'C'est fou. Il n'y a aucune chance que vous fassiez cela. Il doit avoir beaucoup de structures pré-câblées issues de l'évolution.' Eh bien, il s'avère qu'ils avaient tort. Il s'avère que vous pouvez avoir un grand réseau de neurones aléatoire et qu'il peut apprendre simplement à partir de données. Maintenant, cela ne veut pas dire que nous n'avons pas beaucoup de structures pré-câblées, mais fondamentalement la plupart de ce que nous savons vient de l'apprentissage à partir de données, pas de structures pré-câblées. C'est donc une avancée énorme dans la compréhension du cerveau. Maintenant, la question est de savoir comment obtenir l'information qui vous dit s'il faut augmenter ou diminuer une force de connexion. Si vous pouvez obtenir cette information, nous savons que nous pouvons alors entraîner un grand système qui commence avec des poids aléatoires à faire des choses merveilleuses. Le cerveau a besoin d'obtenir des informations comme celles-là, et il les obtient probablement d'une manière différente de la rétropropagation, qui est l'algorithme standard utilisé dans les grands modèles d'IA. Le cerveau n'utilise probablement pas la rétropropagation. Personne n'arrive à comprendre comment il pourrait faire. Il obtient probablement l'information de gradient — c'est-à-dire comment le changement d'un poids améliorera la performance — d'une manière différente. Mais nous savons maintenant que s'il peut obtenir cette information de gradient, il peut être vraiment efficace pour apprendre.

Savez-vous si certains laboratoires utilisent actuellement leurs modèles pour essayer de poursuivre de nouvelles idées dans le développement de l'IA ?

Presque certainement.

D'accord.

Oui, et en particulier, DeepMind est très intéressé par l'utilisation de l'IA pour faire de la science. Et une partie de la science, c'est l'IA.

Bien sûr. Je veux dire, était-ce quelque chose que vous essayiez quand vous étiez là-bas, comme cette idée d'auto-amorçage selon laquelle peut-être que la prochaine innovation pourrait être créée par l'IA elle-même ?

Il y a des éléments de cela. Par exemple, ils utilisaient l'IA pour faire la conception de circuits sur des puces qui allaient être utilisées pour l'IA. Les puces d'IA de Google — leurs unités de traitement de tenseurs — ont utilisé l'IA pour développer ces puces.

Je me demande si, dans votre vie quotidienne normale, vous désespérez, si vous avez peur pour l'avenir et supposez qu'il ne sera pas si bon.

Je ne désespère pas, mais principalement parce que même moi je trouve très difficile de prendre cela au sérieux. Il est très difficile de se faire à l'idée que nous sommes à ce moment très spécial de l'histoire où, dans un temps relativement court, tout pourrait changer totalement — un changement d'une échelle que nous n'avons jamais vue auparavant. C'est difficile à absorber émotionnellement.

Ça l'est. Et je remarque que, même si les gens sont peut-être inquiets, je n'ai jamais vu de protestation. Il n'y a pas de véritable mouvement politique autour de cette idée. Le monde change et personne ne semble vraiment s'en soucier tant que ça.

Parmi les chercheurs en IA, les gens en sont plus conscients. Les personnes que je connais qui sont les plus déprimées à ce sujet sont des chercheurs sérieux en IA. J'ai commencé à faire des choses pratiques. Parce que l'IA va être très douée pour concevoir des cyberattaques, je ne pense plus que les banques canadiennes soient sûres. Les banques canadiennes sont à peu près aussi sûres qu'on peut l'être — elles sont très bien réglementées par rapport aux banques américaines — mais au cours des 10 prochaines années, je ne serais pas du tout surpris s'il y avait une cyberattaque qui faisait tomber une banque canadienne.

Que signifie 'faire tomber' ?

Supposez que la banque détienne des actions que je possède. Supposez que la cyberattaque vende ces actions. Maintenant, mon argent a disparu. En fait, je répartis maintenant mon argent entre trois banques.

D'accord, donc pas sous votre matelas.

C'est la première chose pratique que j'ai faite. Parce que je pense que si une cyberattaque fait tomber une banque canadienne, les autres deviendront beaucoup plus sérieuses.

D'accord. Autre chose de ce genre ? Quoi d'autre ?

C'est l'essentiel. C'est là que j'ai remarqué que j'avais fait quelque chose de pratique qui découlait de ma conviction que des temps très effrayants arrivent.

D'accord. Quand nous nous sommes parlé il y a quelques années, vous disiez que l'IA était comme un idiot savant, mais que les humains étaient encore bien meilleurs pour raisonner.

C'est vrai. Cela a changé.

D'accord. Expliquez.

Auparavant, ce que les grands modèles de langage faisaient était de cracher un mot à la fois, et c'était tout. Maintenant, ils crachent des mots et regardent les mots qu'ils ont crachés, et ils vont cracher des mots qui ne sont pas encore la réponse à la question. Ils vont cracher des mots appelés 'raisonnement en chaîne de pensée'. Maintenant ils peuvent réfléchir sur les mots qu'ils ont déjà crachés, et cela leur donne de la place pour faire de la réflexion, et vous pouvez voir ce qu'ils pensent. C'est merveilleux — enfin, c'est merveilleux si vous êtes un chercheur. Beaucoup de gens de l'IA à l'ancienne disaient : 'Eh bien, ces choses ne peuvent pas raisonner ; elles ne sont pas vraiment intelligentes parce qu'elles ne peuvent pas raisonner. Vous allez devoir utiliser l'IA à l'ancienne et transformer les choses en formes logiques afin de faire un raisonnement correct.' Eh bien, ils avaient tout simplement tort. Les réseaux de neurones vont faire le raisonnement, et la façon dont ils vont le faire est par cette chaîne de pensée, en crachant des choses sur lesquelles ils réfléchissent ensuite.

Vous avez dit au début que le développement au cours des deux dernières années a été plus rapide que ce que vous attendiez. Y a-t-il d'autres exemples de cela — des choses que vous avez vues qui vous ont fait dire 'Wow' ?

C'est l'exemple principal. C'est aussi devenu bien meilleur pour générer des images et d'autres choses. Mais la chose principale est qu'elle peut maintenant raisonner assez bien, et que vous pouvez voir ce qu'elle pense.

Pourquoi est-ce important, ou où cela mène-t-il de manière significative ?

C'est très bien que vous puissiez voir ce qu'ils pensent parce qu'il y a des exemples où vous lui donnez un but et vous pouvez le voir faire un raisonnement pour essayer d'atteindre ce but en trompant les gens. Vous pouvez le voir faire cela. C'est comme si je pouvais entendre la voix dans votre tête.

Il est remarquable qu'il y ait tant de figures de la tech qui ont maintenant un rôle important à Washington, D.C. en ce moment même, où ce que Washington fait pourrait être vraiment important pour l'évolution et la réglementation de cette technologie. Est-ce que cela vous inquiète ? Comment voyez-vous cela ?

Ces figures de la technologie sont principalement préoccupées par les profits de leurs entreprises. Cela m'inquiète donc beaucoup.

Je ne vois pas comment les choses changent vraiment à moins qu'il n'y ait soit une réglementation forte, soit que l'on s'éloigne de ce modèle à but lucratif. Et je ne vois pas non plus comment ces choses arrivent.

Je pense que si le public réalisait ce qui se passait, il mettrait beaucoup de pression sur les gouvernements pour insister pour que les entreprises d'IA développent cela de manière plus sûre.

D'accord.

C'est le mieux que je puisse faire. Ce n'est pas très satisfaisant, mais c'est le mieux que je puisse imaginer.

Et plus sûrement signifie plus de ressources de la part de ces entreprises vers la recherche sur la sécurité.

Oui. Par exemple, la fraction de leur temps informatique qu'ils passent sur la recherche en sécurité devrait être une fraction significative, comme un tiers. En ce moment, c'est beaucoup, beaucoup moins. Il y a une entreprise, Anthropic, qui est plus préoccupée par la sécurité que les autres. Elle a été créée par des gens qui ont quitté OpenAI parce qu'OpenAI n'était pas assez préoccupée par la sécurité. Anthropic passe plus de temps sur la recherche en sécurité, mais probablement pas encore assez.

Il y a cette opinion parmi beaucoup de gens selon laquelle OpenAI a tenu de beaux discours sur ces questions, mais ne respecte pas ces valeurs. Est-ce votre point de vue ?

Oui.

Quelles preuves voyez-vous de cela ?

Le fait que tous leurs meilleurs chercheurs en sécurité sont partis parce qu'ils le croyaient aussi. Ils ont été créés en tant qu'entreprise qui allait développer la sécurité de l'IA, et leur but principal n'était pas de faire des profits mais de développer la sécurité de l'IA, et ils sont maintenant occupés à faire du lobbying auprès du procureur général de Californie pour leur permettre de devenir une entreprise à but lucratif. Il y a beaucoup de preuves de cela. C'est exact. Et je devrais vous donner la chance de citer n'importe qui comme un bon acteur ici dont les gens devraient se sentir plus rassurés. Vous avez mentionné Anthropic — est-ce le nom, ou voyez-vous... Parmi les entreprises, Anthropic est la plus préoccupée par la sécurité. Beaucoup de chercheurs en sécurité qui ont quitté OpenAI sont allés chez Anthropic, et donc Anthropic a beaucoup plus une culture de préoccupation pour la sécurité. Mais ils ont des investissements de grandes entreprises. Vous devez obtenir de l'argent de quelque part, et je crains que ces investissements ne les forcent à sortir des choses plus vite qu'ils ne le devraient.

Et quand je vous ai demandé pour laquelle vous vous sentiriez à l'aise de travailler, vous avez dit aucune d'entre elles, je crois, ou juste peut-être Google.

J'aurais dû dire peut-être Google ou peut-être Anthropic.

D'accord. Merci beaucoup pour tout ce temps et le reste de votre temps aujourd'hui. J'apprécie vraiment.

D'accord, vous n'avez pas encore eu le reste.

Je n'ai pas eu... j'y compte bien.