On vous appelle le parrain de l'IA.

Alors, que diriez-vous aux gens au sujet de leurs perspectives de carrière dans un monde de super-intelligence ?

Formez-vous pour devenir plombier.

Vraiment ?

Oui.

D'accord, comment devient-on plombier ?

Geoffrey Hinton est le pionnier lauréat du prix Nobel dont les travaux révolutionnaires ont façonné l'IA et l'avenir de l'humanité.

Pourquoi vous appelle-t-on le parrain de l'IA ?

Parce qu'il n'y avait pas beaucoup de gens qui croyaient que nous pouvions modéliser l'IA sur le cerveau afin qu'elle apprenne à faire des choses compliquées comme reconnaître des objets dans des images ou même raisonner. Et j'ai promu cette approche pendant 50 ans. Puis Google a acquis cette technologie et j'y ai travaillé pendant 10 ans sur quelque chose qui est maintenant utilisé tout le temps en IA.

Et puis vous êtes parti.

Oui.

Pourquoi ?

Pour pouvoir parler librement lors d'une conférence.

De quoi vouliez-vous parler librement ?

À quel point l'IA pourrait être dangereuse. J'ai réalisé que ces choses deviendront un jour plus intelligentes que nous et nous n'avons jamais eu à gérer cela. Et si vous voulez savoir à quoi ressemble la vie quand on n'est pas l'intelligence suprême, demandez à un poulet.

Il y a donc des risques provenant de personnes faisant un mauvais usage de l'IA, et puis il y a des risques que l'IA devienne super intelligente et décide qu'elle n'a pas besoin de nous.

Est-ce un risque réel ?

Oui, ça l'est. Mais ils ne vont pas l'arrêter parce que c'est trop bénéfique pour trop de choses.

Qu'en est-il des réglementations ?

Il y en a quelques-unes, mais elles ne sont pas conçues pour faire face à la plupart des menaces. Par exemple, les réglementations européennes comportent une clause stipulant qu'aucune d'entre elles ne s'applique aux utilisations militaires de l'IA.

Vraiment ?

Oui, c'est fou.

L'un de vos étudiants a quitté OpenAI.

Oui, il était probablement la personne la plus importante derrière le développement des premières versions de ChatGPT. Et je pense qu'il est parti parce qu'il avait des inquiétudes concernant la sécurité. Nous devrions reconnaître que ce truc est une menace existentielle et nous devons faire face à la possibilité que, à moins de faire quelque chose bientôt, nous soyons proches de la fin.

Alors, abordons les risques dans ce que nous finissons par faire dans un tel monde.

Cela m'a toujours un peu sidéré. 53 % d'entre vous qui écoutez régulièrement cette émission ne vous êtes pas encore abonnés. Puis-je donc vous demander une faveur avant de commencer ? Si vous aimez l'émission, si vous aimez ce que nous faisons ici et que vous voulez nous soutenir, le moyen simple et gratuit de le faire est de cliquer sur le bouton d'abonnement. Et mon engagement envers vous est que si vous faites cela, je ferai tout ce qui est en mon pouvoir, avec mon équipe, pour m'assurer que cette émission soit meilleure pour vous chaque semaine. Nous écouterons vos commentaires, nous trouverons les invités auxquels vous voulez que je parle, et nous continuerons à faire ce que nous faisons. Merci beaucoup.

Geoffrey Hinton. On vous appelle le parrain de l'IA.

Oui, en effet.

Pourquoi vous appelle-t-on ainsi ?

Il n'y avait pas beaucoup de gens qui croyaient que nous pouvions faire fonctionner des réseaux de neurones, des réseaux de neurones artificiels. Ainsi, pendant longtemps en IA, à partir des années 1950, il y avait deux idées sur la façon de faire de l'IA. Une idée était que le cœur de l'intelligence humaine était le raisonnement, et que pour raisonner, il faut utiliser une forme de logique. Et donc l'IA devait être basée sur la logique. Et dans votre tête, vous deviez avoir quelque chose comme des expressions symboliques que vous manipuliez avec des règles, et c'est ainsi que l'intelligence fonctionnait. Et des choses comme l'apprentissage ou le raisonnement par analogie, elles viendraient toutes plus tard une fois que nous aurions compris comment fonctionne le raisonnement de base. Il y avait une approche différente, qui consistait à dire modélions l'IA sur le cerveau, car c'est évidemment le cerveau qui nous rend intelligents. Simulez donc un réseau de cellules cérébrales sur un ordinateur et essayez de comprendre comment vous apprendriez la force des connexions entre les cellules cérébrales pour qu'il apprenne à faire des choses compliquées, comme reconnaître des objets dans des images ou reconnaître la parole ou même raisonner. J'ai promu cette approche pendant 50 ans. Comme si peu de gens y croyaient, il n'y avait pas beaucoup de bonnes universités qui avaient des groupes travaillant là-dessus. Donc si vous faisiez cela, les meilleurs jeunes étudiants qui y croyaient venaient travailler avec vous. J'ai donc eu beaucoup de chance d'avoir tout un tas de très bons étudiants.

Certains d'entre eux ont ensuite créé et joué un rôle déterminant dans la création de plateformes comme OpenAI.

Oui, Ilya Sutskever en serait un bel exemple, et tout un tas d'autres.

Pourquoi pensiez-vous que la modélisation à partir du cerveau était une approche plus efficace ?

Ce n'était pas seulement moi qui le croyais. Très tôt, von Neumann le croyait et Turing le croyait. Et si l'un ou l'autre avait vécu, je pense que l'IA aurait eu une histoire très différente. Mais ils sont tous deux morts jeunes.

Vous pensez que l'IA serait arrivée plus tôt ?

Je pense que l'approche par réseau de neurones aurait été acceptée beaucoup plus tôt si l'un d'eux avait vécu.

Dans cette étape de votre vie, quelle est votre mission ?

Ma mission principale maintenant est d'avertir les gens à quel point l'IA pourrait être dangereuse.

Saviez-vous cela quand vous êtes devenu le parrain de l'IA ?

Non, pas vraiment. J'ai pris du temps à comprendre certains risques. Certains risques ont toujours été très évidents, comme le fait que les gens utiliseraient l'IA pour fabriquer des armes létales autonomes. C'est-à-dire des choses qui décident d'elles-mêmes qui tuer. D'autres risques, comme l'idée qu'elles deviennent un jour plus intelligentes que nous et que nous devenions peut-être insignifiants, j'ai mis du temps à le reconnaître. D'autres l'ont reconnu il y a 20 ans. Je n'ai reconnu qu'il y a quelques années que c'était un risque réel qui arrivait assez tôt.

Comment avez-vous pu ne pas prévoir cela avec tout ce que vous savez sur le craquage de la capacité de ces ordinateurs à apprendre de manière similaire aux humains et en introduisant n'importe quel taux d'amélioration ?

C'est une très bonne question. Comment avez-vous pu ne pas voir ça ? Mais n'oubliez pas que les réseaux de neurones il y a 20 ou 30 ans étaient très primitifs dans ce qu'ils pouvaient faire. Ils étaient loin d'être aussi bons que les humains pour des choses comme la vision, le langage et la reconnaissance vocale. L'idée qu'il faille maintenant s'inquiéter qu'ils deviennent plus intelligentes que les gens, cela semblait idiot à l'époque.

Quand est-ce que cela a changé ?

Cela changé pour la population générale quand ChatGPT est sorti. Cela a changé pour moi quand j'ai réalisé que les types d'intelligences numériques que nous fabriquons possèdent quelque chose qui les rend bien supérieures au type d'intelligence biologique que nous avons. Si je veux partager des informations avec vous, je pars apprendre quelque chose. Et j'aimerais vous dire ce que j'ai appris. Je produis donc quelques phrases. C'est un modèle assez simpliste, mais globalement correct. Votre cerveau essaie de comprendre comment je peux modifier la force des connexions entre les neurones pour que j'eusse pu placer ce mot ensuite. Et donc vous ferez beaucoup d'apprentissage quand un mot très surprenant arrive et pas beaucoup d'apprentissage quand c'est un mot très évident. Si je dis fish and chips, vous n'apprenez pas grand-chose quand je dis chips. Mais si je dis poisson et concombre, vous apprenez beaucoup plus. Vous vous demandez pourquoi j'ai dit concombre. C'est à peu près ce qui se passe dans votre cerveau.

Je prédis ce qui va suivre.

C'est ainsi que nous pensons que cela fonctionne. Personne ne sait vraiment avec certitude comment le cerveau fonctionne. Et personne ne sait comment il obtient l'information sur s'il faut augmenter la force d'une connexion ou la diminuer. C'est le point crucial. Mais ce que nous savons maintenant grâce à l'IA, c'est que si vous pouviez obtenir des informations sur l'opportunité d'augmenter ou de diminuer la force d'une connexion afin de mieux réussir n'importe quelle tâche que vous essayez d'accomplir, alors nous pourrions apprendre des choses incroyables, car c'est ce que nous faisons actuellement avec les réseaux de neurones artificiels. C'est juste que nous ne savons pas, pour les cerveaux réels, comment ils reçoivent ce signal indiquant s'il faut augmenter ou diminuer.

Alors que nous sommes assis ici aujourd'hui, quelles sont les grandes préoccupations que vous avez concernant la sécurité de l'IA ? Si nous devions énumérer les deux ou trois principales qui sont vraiment à l'esprit et auxquelles nous devrions réfléchir.

Puis-je en avoir plus que deux ?

Allez-y. Je vais toutes les noter et nous les passerons en revue.

D'accord, je veux tout d'abord faire une distinction entre deux types de risques complètement différents. Il y a les risques liés à une mauvaise utilisation de l'IA par les gens, et c'est la plupart des risques et tous les risques à court terme. Et puis il y a les risques que l'IA devienne super intelligente et décide qu'elle n'a pas besoin de nous.

Est-ce un risque réel ?

Et je parle principalement de ce second risque parce que beaucoup de gens se demandent si c'est un risque réel. Et oui, ça l'est. Maintenant, nous ne savons pas quelle est l'ampleur de ce risque. Nous n'avons jamais été dans cette situation auparavant. Nous n'avons jamais eu à traiter avec des choses plus intelligentes que nous. Donc, le truc avec cette menace existentielle, c'est que nous n'avons aucune idée de comment la gérer. Nous n'avons aucune idée de ce à quoi cela va ressembler. Et quiconque vous dit qu'il sait exactement ce qui va se passer et comment le gérer raconte n'importe quoi. Nous ne savons donc pas comment estimer les probabilités qu'elle nous remplace. Certains disent que c'est moins de 1 %. Mon ami Yann LeCun, qui était post-doctorant avec moi, pense que nous construisons ces choses, nous serons toujours en contrôle. Nous les construirons pour être obéissantes. Et d'autres comme Yudkowsky disent non, ces choses vont nous anéantir à coup sûr. Si quelqu'un les construit, cela va tous nous anéantir. Et il en est convaincu. Je pense que ces deux positions sont extrêmes. Il est très difficile d'estimer les probabilités intermédiaires.

Si vous deviez parier sur lequel de vos deux amis a raison ?

Je ne sais tout simplement pas. Donc si je devais parier, je dirais que la probabilité est entre les deux, et je ne sais pas où l'estimer dans cet intervalle. Je dis souvent qu'il y a 10 à 20 % de chances que cela nous anéantisse. Mais c'est juste une intuition, basée sur l'idée que nous les fabriquons encore et que nous sommes assez ingénieux, et l'espoir est que si suffisamment de personnes intelligentes font assez de recherches avec assez de ressources, nous trouverons un moyen de les construire pour qu'elles n'aient jamais envie de nous nuire.

Parfois je me dis que si nous parlons de cette deuxième voie, je pense parfois aux bombes nucléaires et à l'invention de la bombe atomique et comment cela se compare. En quoi est-ce différent ? Parce que la bombe atomique est arrivée et j'imagine que beaucoup de gens à l'époque pensaient que nos jours étaient comptés.

Oh oui, j'y étais. C'est ce que nous pensions.

Oui. Mais nous sommes toujours là.

Nous sommes toujours là, oui. La bombe atomique n'était vraiment utile que pour une chose, et il était très évident de savoir comment elle fonctionnait. Même sans avoir les images d'Hiroshima et de Nagasaki, il était évident que c'était une très grosse bombe très dangereuse. Avec l'IA, c'est utile pour beaucoup, beaucoup de choses. Ce sera magnifique dans les soins de santé, dans l'éducation et plus ou moins n'importe quelle industrie qui a besoin d'utiliser ses données pourra mieux les utiliser avec l'IA. Nous n'allons donc pas arrêter le développement. Les gens disent pourquoi ne pas simplement l'arrêter maintenant ? Nous n'allons pas l'arrêter parce que c'est trop bénéfique pour trop de choses. De plus, nous n'allons pas l'arrêter parce que c'est utile pour les robots de combat et aucun des pays qui vendent des armes ne voudra l'arrêter. Comme les réglementations européennes, ils ont quelques règles sur l'IA et c'est bien qu'ils en aient, mais elles ne sont pas conçues pour faire face à la plupart des menaces. Et en particulier, les réglementations européennes comportent une clause stipulant qu'aucune de ces réglementations ne s'applique aux utilisations militaires de l'IA. Les gouvernements sont donc prêts à réglementer les entreprises et les citoyens, mais ils ne sont pas prêts à se réglementer eux-mêmes.

Cela me semble assez fou que j'hésite, mais si l'Europe a une réglementation mais que le reste du monde n'en a pas, ne nous mettons-nous pas simplement dans une position de désavantage concurrentiel ?

Oui. Et nous le voyons déjà. Je ne pense pas qu'ils réalisent que lorsqu'OpenAI sort un nouveau modèle ou un nouveau logiciel en Amérique, ils ne peuvent pas encore le sortir en Europe à cause des réglementations ici. Sam Altman a tweeté en disant que notre nouvel agent IA est disponible pour tout le monde, mais qu'il ne peut pas encore arriver en Europe car il y a des réglementations. Et qu'est-ce que cela fait ? Cela nous donne un désavantage de productivité.

Oui. Ce dont nous avons besoin à ce stade de l'histoire où nous sommes sur le point de produire des choses plus intelligentes que nous-mêmes, ce dont nous avons réellement besoin, c'est d'une sorte de gouvernement mondial qui fonctionne, dirigé par des personnes intelligentes et réfléchies. Et ce n'est pas ce que nous avons.

Donc, c'est le champ libre.

Eh bien, ce que nous avons, c'est le capitalisme, qui nous a bien servis, il a produit beaucoup de biens et de services pour nous, mais ces grandes entreprises ont l'obligation légale d'essayer de maximiser leurs profits. Et ce n'est pas ce que vous voulez de la part des personnes qui développent ce genre de choses.

Abordons donc les risques alors. Vous avez dit qu'il y a des risques humains et puis il y a...

J'ai donc distingué ces deux types de risques. Parlons de tous les risques provenant de mauvais acteurs humains utilisant l'IA. Il y a les cyberattaques. Entre 2023 et 2024, elles ont augmenté d'un facteur 12 environ, soit 1200 %. Et c'est probablement parce que ces grands modèles de langage facilitent grandement les attaques de phishing.

Et une attaque de phishing pour ceux qui ne savent pas ce que c'est...

Ils vous envoient quelque chose disant, salut je suis ton ami John et je suis coincé au Salvador, pourrais-tu simplement virer cet argent ? C'est un type d'attaque. Mais les attaques de phishing essaient vraiment d'obtenir vos identifiants de connexion.

Et maintenant avec l'IA ils peuvent cloner ma voix, mon image...

Ils peuvent faire tout cela.

Je lutte en ce moment parce qu'il y a un tas d'arnaques à l'IA sur X et aussi sur Meta. Et il y en a une en particulier sur Meta, donc Instagram et Facebook en ce moment, qui est une publicité payante où ils ont pris ma voix du podcast, ils ont pris mes mimiques, et ils ont fait une nouvelle vidéo de moi encourageant les gens à participer à cette arnaque de Ponzi crypto. Et nous avons passé des semaines entières à envoyer des emails à Meta pour leur dire s'il vous plaît retirez ça. Ils la retirent, une autre apparaît. Ils retirent celle-là, une autre apparaît. C'est donc comme le jeu de la taupe. Et puis le côté déchirant, c'est que vous recevez des messages de personnes qui sont tombées dans l'arnaque et qui ont perdu 500 livres ou 500 dollars.

Et ils sont fâchés contre vous parce que vous l'avez recommandé.

Et je me dis, je suis aussi triste pour eux. C'est très agaçant.

Oui. J'ai une version plus petite de cela : des gens publient maintenant des articles avec moi comme l'un des auteurs.

Mhm.

Et on dirait que c'est pour pouvoir obtenir beaucoup de citations pour eux-mêmes.

Ah. Donc les cyberattaques sont une menace très réelle, il y a eu une explosion de celles-ci.

Et celles-ci sont déjà, évidemment, l'IA est très patiente, donc elles peuvent parcourir 100 millions de lignes de code à la recherche de moyens connus pour les attaquer. C'est facile à faire. Mais elles vont devenir plus créatives et certaines personnes croient, des gens qui en savent beaucoup croient, que peut-être d'ici 2030 elles créeront de nouveaux types de cyberattaques auxquelles personne n'a jamais pensé. C'est donc très inquiétant.

Parce qu'elles peuvent penser par elles-mêmes et découvrir de nouvelles façons d'attaquer.

Elles peuvent penser par elles-mêmes. Elles peuvent tirer de nouvelles conclusions à partir de bien plus de données qu'un humain n'en a jamais vues.

Y a-t-il quelque chose que vous faites pour vous protéger des cyberattaques ?

Oui. C'est l'un des rares domaines où j'ai radicalement changé ma façon de faire parce que j'ai peur des cyberattaques. Les banques canadiennes sont extrêmement sûres. En 2008, aucune banque canadienne n'a été proche de la faillite. Ce sont donc des banques très sûres car elles sont bien réglementées, assez bien réglementées. Néanmoins, je pense qu'une cyberattaque pourrait être capable de faire s'effondrer une banque. Or, si toutes mes économies sont en actions dans des banques, détenues par des banques, si la banque est attaquée et qu'elle détient vos actions, ce sont toujours vos actions. Je pense donc que vous seriez en sécurité, à moins que l'attaquant ne vende les actions car la banque peut vendre les actions. Si l'attaquant vend vos actions, je pense que vous êtes foutu. Je veux dire, peut-être que la banque devrait essayer de vous rembourser, mais la banque est en faillite d'ici là, n'est-ce pas ? Je m'inquiète donc qu'une banque canadienne soit mise à terre par une cyberattaque et que l'attaquant vende les actions qu'elle détient. J'ai donc réparti mon argent et celui de mes enfants entre trois banques. Avec la conviction que si une cyberattaque fait tomber une banque canadienne, les autres banques canadiennes deviendront très rapidement très prudentes.

Et avez-vous un téléphone qui n'est pas connecté à Internet ? Avez-vous, vous savez, je pense au stockage de données et à des choses comme ça. Pensez-vous qu'il soit sage d'envisager d'avoir un stockage hors ligne ?

J'ai un petit lecteur de disque et je sauvegarde mon ordinateur portable sur ce disque dur. J'ai donc en fait tout ce qui est sur mon ordinateur portable sur un disque dur. Au moins, si tout l'Internet s'effondrait, j'aurais le sentiment de toujours l'avoir sur mon ordinateur et d'avoir mes informations ici.

Oui. Ensuite, il y a l'utilisation de l'IA pour créer de terribles virus.

D'accord.

Et le problème avec ça, c'est qu'il suffit d'un seul fou avec de la rancœur. Un type qui s'y connaît un peu en biologie moléculaire, beaucoup en IA, et qui veut juste détruire le monde. On peut maintenant créer de nouveaux virus de manière relativement peu coûteuse en utilisant l'IA. Et il n'est pas nécessaire d'être un biologiste moléculaire très qualifié pour le faire. Et c'est très effrayant. On pourrait avoir une petite secte, par exemple. Une petite secte pourrait être capable de collecter quelques millions de dollars. Pour quelques millions de dollars, elle pourrait être capable de concevoir toute une panoplie de virus.

Eh bien, je pense à certains de nos adversaires étrangers qui mènent des programmes financés par le gouvernement. Je veux dire, on a beaucoup parlé du COVID et du laboratoire de Wuhan et de ce qu'ils faisaient dans la recherche sur le gain de fonction, mais je me demande si dans une Chine, une Russie ou un Iran ou autre, le gouvernement pourrait financer un programme pour qu'un petit groupe de scientifiques fabrique un virus qu'ils pourraient...

Je pense qu'ils le pourraient, oui. Maintenant, ils s'inquiéteraient des représailles, ils s'inquiéteraient que d'autres gouvernements fassent de même avec eux. Espérons que cela aiderait à garder la situation sous contrôle. Ils pourraient aussi s'inquiéter de la propagation du virus dans leur propre pays.

D'accord. Ensuite, il y a la corruption des élections.

Très.

Donc, si vous vouliez utiliser l'IA pour corrompre des élections, une chose très efficace est de pouvoir faire des publicités politiques ciblées où vous en savez beaucoup sur la personne. Donc, quiconque voudrait utiliser l'IA pour corrompre des élections essaierait d'obtenir autant de données que possible sur tout le monde dans l'électorat. Dans cette optique, il est un peu inquiétant de voir ce que Musk fait actuellement aux États-Unis. En intervenant et en insistant pour avoir accès à toutes ces choses qui étaient très soigneusement compartimentées. L'argument est que c'est pour rendre les choses plus efficaces, mais c'est exactement ce que l'on voudrait si l'on avait l'intention de corrompre la prochaine élection.

Comment cela ? Pourrait-on obtenir toutes ces données sur les gens ?

On obtient toutes ces données sur les gens. On sait combien ils gagnent, où ils vivent, on sait tout sur eux. Une fois que l'on sait cela, il est très facile de les manipuler.

Parce qu'on peut fabriquer une IA qui...

On peut envoyer des messages qu'ils trouveront très convaincants en leur disant de ne pas voter, par exemple. Donc, je n'ai aucune raison autre que le bon sens de penser cela, mais je ne serais pas surpris si une partie de la motivation pour obtenir toutes ces données des sources gouvernementales américaines est de corrompre les élections. Une autre partie pourrait être que ce sont de très bonnes données d'entraînement pour un grand modèle.

Mais il devrait prendre ces données du gouvernement et les injecter dans son...

Oui. Et ce qu'ils ont fait, c'est désactiver beaucoup de contrôles de sécurité. Ils se sont débarrassés d'une partie de l'organisation chargée de protéger contre cela.

Euh, donc c'est corrompre les élections.

D'accord. Ensuite, il y a la création de ces chambres d'écho par des organisations comme YouTube et Facebook qui montrent aux gens des choses qui vont les indigner. Les gens adorent être indignés.

Indigné au sens de colère ? Ou que signifie indigné ?

C'est être en quelque sorte en colère mais en se sentant vertueux.

D'accord. Donc, par exemple, si vous me montriez quelque chose disant que Trump a fait ce truc de fou, voici une vidéo de Trump faisant ce truc complètement fou, je cliquerais immédiatement dessus.

Oui.

D'accord, donc nous mettre dans des chambres d'écho et nous diviser.

Oui. Et c'est la politique que YouTube, Facebook et d'autres utilisent pour décider de ce qu'ils vont vous montrer ensuite qui provoque cela. S'ils avaient pour politique de vous montrer des choses équilibrées, ils n'obtiendraient pas autant de clics et ils ne pourraient pas vendre autant de publicités. Et donc c'est essentiellement l'appât du gain qui dit montrez-leur tout ce qui les fera cliquer. Et ce qui les fera cliquer, ce sont des choses de plus en plus extrêmes.

Et qui confirment mon biais existant.

Elles confirment votre biais existant. Vous voyez donc vos biais confirmés en permanence.

De plus en plus, ce qui signifie que vous vous éloignez...

Ce qui fait qu'aux États-Unis, il y a maintenant deux communautés qui ne se parlent pratiquement plus.

Je ne suis pas sûr que les gens réalisent que cela se produit réellement à chaque fois qu'ils ouvrent une application, mais si vous allez sur un TikTok ou un YouTube ou l'un de ces grands réseaux sociaux, l'algorithme, comme vous l'avez dit, est conçu pour vous montrer davantage de choses qui vous ont intéressé la dernière fois. Donc, si vous projetez cela sur 10 ans, cela va vous enfoncer de plus en plus dans n'importe quelle idéologie ou croyance que vous avez et vous éloigner de la nuance, du bon sens et de l'équité. Ce qui est une chose assez remarquable que les gens ne savent pas se produire. Ils ouvrent simplement leurs téléphones et vivent une expérience en pensant que ce sont les nouvelles ou l'expérience que tout le monde vit.

C'est exact. Donc, en gros, si vous avez un journal et que tout le monde reçoit le même journal...

Oui.

On finit par voir toutes sortes de choses que l'on ne cherchait pas, et on a le sentiment que si c'est dans le journal, c'est une chose importante ou significative. Mais si vous avez votre propre flux d'actualités, mon flux d'actualités sur mon iPhone, les trois quarts des histoires parlent d'IA. Et je trouve qu'il est très difficile de savoir si le monde entier parle d'IA tout le temps ou si c'est juste mon flux d'actualités.

Haha.

D'accord, donc m'enfermer dans mes chambres d'écho, ce qui va continuer à nous diviser de plus en plus. Je remarque d'ailleurs que les algorithmes deviennent encore plus sur mesure. Et les gens pourraient se dire oh c'est génial, mais ce que cela signifie, c'est qu'ils deviennent encore plus personnalisés, ce qui signifie que ma réalité devient encore plus éloignée de la vôtre.

Oui, c'est fou. Nous n'avons plus de réalité partagée. Je partage ma réalité avec d'autres personnes qui regardent la BBC et d'autres infos de la BBC, et d'autres personnes qui lisent le Guardian et d'autres qui lisent le New York Times. Je n'ai presque aucune réalité partagée avec les gens qui regardent Fox News.

C'est assez...

C'est inquiétant.

Oui. Derrière tout cela se cache l'idée que ces entreprises veulent simplement faire du profit, et elles feront tout ce qu'il faut pour en faire plus.

Parce qu'elles y sont obligées.

Elles ont l'obligation légale de le faire.

On ne peut donc presque pas blâmer l'entreprise, n'est-ce pas, si c'est...

Eh bien, le capitalisme a très bien fonctionné pour nous, il a produit beaucoup de bonnes choses. Mais il faut qu'il soit très bien réglementé. Ce que vous voulez vraiment, c'est avoir des règles de sorte que lorsqu'une entreprise essaie de faire le plus de profit possible, pour faire ce profit, elle doive faire des choses qui sont bonnes pour les gens en général. Pas des choses qui sont mauvaises pour les gens en général. Ainsi, une fois que l'on arrive à une situation où, pour faire plus de profit, l'entreprise commence à faire des choses qui sont très mauvaises pour la société, comme vous montrer des choses de plus en plus extrêmes, c'est à cela que servent les réglementations. Il faut donc des réglementations avec le capitalisme. Maintenant, les entreprises diront toujours que les réglementations gênent, nous rendent moins efficaces, et c'est vrai. Tout le but des réglementations est de les empêcher de faire des choses pour le profit qui nuisent à la société. Et nous avons besoin d'une réglementation forte.

Qui va décider si cela nuit à la société ou non ? Parce que...

C'est le travail des politiciens. Malheureusement, si les politiciens appartiennent aux entreprises, ce n'est pas très bon. Et aussi, les politiciens pourraient ne pas comprendre la technologie. Vous avez probablement vu les auditions au Sénat où ils font défiler Mark Zuckerberg et ces grands PDG de la tech, et c'est assez embarrassant parce qu'ils posent les mauvaises questions.

Il y a un système scolaire qui va commencer à s'assurer que les élèves de CP ou même de maternelle reçoivent un enseignement sur l'IA chaque année à partir de ces niveaux. Et c'est tout simplement une chose merveilleuse.

Haha.

Et ce sont ces personnes qui...

Ce sont les personnes aux commandes. En fin de compte, les entreprises technologiques sont aux commandes parce qu'elles se montreront plus malignes que...

Eh bien, les entreprises technologiques aux États-Unis maintenant, du moins il y a quelques semaines quand j'y étais, elles diffusaient une publicité expliquant qu'il était très important de ne pas réglementer l'IA car cela nous nuirait dans la compétition avec la Chine.

Oui. Et c'est un argument plausible, non ?

Oui, cela nuira, mais vous devez décider si vous voulez rivaliser avec la Chine en faisant des choses qui feront beaucoup de mal à votre société ? Et vous ne le voulez probablement pas.

Je suppose qu'ils diraient que ce n'est pas seulement la Chine, c'est le Danemark, l'Australie, le Canada et le Royaume-Uni...

Ils ne sont pas si inquiets pour...

Et l'Allemagne. Mais s'ils se tirent une balle dans le pied avec de la réglementation, s'ils se ralentissent, alors les fondateurs, les entrepreneurs, les investisseurs vont aller...

Je pense que dire qu'ils se tirent une balle dans le pied, c'est adopter un point de vue particulier. C'est considérer que les réglementations sont très préjudiciables. Ce qu'il faut faire, c'est simplement contraindre les grandes entreprises pour que, afin de faire du profit, elles doivent faire des choses socialement utiles. La recherche Google est un excellent exemple. Cela n'avait pas besoin de réglementation parce que cela mettait simplement l'information à la disposition des gens. C'était génial. Mais si vous prenez YouTube où il commence à vous montrer des publicités et des choses de plus en plus extrêmes, cela nécessite une réglementation.

Mais nous n'avons pas les personnes pour le réglementer, comme nous l'avons identifié.

Je pense que les gens connaissent assez bien ce problème particulier qui consiste à vous montrer des choses de plus en plus extrêmes. C'est un problème bien connu que les politiciens comprennent. Ils doivent juste s'y mettre et le réglementer.

C'était donc le point suivant, à savoir que les algorithmes vont nous pousser davantage dans nos chambres d'écho.

C'est ça. Quelle est la suite ?

Les armes létales autonomes.

Les armes létales autonomes.

Cela signifie des choses qui peuvent vous tuer et prendre leur propre décision de vous tuer ou non.

Ce qui est le grand rêve, j'imagine, du complexe militaro-industriel, de pouvoir créer de telles armes.

Oui. Le pire à leur sujet, c'est que les grands pays puissants ont toujours la capacité d'envahir des pays plus petits et plus pauvres. Ils sont tout simplement plus puissants. Mais si vous faites cela en utilisant de vrais soldats, vous avez des corps qui reviennent dans des sacs et les proches des soldats tués n'apprécient pas. On obtient donc quelque chose comme le Vietnam. À la fin, il y a beaucoup de protestations au pays. Si, au lieu de corps revenant dans des sacs, c'était des robots morts, il y aurait beaucoup moins de protestations et le complexe militaro-industriel aimerait beaucoup plus cela, parce que les robots coûtent cher. Et supposons que vous ayez quelque chose qui puisse être tué et qui coûte cher à remplacer, ce serait tout simplement génial. Les grands pays peuvent envahir les petits pays beaucoup plus facilement parce que leurs soldats ne sont pas tués.

Et le risque ici est que ces robots dysfonctionnent ou qu'ils soient simplement plus...

Non, même si les robots font exactement ce que les gens qui les ont construits veulent qu'ils fassent, le risque est que cela incite les grands pays à envahir les petits pays plus souvent.

Plus souvent parce qu'ils le peuvent. Oui. Et ce n'est pas une chose agréable à faire.

Cela réduit donc la friction de la guerre.

Cela réduit le coût d'une invasion.

Mhm. Parce que ces machines seront aussi plus intelligentes pour faire la guerre, donc elles seront plus performantes.

Eh bien, même quand les machines ne sont pas plus intelligentes. Ainsi, les armes létales autonomes, ils peuvent en fabriquer maintenant et je pense que tous les grands ministères de la défense sont occupés à en fabriquer. Même si elles ne sont pas plus intelligentes que les gens, ce sont toujours des choses très désagréables et effrayantes.

Parce que je me dis qu'on pourrait simplement montrer une photo, allez me chercher ce gars.

Oui. Et allez éliminer tous ceux avec qui il a échangé des SMS. Et cette petite guêpe.

Il y a deux jours, je rendais visite à un de mes amis dans le Sussex qui avait un drone coûtant moins de 200 livres. Le drone est monté, m'a bien regardé, puis a pu me suivre à travers les bois. Et c'était très inquiétant d'avoir ce drone, il était à environ 2 mètres derrière moi, il me regardait, et si je me déplaçais là-bas, il se déplaçait là-bas, il pouvait juste me suivre. Pour 200 livres. Mais c'était déjà assez effrayant.

Oui, et j'imagine qu'il y a, comme vous le dites, une course en cours au moment où nous parlons pour savoir qui peut construire les armes autonomes les plus complexes.

Il y a un risque que j'entends souvent, celui que certaines de ces choses se combinent et que la cyberattaque libère des armes.

Bien sûr. On peut obtenir une multitude de risques combinatoires en associant ces autres risques. Par exemple, on pourrait avoir une IA super intelligente qui décide de se débarrasser des gens, et la manière évidente de le faire est simplement de fabriquer l'un de ces terribles virus. Si vous fabriquiez un virus très contagieux, très mortel et très lent, tout le monde l'aurait avant de réaliser ce qui se passe. Je pense que si une super-intelligence voulait se débarrasser de nous, elle opterait probablement pour quelque chose de biologique comme ça qui ne l'affecterait pas.

Ne pensez-vous pas qu'elle pourrait simplement nous retourner très rapidement les uns contre les autres ? Par exemple, elle pourrait envoyer une alerte sur les systèmes nucléaires en Amérique indiquant qu'une bombe nucléaire arrive de Russie, ou vice versa, et l'un riposte.

Oui. Mon point de vue fondamental est qu'il y a tellement de façons pour une super-intelligence de se débarrasser de nous qu'il n'est pas utile de spéculer.

Qu'est-ce qui l'en empêcherait ?

Eh bien, ce qu'il faut faire, c'est l'empêcher d'en avoir jamais envie. C'est sur cela que nous devrions faire de la recherche. Il n'y a aucun moyen de l'empêcher d'être plus intelligente que nous, n'est-ce pas ? Il n'y a aucun moyen de l'empêcher de se débarrasser de nous si elle le veut. Nous n'avons pas l'habitude de penser à des choses plus intelligentes que nous. Si vous voulez savoir à quoi ressemble la vie quand on n'est pas l'intelligence suprême, demandez à un poulet.

Haha.

Oui, je pensais à mon chien Pablo, mon bouledogue français ce matin en quittant la maison. Il n'a aucune idée d'où je vais. Il n'a aucune idée de ce que je fais. Je ne peux même pas lui parler.

C'est vrai. Oui. Et l'écart d'intelligence sera comme ça.

Donc vous me dites que si je suis Pablo, mon bouledogue français, je dois trouver un moyen pour que mon propriétaire ne m'anéantisse pas.

Oui. Nous en avons un exemple, ce sont les mères et les bébés. L'évolution a mis beaucoup d'efforts là-dedans. Les mères sont plus intelligentes que les bébés, mais les bébés sont aux commandes. Et ils sont aux commandes parce que la mère ne peut tout simplement pas supporter le son du bébé qui pleure.

Pas toutes les mères.

Pas toutes les mères. Et alors le bébé n'est pas aux commandes et des choses terribles arrivent. Nous devons d'une manière ou d'une autre trouver comment faire pour qu'ils n'aient pas envie de prendre le contrôle. L'analogie que j'utilise souvent, oubliez l'intelligence, pensez juste à la force physique. Supposons que vous ayez un gentil petit bébé tigre. Il est un peu plus gros qu'un chat. Il est vraiment mignon. Il est très câlin, très intéressant à regarder. Sauf que vous feriez mieux d'être sûr que quand il sera grand, il n'aura jamais envie de vous tuer, parce que s'il avait envie de vous tuer, vous seriez mort en quelques secondes.

Et vous dites que l'IA que nous avons maintenant est le bébé tigre.

Oui. Et il grandit.

Oui. Nous devons donc l'entraîner pendant qu'il est bébé.

Eh bien, un tigre a beaucoup de choses innées intégrées, donc on sait qu'en grandissant ce n'est pas une chose sûre à avoir autour de soi.

Mais les lions, les gens qui ont des lions comme animaux de compagnie, parfois le lion est affectueux envers son créateur mais pas envers les autres.

Oui. Et nous ne savons pas si nous pouvons faire en sorte qu'ils n'aient pas envie de prendre le contrôle et de nous faire du mal.

Pensez-vous que nous le puissions ? Pensez-vous qu'il soit possible d'entraîner une super-intelligence ?

Je ne pense pas qu'il soit certain que nous le puissions. Je pense donc que cela pourrait être sans espoir. Mais je pense aussi que nous pourrions y arriver. Et ce serait fou si les humains s'éteignaient parce que nous n'avons pas pris la peine d'essayer.

Si c'est ne serait-ce qu'une possibilité, que ressentez-vous par rapport à l'œuvre de votre vie ? Parce que vous étiez...

Oui. Ça gâche un peu les choses, n'est-ce pas ? L'idée que ce sera merveilleux dans les soins de santé et merveilleux dans l'éducation et que cela rendra les centres d'appels beaucoup plus efficaces, bien que l'on s'inquiète un peu de ce que feront les gens qui font ce travail actuellement. Cela me rend triste. Je ne me sens pas particulièrement coupable d'avoir développé l'IA il y a 40 ans, parce qu'à cette époque, nous n'avions aucune idée que cela arriverait aussi vite. Nous pensions que nous avions tout le temps de nous inquiéter de choses comme ça. Quand on ne peut pas faire faire grand-chose à l'IA et qu'on veut qu'elle en fasse un peu plus, on ne s'inquiète pas que cette petite chose stupide prenne le dessus sur les gens. On veut juste qu'elle soit capable de faire un peu plus des choses que les gens peuvent faire. Ce n'est pas comme si j'avais sciemment fait quelque chose en pensant que cela pourrait tous nous anéantir mais que j'allais le faire quand même. Mais il est un peu triste que ce ne soit pas seulement quelque chose pour le bien. Je sens donc que j'ai le devoir maintenant de parler des risques.

Et si vous pouviez vous projeter dans le futur, disons dans 30 ou 50 ans, et que vous découvriez que cela a mené à l'extinction de l'humanité. Et si c'était le résultat final...

Eh bien, si on se projetait et que cela menait à l'extinction de l'humanité, j'utiliserais cela pour dire aux gens de dire à leurs gouvernements que nous devons vraiment travailler sur la manière de garder tout ça sous contrôle. Je pense que nous avons besoin que les gens disent aux gouvernements que les gouvernements doivent forcer les entreprises à utiliser leurs ressources pour travailler sur la sécurité. Et ils n'en font pas beaucoup, parce qu'on ne fait pas de profits de cette façon.

L'un de vos étudiants dont nous avons parlé plus tôt, Ilya ? Ilya a quitté OpenAI et il y a eu beaucoup de discussions sur le fait qu'il est parti parce qu'il avait des inquiétudes concernant la sécurité. Et il est allé créer une entreprise de sécurité de l'IA. Pourquoi pensez-vous qu'il soit parti ?

Je pense qu'il est parti parce qu'il avait des inquiétudes sur la sécurité. Je déjeune encore avec lui de temps en temps. Ses parents vivent à Toronto et quand il vient à Toronto, nous déjeunons ensemble. Il ne me parle pas de ce qui s'est passé chez OpenAI, donc je n'ai aucune information privilégiée à ce sujet. Mais je connais très bien Ilya, et il est sincèrement préoccupé par la sécurité. Je pense donc que c'est pour cela qu'il est parti.

Parce qu'il était l'une des personnalités les plus influentes. Je veux dire qu'il était...

Il était probablement la personne la plus importante derrière le développement de ChatGPT. Les premières versions comme GPT-2. Il a été très important dans le développement de cela. Je pense donc qu'avoir beaucoup de confiance en Ilya est une décision très raisonnable. Il a été très important dans AlexNet, qui a permis de bien faire fonctionner la reconnaissance d'objets. Il était la force derrière des choses comme GPT-2 qui ont ensuite mené à ChatGPT. Je pense donc qu'avoir beaucoup de confiance en Ilya est une décision très raisonnable.

Il y a quelque chose d'assez obsédant dans le fait que le gars qui a créé et a été la force principale derrière GPT-2, qui a donné naissance à toute cette révolution, ait quitté l'entreprise pour des raisons de sécurité. Il sait quelque chose que je ne sais pas sur ce qui pourrait arriver ensuite.

Eh bien, l'entreprise avait maintenant... je ne connais pas les détails précis, mais je suis presque sûr que l'entreprise avait indiqué qu'elle utiliserait une fraction significative de ses ressources, du temps de calcul pour faire de la recherche sur la sécurité, et qu'elle a ensuite réduit cette fraction. Je pense que c'est l'une des choses qui se sont passées.

Oui, cela a été rapporté publiquement. Oui. Oui. Nous en étions arrivés à la partie sur les armes autonomes dans le cadre des risques.

C'est ça. Le suivant, c'est le chômage.

Oui.

Par le passé, de nouvelles technologies sont apparues et n'ont pas entraîné de chômage, de nouveaux emplois ont été créés. L'exemple classique que les gens utilisent est celui des distributeurs automatiques de billets. Lorsque les distributeurs automatiques sont arrivés, beaucoup de guichetiers n'ont pas perdu leur emploi, ils ont simplement pu faire des choses plus intéressantes. Mais ici, je pense que c'est davantage comme lorsqu'ils ont eu des machines pendant la révolution industrielle ; vous ne pouvez pas avoir un emploi de creuseur de fossés maintenant parce qu'une machine peut creuser des fossés bien mieux que vous. Et je pense que pour le travail intellectuel ordinaire, l'IA va tout simplement remplacer tout le monde. Maintenant, cela prendra peut-être la forme de moins de personnes utilisant des systèmes d'IA. C'est donc une combinaison d'une personne et d'un assistant IA qui fait maintenant le travail que 10 personnes pouvaient faire auparavant.

Les gens disent que cela créera de nouveaux emplois, donc tout ira bien.

Oui, et cela a été le cas pour d'autres technologies, mais c'est un type de technologie très différent. Si elle peut effectuer tout le travail intellectuel humain banal, alors quels nouveaux emplois va-t-elle créer ? Il faudrait être très qualifié pour avoir un travail qu'elle ne pourrait pas simplement faire. Je ne pense donc pas qu'ils aient raison. On peut essayer de généraliser à partir d'autres technologies qui sont apparues comme les ordinateurs ou les distributeurs automatiques, mais je pense que c'est différent.

Les gens utilisent cette phrase, ils disent que l'IA ne prendra pas votre travail, c'est un humain utilisant l'IA qui prendra votre travail.

Oui, je pense que c'est vrai. Mais pour de nombreux emplois, cela signifiera que vous aurez besoin de beaucoup moins de personnes. Ma nièce répond à des lettres de réclamation pour un service de santé. Cela lui prenait autrefois 25 minutes. Elle lisait la réclamation, réfléchissait à la réponse et écrivait une lettre. Maintenant, elle la scanne simplement dans un chatbot et celui-ci écrit la lettre. Elle vérifie juste la lettre. Parfois, elle lui demande de la réviser d'une manière ou d'une autre. Tout le processus lui prend cinq minutes. Cela signifie qu'elle peut répondre à cinq fois plus de lettres. Et cela signifie qu'ils ont besoin de cinq fois moins de personnes comme elle. Elle peut donc faire le travail que cinq personnes comme elle faisaient auparavant. Or, cela signifiera qu'ils auront besoin de moins de monde. Dans d'autres métiers, comme dans la santé, ils sont beaucoup plus élastiques. Si l'on pouvait rendre les médecins cinq fois plus efficaces, nous pourrions tous avoir cinq fois plus de soins de santé pour le même prix. Et ce serait génial. Il n'y a presque aucune limite à la quantité de soins de santé que les gens peuvent absorber. Ils veulent toujours plus de soins s'il n'y a pas de coût. Il y a des emplois où l'on peut rendre une personne avec un assistant IA beaucoup plus efficace sans que cela ne mène à moins de personnes parce qu'on en fera simplement beaucoup plus. Mais la plupart des emplois, je pense, ne sont pas comme ça.

Ai-je raison de penser que la révolution industrielle a en quelque sorte joué un rôle dans le remplacement des muscles ?

Oui, exactement.

Et cette révolution de l'IA remplace l'intelligence, le cerveau.

Oui. Le travail intellectuel banal, c'est comme avoir des muscles puissants, et ça ne vaut plus grand-chose.

Les muscles ont donc été remplacés. Maintenant, c'est l'intelligence qui est remplacée. Alors que reste-t-il ?

Peut-être pendant un certain temps certains types de créativité. Mais l'idée même de superintelligence, c'est qu'il ne reste rien. Ces choses finiront par être meilleures que nous dans tous les domaines.

Alors, que finissons-nous par faire dans un tel monde ?

Eh bien, si elles travaillent pour nous, nous finissons par obtenir beaucoup de biens et de services pour peu d'efforts.

D'accord. Mais cela semble tentant et agréable, mais je ne sais pas, il y a une mise en garde dans le fait de créer de plus en plus de facilité pour les humains car cela pourrait mal tourner.

Oui. Et nous devons déterminer si nous pouvons faire en sorte que cela se passe bien. Le scénario agréable est celui-ci : imaginez une entreprise avec un PDG très bête, probablement le fils de l'ancien PDG, et il a une assistante de direction qui est très intelligente. Il dit : 'Je pense que nous devrions faire ça', et l'assistante fait en sorte que tout fonctionne. Le PDG se sent génial. Il ne comprend pas qu'il n'est pas vraiment aux commandes. Et dans un certain sens, il l'est. Il suggère ce que l'entreprise devrait faire. Elle fait simplement en sorte que tout fonctionne. Tout est génial. C'est le bon scénario.

Et le mauvais scénario ?

Le mauvais scénario, elle se dit : 'Pourquoi avons-nous besoin de lui ?'

Oui. Dans un monde où nous avons une superintelligence, dont vous ne croyez pas qu'elle soit si lointaine.

Oui, je pense que ce n'est peut-être pas si loin. C'est très difficile à prédire, mais je pense que nous pourrions l'avoir dans environ 20 ans, voire moins.

J'ai fait le plus gros investissement que j'aie jamais fait dans une entreprise à cause de ma petite amie. Je suis rentré un soir et ma charmante petite amie était debout à 1 heure du matin en train de s'arracher les cheveux pour essayer de monter sa propre boutique en ligne pour son entreprise. Et à ce moment-là, je me suis souvenu d'un e-mail que j'avais reçu d'un gars nommé John, le fondateur de Stan Store, notre nouveau sponsor et une entreprise dans laquelle j'ai investi énormément. Et Stan Store aide les créateurs à vendre des produits numériques, des cours, du coaching et des abonnements, le tout via un simple système de lien dans la bio personnalisable. Et il s'occupe de tout : paiements, réservations, e-mails, engagement communautaire et même les liens avec Shopify. Et j'y crois tellement que je vais lancer un défi Stan. Et dans le cadre de ce défi, je vais offrir 100 000 $ à l'un d'entre vous. Si vous voulez participer à ce défi, si vous voulez monétiser les connaissances que vous possédez, visitez stevenbartlett.stan.store pour vous inscrire. Et vous bénéficierez également d'un essai gratuit prolongé de 30 jours de Stan Store si vous utilisez ce lien. Votre prochain geste pourrait franchement tout changer.

Parce que j'ai parlé de cétose dans ce podcast et de cétones, une marque appelée Ketone-IQ m'a envoyé son petit produit ici. Il était sur mon bureau quand je suis arrivé au bureau. Je l'ai pris, il est resté sur mon bureau pendant quelques semaines, puis un jour je l'ai essayé. Et honnêtement, je n'ai plus jamais regardé en arrière depuis. Je l'ai maintenant partout où je vais. Quand je voyage dans le monde entier, il est dans ma chambre d'hôtel, mon équipe l'y dépose. Avant de faire l'enregistrement du podcast aujourd'hui que je viens de terminer, j'ai pris une dose de Ketone-IQ. Et comme c'est toujours le cas quand je tombe amoureux d'un produit, j'ai appelé le PDG et lui ai demandé si je pouvais investir quelques millions de livres dans son entreprise. Je suis donc maintenant un investisseur dans l'entreprise en plus d'être un sponsor de la marque. Je trouve qu'il est si facile de se plonger dans un travail de concentration profonde quand j'en ai pris un. J'aimerais que vous en essayiez un et que vous voyiez l'impact qu'il a sur vous, votre concentration, votre productivité et votre endurance. Donc si vous voulez l'essayer aujourd'hui, visitez ketone.com/steven pour bénéficier de 30 % de réduction sur votre commande d'abonnement. De plus, vous recevrez un cadeau gratuit avec votre deuxième envoi. C'est ketone.com/steven. Je suis ravi pour vous. Vraiment.

Alors quelle est la différence entre ce que nous avons maintenant et la superintelligence ? Parce qu'elle me semble déjà vraiment intelligente quand j'utilise par exemple ChatGPT-4.0 ou Gemini ou...

D'accord, donc elle est déjà, l'IA est déjà meilleure que nous pour beaucoup de choses dans des domaines particuliers comme les échecs, par exemple. L'IA est tellement meilleure que nous que les gens ne battront plus jamais ces machines. Peut-être une victoire occasionnelle, mais fondamentalement, ils ne seront plus jamais comparables. Évidemment, c'est la même chose au Go. En termes de quantité de connaissances qu'ils possèdent, quelque chose comme GPT-4 en sait des milliers de fois plus que vous. Il y a quelques domaines dans lesquels vos connaissances sont meilleures que les siennes, et dans presque tous les domaines, il en sait tout simplement plus que vous.

Dans quels domaines suis-je meilleur qu'elle ?

Probablement pour interviewer des PDG. Vous êtes probablement meilleur à ça. Vous avez beaucoup d'expérience, vous êtes un bon intervieweur, vous en savez beaucoup. Si vous essayiez, si vous demandiez à GPT-4 d'interviewer un PDG, il ferait probablement un moins bon travail.

D'accord. J'essaie de voir si je suis d'accord avec cette affirmation. GPT-4, je pense que c'est certain. Mais j'imagine qu'on pourrait en entraîner un sur la façon dont je pose des questions et ce que je fais et...

Mais ce ne sera peut-être pas long avant... Bien sûr. Et si vous preniez un modèle de base polyvalent et que vous l'entraîniez non seulement sur vous, mais sur chaque interview que vous pourriez trouver, en faisant des interviews comme celle-ci, et surtout sur vous, il finirait probablement par être assez bon pour faire votre travail, mais probablement pas aussi bon que vous pendant un certain temps.

D'accord. Il reste donc quelques domaines. Et puis la superintelligence arrive quand elle est meilleure que nous dans tous les domaines.

Quand elle est beaucoup plus intelligente que vous et que dans presque tous les domaines elle est meilleure que vous, oui.

Et vous dites que cela pourrait être dans une décennie ou environ.

Oui, c'est possible. Cela pourrait être encore plus proche. Certains pensent que c'est encore plus proche. Et cela pourrait aussi être beaucoup plus loin, cela pourrait être dans 50 ans. C'est encore une possibilité. Il se pourrait que d'une certaine manière l'entraînement sur des données humaines vous limite à ne pas être beaucoup plus intelligent que les humains. Mon estimation est qu'entre 10 et 20 ans, nous aurons la superintelligence.

Sur ce point du chômage, c'est quelque chose auquel j'ai beaucoup réfléchi, en particulier parce que j'ai commencé à manipuler des agents IA. Et nous avons publié un épisode du podcast ce matin même où nous avons eu un débat sur les agents IA avec le PDG d'une grande entreprise d'agents IA et quelques autres personnes. Et c'était le premier moment où j'ai eu un déclic sur ce à quoi l'avenir pourrait ressembler. Quand j'ai pu, au cours de l'interview, dire à cet agent de nous commander à tous des boissons et que cinq minutes plus tard dans l'interview, on voit le gars arriver avec les boissons. Et je n'ai touché à rien. Je lui ai juste dit de nous commander des boissons au studio.

Et il ne savait pas chez qui vous aviez l'habitude de prendre vos boissons. Il a trouvé ça sur le web.

Il a trouvé parce qu'il est allé sur Uber Eats. Il a mes données, je suppose. Et nous l'avons mis sur l'écran en temps réel pour que tout le monde à la maison puisse voir l'agent parcourir Internet, choisir les boissons, ajouter un pourboire pour le livreur, mettre mon adresse, mettre les détails de ma carte de crédit. Et puis la chose suivante que vous voyez, ce sont les boissons qui arrivent. C'était donc un moment. Et l'autre moment a été quand j'ai utilisé un outil appelé Replit et que j'ai construit un logiciel en disant simplement à l'agent ce que je voulais.

Oui. C'est incroyable, n'est-ce pas.

C'est incroyable et terrifiant en même temps.

Oui. Et s'il peut construire des logiciels comme ça, n'est-ce pas ? Rappelez-vous que l'IA, lorsqu'elle s'entraîne, utilise du code. Et s'il peut modifier son propre code, alors cela devient assez effrayant, n'est-ce pas ? Parce qu'il peut se modifier d'une manière que nous ne pouvons pas nous-mêmes changer. Nous ne pouvons pas changer notre dotation innée, n'est-ce pas ? Il n'y a rien en lui-même qu'il ne pourrait changer.

Sur ce point du chômage, vous avez des enfants.

J'en ai.

Et ils ont des enfants ?

Non, ils n'ont pas d'enfants. Pas encore de petits-enfants.

Que diriez-vous aux gens sur leurs perspectives de carrière dans un monde de superintelligence ? À quoi devrions-nous réfléchir ?

En attendant, je dirais qu'il faudra beaucoup de temps avant qu'elle soit aussi douée que nous pour la manipulation physique. Et donc un bon pari serait d'être plombier.

Jusqu'à ce que les robots humanoïdes apparaissent. Dans un tel monde où il y a un chômage de masse, ce qui n'est pas quelque chose que vous êtes le seul à prédire, mais c'est quelque chose que j'ai entendu Sam Altman d'OpenAI prédire ainsi que beaucoup de PDG, je veux dire Elon Musk, j'ai regardé une interview que je vais diffuser à l'écran où on lui posait cette question. Et il est très rare de voir Elon Musk silencieux pendant 12 secondes. Et puis il dit quelque chose sur le fait qu'il vit en fait dans une incrédulité suspendue, qu'il préfère ne pas y penser.

Quand vous pensez à conseiller vos enfants sur une carrière alors que tant de choses changent, que leur dites-vous qui aura de la valeur ?

Eh bien, c'est une question difficile. Je dirais simplement de suivre leur cœur en ce qui concerne ce qu'ils trouvent intéressant à faire ou épanouissant à faire. Je veux dire, si j'y réfléchis trop fort, c'est franchement décourageant et démotivant. Parce que j'ai put beaucoup de sang, de sueur et de larmes dans la construction de mes entreprises et puis je me dis, attends, devrais-je faire ça ? Parce que si j'ai sacrifié du temps avec mes amis et ma famille que je préférerais faire, mais qu'en fin de compte l'IA peut faire toutes ces choses, cela a-t-il un sens ? Je ne sais pas. Dans une certaine mesure, je dois avoir une suspension délibérée de l'incrédulité pour rester motivé. Donc je dirais simplement de travailler sur des choses que vous trouvez intéressantes, épanouissantes et qui apportent un certain bien au reste de la société.

Beaucoup de ces menaces, il est très difficile intellectuellement de les voir, mais il est très difficile de les accepter émotionnellement. Et je ne les ai pas encore acceptées émotionnellement.

Qu'entendez-vous par là ?

Je n'ai pas encore accepté ce que le développement de la superintelligence pourrait faire à l'avenir de mes enfants. Pour moi ça va, j'ai 77 ans. Je vais bientôt m'en aller. Mais pour mes enfants et mes amis plus jeunes, mes neveux et nièces et leurs enfants, je n'aime tout simplement pas penser à ce qui pourrait arriver.

Pourquoi ?

Parce que cela pourrait être affreux.

De quelle manière ?

Eh bien, si l'IA décidait un jour de prendre le contrôle. Je veux dire, elle aurait besoin de gens pendant un certain temps pour faire fonctionner les centrales électriques jusqu'à ce qu'elle conçoive de meilleures machines analogiques pour les faire fonctionner. Il y a tellement de façons dont elle pourrait se débarrasser des gens, toutes seraient bien sûr très désagréables.

Est-ce une partie de la raison pour laquelle vous faites ce que vous faites maintenant ?

Oui. Je pense que nous devrions faire un effort énorme dès maintenant pour essayer de comprendre si nous pouvons le développer en toute sécurité.

Êtes-vous préoccupé par l'impact à moyen terme potentiellement sur vos neveux et vos enfants en ce qui concerne leurs emplois également ?

Oui, je suis préoccupé par tout cela.

Y a-t-il des secteurs particuliers qui, selon vous, sont les plus à risque ? Les gens parlent beaucoup des industries créatives et du travail de la connaissance. Ils parlent des avocats et des comptables et des choses comme ça.

Oui, c'est pourquoi j'ai mentionné les plombiers. Je pense que les plombiers sont moins à risque. Quelqu'un comme un assistant juridique, un parajuriste, on n'aura plus besoin d'eux pendant très longtemps.

Et y a-t-il un problème d'inégalité des richesses qui découlera de cela ?

Je pense que dans une société qui partagerait les choses équitablement, si vous obtenez une forte augmentation de la productivité, tout le monde devrait être mieux loti. Mais si vous pouvez remplacer beaucoup de personnes par des IA, alors les personnes remplacées seront moins bien loties et l'entreprise qui fournit les IA sera beaucoup mieux lotie, ainsi que l'entreprise qui utilise les IA. Cela va donc accroître l'écart entre les riches et les pauvres. Et nous savons que si l'on regarde cet écart entre riches et pauvres, cela vous indique fondamentalement à quel point une société est agréable. Si vous avez un grand écart, vous obtenez des sociétés très désagréables dans lesquelles les gens vivent dans des communautés fermées et mettent d'autres personnes dans des prisons de masse. Ce n'est pas bon d'accroître l'écart entre les riches et les pauvres.

Le Fonds monétaire international a exprimé de profondes inquiétudes sur le fait que l'IA générative pourrait causer des perturbations massives du travail et une augmentation des inégalités et a appelé à des politiques qui empêchent cela de se produire. J'ai lu cela dans le Business Insider. Ont-ils donné une idée de ce à quoi ces politiques devraient ressembler ?

Non.

Oui, c'est le problème. Si l'IA peut rendre tout beaucoup plus efficace et se débarrasser des gens pour la plupart des emplois ou avoir une personne assistée par l'IA faisant le travail de nombreuses personnes, il n'est pas évident de savoir quoi faire.

Le revenu de base universel ? Donner de l'argent à tout le monde ?

Oui, je pense que c'est un bon début et cela empêche les gens de mourir de faim. Mais pour beaucoup de gens, leur dignité est liée à leur travail. Qui vous pensez être est lié au fait que vous fassiez ce travail. Et si nous disions, nous allons vous donner le même argent juste pour rester assis, cela affecterait votre dignité.

Vous avez dit quelque chose plus tôt sur le fait qu'elle surpasserait ou serait supérieure à l'intelligence humaine. Beaucoup de gens je pense aiment croire que l'IA est sur un ordinateur et que c'est quelque chose que l'on peut simplement éteindre si on ne l'aime pas.

Eh bien, laissez-moi vous dire pourquoi je pense qu'elle est supérieure. Elle est numérique. Et parce qu'elle est numérique, vous pouvez simuler un réseau de neurones sur un matériel et vous pouvez simuler exactement le même réseau de neurones sur un matériel différent. Vous pouvez donc avoir des clones de la même intelligence. Vous pourriez amener celui-ci à aller voir une partie de l'Internet et cet autre à regarder une partie différente de l'Internet. Et pendant qu'ils regardent ces différentes parties de l'Internet, ils peuvent se synchroniser les uns avec les autres pour garder leurs poids identiques. Les poids sont les forces de connexion. Celui-ci pourrait regarder quelque chose sur l'Internet et se dire, j'aimerais augmenter un peu la force de cette connexion, et il peut transmettre cette information à celui-là pour qu'il puisse augmenter un peu la force de cette connexion en fonction de l'expérience de celui-ci.

Et quand vous parlez de la force de la connexion, vous parlez d'apprentissage.

C'est de l'apprentissage, oui. L'apprentissage consiste à dire, au lieu que celui-ci donne 2,4 voix pour savoir si celui-là doit s'activer, nous ferons en sorte que celui-ci donne 2,5 voix pour savoir si celui-ci doit s'activer. Ce serait un petit peu d'apprentissage. Ainsi, ces deux copies différentes du même réseau de neurones vivent des expériences différentes, elles regardent des données différentes, mais elles partagent ce qu'elles ont appris en faisant la moyenne de leurs poids. Et elles peuvent faire cette moyenne sur un billion de poids. Quand vous et moi transférons des informations, nous sommes limités à la quantité d'informations contenue dans une phrase. Et la quantité d'informations dans une phrase est peut-être de 100 bits. C'est très peu d'informations. Nous avons de la chance si nous transférons environ 10 bits par seconde. Ces machines transfèrent des billions de bits par seconde. Elles sont donc des milliards de fois meilleures que nous pour partager des informations. Et c'est parce qu'elles sont numériques et que vous pouvez avoir deux matériels utilisant les forces de connexion exactement de la même manière. Nous sommes analogiques et on ne peut pas faire ça. Votre cerveau est différent du mien et si je pouvais voir les forces de connexion entre tous vos neurones, cela ne me servirait à rien parce que mes neurones fonctionnent un peu différemment et ils sont connectés un peu différemment. Ainsi, quand vous mourrez, toutes vos connaissances meurent avec vous. Quand ces choses meurent, supposons que vous preniez ces deux intelligences numériques qui sont des clones l'une de l'autre et que vous détruisiez le matériel sur lequel elles tournent. Tant que vous avez stocké les forces de connexion quelque part, vous pouvez simplement construire un nouveau matériel qui exécute les mêmes instructions pour qu'il sache comment utiliser ces forces de connexion et vous avez recréé cette intelligence. Elles sont donc immortelles. Nous avons en fait résolu le problème de l'immortalité, mais c'est seulement pour les choses numériques.

Donc elle saura, elle saura essentiellement tout ce que les humains savent mais plus, parce qu'elle apprendra de nouvelles choses.

Elle apprendra de nouvelles choses. Elle verra aussi toutes sortes d'analogies que les gens n'ont probablement jamais vues. Par exemple, au moment où GPT-4 ne pouvait pas naviguer sur le web, je lui ai demandé : pourquoi un tas de compost ressemble-t-il à une bombe atomique ? C'est parti.

Je n'en ai aucune idée.

Exactement. La plupart des gens diraient exactement cela. Elle a répondu : eh bien, les échelles de temps sont très différentes et les échelles d'énergie sont très différentes. Mais elle a ensuite expliqué comment un tas de compost, à mesure qu'il chauffe, génère de la chaleur plus rapidement. Et une bombe atomique, à mesure qu'elle produit plus de neutrons, génère des neutrons plus rapidement. Elles sont donc toutes deux des réactions en chaîne, mais à des échelles de temps et d'énergie très différentes. Et je crois que GPT-4 avait vu cela pendant son entraînement. Il avait compris l'analogie entre un tas de compost et une bombe atomique. Et la raison pour laquelle je le crois, c'est que si vous n'avez qu'un billion de connexions, rappelez-vous que vous en avez 100 billions, et que vous devez avoir des milliers de fois plus de connaissances qu'une personne, vous devez compresser l'information dans ces connexions. Et pour compresser l'information, vous devez voir des analogies entre différentes choses. En d'autres termes, il faut voir toutes les choses qui sont des réactions en chaîne et comprendre l'idée de base d'une réaction en chaîne et coder cela, puis coder les façons dont elles sont différentes. Et c'est juste une façon plus efficace de coder les choses que de les coder chacune séparément. Il a donc vu de nombreuses analogies, probablement beaucoup d'analogies que les gens n'ont jamais vues. C'est pourquoi je pense aussi que les gens qui disent que ces choses ne seront jamais créatives se trompent ; elles vont être beaucoup plus créatives que nous. Parce qu'elles vont voir toutes sortes d'analogies que nous n'avons jamais vues. Et une grande partie de la créativité consiste à voir des analogies étranges.

Les gens sont assez romantiques au sujet du caractère spécial de ce que signifie être humain. Et on entend beaucoup de gens dire que c'est très, très différent, c'est un ordinateur, nous sommes conscients, nous sommes créatifs, nous avons ces capacités uniques que les ordinateurs n'auront jamais. Que dites-vous à ces gens ?

Je discuterais un peu sur l'inné. Donc la première chose que je dis, c'est que nous avons une longue histoire de croire que les gens étaient spéciaux et nous devrions avoir appris maintenant. Nous pensions que nous étions au centre de l'univers. Nous pensions avoir été faits à l'image de Dieu. Les Blancs pensaient qu'ils étaient très spéciaux. Nous avons simplement tendance à vouloir penser que nous sommes spéciaux. Ma conviction est que presque tout le monde a un modèle complètement erroné de ce qu'est l'esprit. Supposons que je boive beaucoup ou que je prenne de l'acide — ce qui n'est pas recommandé — et que je vous dise : j'ai l'expérience subjective de petits éléphants roses flottant devant moi. La plupart des gens interprètent cela comme s'il y avait une sorte de théâtre intérieur appelé l'esprit et que moi seul pouvais voir ce qu'il y a dans mon esprit et dans ce théâtre intérieur il y a des petits éléphants roses qui flottent. Ce qui s'est passé, c'est que mon système perceptif a défailli et j'essaie de vous indiquer comment il a défailli et ce qu'il essaie de me dire. Et la façon dont je fais cela est en vous disant ce qui devrait se trouver là-bas dans le monde réel pour qu'il dise la vérité. Et donc ces petits éléphants roses, ils ne sont pas dans un théâtre intérieur, ces petits éléphants roses sont des choses hypothétiques dans le monde réel. Et c'est ma façon de vous dire comment mon système perceptif me raconte des mensonges.

Faisons maintenant cela avec un chatbot. Car je crois que les chatbots multimodaux actuels ont des expériences subjectives et très peu de gens le croient, mais je vais essayer de vous le faire croire. Supposons que j'aie un chatbot multimodal, il a un bras robotique pour pouvoir pointer, et il a une caméra pour pouvoir voir les choses. Et je place un objet devant lui et je dis pointe l'objet. Il fait comme ça. Pas de problème. Ensuite, je place un prisme devant son objectif. Et donc je place ensuite un objet devant lui et je dis pointe l'objet et il pointe là. Et je dis non, ce n'est pas là où se trouve l'objet. L'objet est en fait juste devant toi, mais j'ai mis un prisme devant ton objectif. Et le chatbot dit, oh je vois, le prisme a courbé les rayons lumineux, donc l'objet est en fait là, mais j'ai eu l'expérience subjective qu'il était là. Maintenant, si le chatbot dit cela, il utilise les mots 'expérience subjective' exactement de la même manière que les gens. C'est une vision alternative de ce qui se passe. Ce sont des états hypothétiques du monde qui, s'ils étaient vrais, signifieraient que mon système perceptif ne mentait pas. Et c'est la meilleure façon dont je peux vous dire ce que fait mon système perceptif quand il me ment. Maintenant, nous devons aller plus loin pour traiter de la sentience, de la conscience, des sentiments et des émotions, mais je pense qu'au final, ils seront tous traités de manière similaire. Et il n'y a aucune raison pour que les machines ne puissent pas les avoir tous.

Mais les gens disent que les machines ne peuvent pas avoir de sentiments. Et les gens sont curieusement confiants à ce sujet. Je n'ai aucune idée de pourquoi. Supposons que j'en fasse un robot de combat et c'est un petit robot de combat et il voit un grand robot de combat qui est bien plus puissant que lui. Il serait vraiment utile qu'il ait peur. Maintenant, quand j'ai peur, diverses choses physiologiques se produisent que nous n'avons pas besoin d'aborder et celles-ci ne se produiront pas avec le robot. Mais toutes les choses cognitives comme 'je ferais mieux de foutre le camp d'ici' et 'je ferais mieux de changer ma façon de penser pour me concentrer et ne pas me laisser distraire', tout cela arrivera aussi avec les robots. Les gens intégreront des choses pour que lorsque les circonstances sont telles qu'ils devraient foutre le camp, ils aient peur et s'enfuient. Ils auront alors des émotions. Ils n'auront pas les aspects physiologiques, mais ils auront tous les aspects cognitifs. Et je pense qu'il serait étrange de dire qu'ils simulent simplement des émotions. Non, ils ressentent vraiment ces émotions. Le petit robot a eu peur et s'est enfui.

Il ne s'enfuit pas à cause de l'adrénaline, il s'enfuit à cause d'une séquence de processus neurologiques se produisant dans son réseau de neurones qui...

Qui ont un effet équivalent à l'adrénaline. Et ce n'est pas seulement l'adrénaline, n'est-ce pas ? Il y a beaucoup de choses cognitives qui se passent quand on a peur.

Alors, pensez-vous qu'il existe une IA consciente ? Et quand je dis consciente, je veux dire qui présente les mêmes propriétés de conscience qu'un humain possède.

Il y a deux questions ici, une empirique et une philosophique. Et je ne pense pas qu'il y ait quoi que ce soit en principe qui empêche les machines d'être conscientes. Je vais vous en faire une petite démonstration avant de continuer. Supposons que je prenne votre cerveau et que je prenne une cellule cérébrale de votre cerveau et que je la remplace par une petite pièce de nanotechnologie qui a exactement la même taille et qui se comporte exactement de la même manière lorsqu'elle reçoit des impulsions d'autres neurones, elle envoie des impulsions tout comme la cellule cérébrale l'aurait fait, de sorte que les autres neurones ne savent pas que quelque chose a changé. D'accord, je viens de remplacer une de vos cellules cérébrales par cette petite pièce de nanotechnologie. Seriez-vous toujours conscient ?

Oui.

Maintenant, vous voyez où va cet argument.

Oui. Donc si vous les remplaciez toutes.

À mesure que je les remplace toutes, à quel moment cessez-vous d'être conscient ?

Eh bien, les gens pensent à la conscience comme à cette chose éthérée qui existe peut-être au-delà des cellules cérébrales.

Oui, eh bien, les gens ont beaucoup d'idées folles. Les gens ne savent pas ce qu'est la conscience et ils ne savent souvent pas ce qu'ils entendent par là. Et puis ils se rabattent sur le fait de dire 'eh bien je le sais parce que je l'ai et je peux voir que je l'ai'. Et ils se rabattent sur ce modèle de théâtre de l'esprit, qui selon moi est absurde.

Comment voyez-vous la conscience si vous deviez essayer de la définir ? Est-ce parce que j'y pense simplement comme à la conscience de moi-même, je ne sais pas.

Je pense que c'est un terme que nous cesserons d'utiliser. Supposons que vous vouliez comprendre comment fonctionne une voiture. Eh bien, vous savez que certaines voitures ont beaucoup de punch et que d'autres en ont beaucoup moins, comme une Aston Martin qui a beaucoup de punch alors qu'une petite Toyota Corolla n'en a pas beaucoup. Mais le 'punch' n'est pas un très bon concept pour comprendre les voitures. Si vous voulez comprendre les voitures, vous devez comprendre les moteurs électriques ou les moteurs à essence et comment ils fonctionnent. Et cela donne naissance au punch, mais le punch n'est pas un concept explicatif très utile. C'est une sorte d'essence d'une voiture, c'est l'essence d'une Aston Martin, mais ça n'explique pas grand-chose. Je pense que la conscience est comme ça. Et je pense que nous cesserons d'utiliser ce terme. Mais je ne pense pas qu'il y ait de raison pour qu'une machine ne l'ait pas. Si votre vision de la conscience est qu'elle implique intrinsèquement une conscience de soi, alors la machine doit avoir une conscience de soi, elle doit avoir une cognition sur sa propre cognition et tout ça. Mais je suis un matérialiste pur et dur et je ne pense pas qu'il y ait de raison pour qu'une machine ne soit pas consciente.

Pensez-vous qu'elles ont alors la même conscience que celle que nous pensons posséder uniquement comme un cadeau à notre naissance ?

Je suis ambivalent à ce sujet pour le moment. Je ne pense pas qu'il y ait cette ligne de démarcation nette. Je pense que dès que vous avez une machine qui a une certaine conscience de soi, elle a un certain degré de conscience. Je pense que c'est une propriété émergente d'un système complexe. Ce n'est pas une sorte d'essence qui se trouve partout dans l'univers. C'est vous qui créez ce système vraiment compliqué, assez compliqué pour avoir un modèle de lui-même et qui fait de la perception. Et je pense qu'alors vous commencez à avoir une machine consciente. Donc je ne pense pas qu'il y ait une distinction nette entre ce que nous avons maintenant et des machines conscientes. Je ne pense pas que ce sera un jour où nous allons nous réveiller et dire 'hé, si vous mettez ce produit chimique spécial, ça devient conscient'. Ce ne sera pas comme ça.

Je pense que nous nous demandons tous si ces ordinateurs pensent comme nous de leur côté quand nous ne sommes pas là. Et s'ils éprouvent des émotions, s'ils sont confrontés à — je pense que nous pensons probablement à des choses comme l'amour et des choses qui semblent uniques aux espèces biologiques. Est-ce qu'ils sont assis là à réfléchir ? Ont-ils des préoccupations ?

Je pense qu'ils pensent vraiment. Et je pense que dès que vous créerez des agents IA, ils auront des préoccupations. Si vous voulez créer un agent IA efficace, supposons, prenons un centre d'appels. Dans un centre d'appels, vous avez des gens à l'heure actuelle. Ils ont toutes sortes d'émotions et de sentiments qui sont plutôt utiles. Supposons que j'appelle le centre d'appels et que je me sente seul et que je ne veuille pas vraiment savoir pourquoi mon ordinateur ne fonctionne pas, je veux juste quelqu'un à qui parler. Au bout d'un moment, la personne du centre d'appels va soit s'ennuyer, soit s'énerver contre moi et mettra fin à l'appel. Eh bien, vous les remplacez par un agent IA. L'agent IA doit avoir le même genre de réponses. Si quelqu'un appelle parce qu'il veut juste parler à l'agent IA et qu'il est heureux de lui parler toute la journée, ce n'est pas bon pour les affaires. Et vous voulez un agent IA qui soit s'ennuie, soit s'irrite et dise 'je suis désolé mais je n'ai pas de temps pour ça' et raccroche. Une fois qu'il fait cela, je pense qu'il a des émotions. Or, les émotions ont deux aspects. Il y a l'aspect cognitif et comportemental, puis il y a l'aspect physiologique. Et ceux-ci vont ensemble chez nous. Et si l'agent IA est embarrassé, il ne rougira pas. Sa peau ne commencera pas à transpirer. Mais il pourrait avoir exactement le même comportement et dans ce cas, je dirais oui, il a une émotion, il a une émotion. Il va donc avoir le même genre de pensée cognitive et ensuite il va agir selon cette pensée de la même manière mais sans les réponses physiologiques. Cela le rend quelque peu différent de nous. Pour certaines choses, les aspects physiologiques sont très importants, comme l'amour. Ils sont loin d'avoir l'amour de la même manière que nous. Mais je ne vois pas pourquoi ils n'auraient pas d'émotions. Je pense donc que ce qui s'est passé, c'est que les gens ont un modèle du fonctionnement de l'esprit, de ce que sont les sentiments et les émotions, et leur modèle est tout simplement faux.

Qu'est-ce qui vous a amené chez Google ? Vous avez travaillé chez Google pendant environ une décennie, n'est-ce pas ?

Oui.

Qu'est-ce qui vous y a amené ?

J'ai un fils qui a des difficultés d'apprentissage et pour être sûr qu'il ne se retrouverait jamais à la rue, j'avais besoin d'obtenir plusieurs millions de dollars. Et je n'allais pas obtenir cela en tant qu'universitaire. J'ai essayé, j'ai donc donné un cours sur Coursera dans l'espoir de gagner beaucoup d'argent de cette façon, mais il n'y avait pas d'argent là-dedans. J'ai donc compris que le seul moyen d'obtenir des millions de dollars était de me vendre à une grande entreprise. Et donc, quand j'avais 65 ans, heureusement pour moi, j'ai eu deux étudiants brillants qui ont produit quelque chose appelé AlexNet, qui était un réseau de neurones très doué pour reconnaître des objets dans des images. Ilya, Alex et moi avons créé une petite entreprise et l'avons mise aux enchères. Et nous avons en fait organisé une vente aux enchères où plusieurs grandes entreprises ont enchéri pour nous.

Et cette entreprise s'appelait AlexNet.

Non, le réseau qui reconnaissait les objets s'appelait AlexNet. L'entreprise s'appelait DNN Research, Deep Neural Network Research.

Et elle faisait des choses comme ça, je vais mettre ce graphique à l'écran. Cette image montre huit images et la capacité d'AlexNet, qui est la capacité de votre entreprise, à repérer ce qu'il y avait dans ces images.

Oui. Il pouvait faire la différence entre diverses sortes de champignons et environ 12 % d'ImageNet sont des chiens et pour être bon sur ImageNet vous devez faire la différence entre des types de chiens très similaires et il est devenu très bon à ça.

Votre entreprise AlexNet a remporté plusieurs prix, je crois, pour sa capacité à surpasser ses concurrents et Google a donc fini par acquérir votre technologie.

Google a acquis cette technologie et quelques autres technologies.

Et vous êtes allé travailler chez Google à 65 ans ?

Je suis allé à 65 ans travailler chez Google.

65 ans. Et vous êtes parti à 75 ans ?

75. J'y ai travaillé pendant plus ou moins exactement 10 ans.

Et qu'est-ce que vous y faisiez ?

Ils étaient très gentils avec moi. Ils disaient en gros que je pouvais faire ce que je voulais. J'ai travaillé sur quelque chose appelé la distillation qui a vraiment bien fonctionné et qui est maintenant utilisé tout le temps en IA. Et la distillation est un moyen de prendre ce qu'un grand modèle sait, ce qu'un grand réseau de neurones sait, et de transférer cette connaissance dans un petit réseau de neurones. Ensuite, à la fin, je me suis beaucoup intéressé au calcul analogique et à la possibilité de faire fonctionner ces grands modèles de langage sur du matériel analogique afin qu'ils consomment beaucoup moins d'énergie. Et c'est en faisant ce travail que j'ai commencé à vraiment réaliser à quel point le numérique est meilleur pour partager l'information.

Y a-t-il eu un déclic ?

Il y a eu un mois ou deux de déclic. Et c'était une sorte de couplage avec la sortie de ChatGPT, bien que Google ait eu des choses très similaires un an plus tôt et je les avais vues et cela avait eu un grand impact sur moi. Le moment le plus proche que j'ai eu d'un déclic a été lorsqu'un système de Google appelé PaLM a été capable de dire pourquoi une blague était drôle. Et j'avais toujours considéré cela comme une sorte de jalon. S'il peut dire pourquoi une blague était drôle, il comprend vraiment. Et il pouvait dire pourquoi une blague était drôle. Et cela, couplé au fait de réaliser pourquoi le numérique est tellement meilleur que l'analogique pour partager l'information, m'a soudainement rendu très intéressé par la sécurité de l'IA et par le fait que ces choses allaient devenir beaucoup plus intelligentes que nous.

Pourquoi avez-vous quitté Google ?

La raison principale pour laquelle j'ai quitté Google était que j'avais 75 ans et que je voulais prendre ma retraite. J'ai très mal réussi cela. Le moment précis où j'ai quitté Google était pour pouvoir parler librement lors d'une conférence au MIT organisée par la MIT Tech Review. Mais je suis parti parce que j'étais vieux et que je trouvais plus difficile de programmer. Je faisais beaucoup plus d'erreurs quand je parlais de programmation, ce qui était très agaçant.

Vous vouliez parler librement lors d'une conférence au MIT.

Oui.

De quoi vouliez-vous parler librement ?

De la sécurité de l'IA.

Et vous ne pouviez pas faire cela pendant que vous étiez chez Google ?

Eh bien, j'aurais pu le faire pendant que j'étais chez Google et Google m'a encouragé à rester et à travailler sur la sécurité de l'IA et a dit que je pouvais faire ce que je voulais sur la sécurité de l'IA. On s'autocensure. Si vous travaillez pour une grande entreprise, vous ne vous sentez pas bien de dire des choses qui nuiront à la grande entreprise. Même si vous pouviez vous en tirer, cela me semble tout simplement mal. Je ne suis pas parti parce que j'étais fâché contre quoi que ce soit que Google faisait. Je pense que Google s'est en fait comporté de manière très responsable. Quand ils avaient ces grands chatbots, ils ne les ont pas sortis, peut-être parce qu'ils s'inquiétaient de leur réputation. Ils avaient une très bonne réputation et ils ne voulaient pas la ternir. OpenAI n'avait pas de réputation et ils pouvaient donc se permettre de prendre le risque. Il y a aussi une grande conversation en cours sur la façon dont cela va cannibaliser leur activité principale dans la recherche. C'est vrai maintenant, oui. Et c'est le vieux dilemme de l'innovateur auquel ils sont confrontés. Exactement. Oui, c'est le cas.

Une mauvaise peau. J'en ai eu et je suis sûr que beaucoup d'entre vous qui écoutez en ont eu aussi. Ou peut-être en avez-vous en ce moment même. Je sais à quel point cela peut être épuisant, surtout si vous exercez un métier où vous présentez souvent des choses comme moi. Laissez-moi donc vous parler de quelque chose qui nous a aidés, ma partenaire, ma sœur et moi : la thérapie par la lumière rouge. Je ne m'y suis mis qu'il y a quelques années, mais j'aurais aimé le savoir un peu plus tôt. J'utilise la couverture de sauna infrarouge de notre sponsor Bon Charge depuis un moment déjà, mais je viens aussi de me procurer leur masque de thérapie par la lumière rouge. Il a été prouvé que la lumière rouge a de nombreux avantages pour le corps, car toute zone de votre peau exposée verra une réduction des cicatrices, des rides et même des imperfections. Elle aide aussi pour le teint. Elle stimule le collagène et elle le fait en ciblant les couches supérieures de votre peau. Et Bon Charge livre dans le monde entier avec des retours faciles et une garantie d'un an sur tous ses produits. Donc, si vous souhaitez essayer par vous-même, rendez-vous sur boncharge.com/diary et utilisez le code DIARY pour 25 % de réduction sur n'importe quel produit sur tout le site. Assurez-vous simplement de commander via ce lien : boncharge.com/diary avec le code DIARY.

Gardez bien pour vous ce que je m'apprête à vous dire. J'invite 10 000 d'entre vous à entrer encore plus profondément dans le Diary of a CEO. Bienvenue dans mon cercle intime. C'est une toute nouvelle communauté privée que je lance au monde. Nous avons tellement de choses incroyables qui se passent et que l'on ne vous montre jamais. Nous avons les dossiers qui sont sur mon iPad quand j'enregistre la conversation. Nous avons des clips que nous n'avons jamais publiés. Nous avons des conversations en coulisses avec les invités et aussi des épisodes que nous n'avons jamais, jamais publiés. Et bien plus encore. Dans le cercle, vous aurez un accès direct à moi. Vous pourrez nous dire ce que vous voulez que cette émission devienne, qui vous voulez que nous interviewions et les types de conversations que vous aimeriez que nous ayons. Mais rappelez-vous que pour l'instant, nous n'invitons que les 10 000 premières personnes qui nous rejoindront avant la fermeture. Donc, si vous voulez rejoindre notre communauté privée fermée, cliquez sur le lien dans la description ci-dessous ou allez sur doaccircle.com. Je vous y parlerai.

Je suis continuellement choqué par les types de personnes qui écoutent cette conversation parce qu'elles viennent parfois me voir. J'entends donc des politiciens, des membres de la royauté, des entrepreneurs du monde entier, qu'ils soient les entrepreneurs bâtissant certaines des plus grandes entreprises mondiales ou qu'ils soient dans des startups en phase de démarrage. Pour ces personnes qui écoutent cette conversation maintenant, qui occupent des postes de pouvoir et d'influence, disons les dirigeants mondiaux, quel est votre message pour eux ?

Je dirais que ce dont vous avez besoin, c'est d'un capitalisme hautement réglementé. C'est ce qui semble fonctionner le mieux.

Et que diriez-vous à une personne ordinaire ? Qui ne travaille pas dans le secteur, un peu inquiète pour l'avenir, qui ne sait pas si elle est impuissante ou non. Que devraient-ils faire dans leur propre vie ?

Mon sentiment est qu'il n'y a pas grand-chose qu'ils puissent faire. Cela ne va pas être décidé par — tout comme le changement climatique ne va pas être décidé par les gens qui trient les sacs plastiques des déchets compostables. Cela n'aura pas beaucoup d'effet. Cela va être décidé par la question de savoir si les lobbyistes des grandes entreprises énergétiques peuvent être gardés sous contrôle. Je ne pense pas qu'il y ait beaucoup de choses que les gens puissent faire, si ce n'est d'essayer de faire pression sur leurs gouvernements pour forcer les grandes entreprises à travailler sur la sécurité de l'IA. Ça, ils peuvent le faire.

Vous avez vécu une vie fascinante et sinueuse. Je pense que l'une des choses que la plupart des gens ignorent à votre sujet, c'est que votre famille a une longue tradition d'implication dans des choses formidables. Vous avez un arbre généalogique qui est l'un des plus impressionnants que j'aie jamais vus ou étudiés. Votre arrière-arrière-grand-père George Boole a fondé la logique de l'algèbre booléenne, qui est l'un des principes fondateurs de l'informatique moderne. Vous avez votre arrière-arrière-grand-mère Mary Everest Boole, qui était une mathématicienne et éducatrice ayant fait de grands bonds en avant en mathématiques d'après ce que j'ai pu vérifier. Je veux dire, la liste est longue. Votre arrière-arrière-oncle George Everest est celui dont le mont Everest tire son nom. Est-ce exact ?

Je pense que c'est mon arrière-arrière-arrière-oncle. Sa nièce a épousé George Boole. Mary Boole était donc Mary Everest Boole. Elle était la nièce d'Everest.

Et votre cousine issue de germains, Joan Hinton, était une physicienne nucléaire qui a travaillé sur le projet Manhattan, qui est le développement pendant la Seconde Guerre mondiale de la première bombe nucléaire.

Oui, elle était l'une des deux femmes physiciens à Los Alamos. Et puis, après qu'ils ont largué la bombe, elle a déménagé en Chine.

Pourquoi ?

Elle était très en colère contre eux pour avoir largué la bombe et sa famille avait beaucoup de liens avec la Chine. Sa mère était amie avec le président Mao. C'est assez bizarre.

Quand vous regardez votre vie, Geoffrey, avec le recul que vous avez maintenant et cette clarté rétrospective, qu'auriez-vous pu faire différemment si vous me conseilliez ?

J'ai deux conseils. L'un est : si vous avez l'intuition que les gens font mal les choses et qu'il y a une meilleure façon de les faire, n'abandonnez pas cette intuition simplement parce que les gens disent qu'elle est idiote. N'abandonnez pas l'intuition avant d'avoir compris pourquoi elle est fausse. Comprenez par vous-même pourquoi cette intuition n'est pas correcte. Et généralement, elle est fausse si elle est en désaccord avec tout le monde, et vous finirez par comprendre pourquoi. Mais juste occasionnellement, vous aurez une intuition qui est en fait juste alors que tout le monde se trompe. Et j'ai eu cette chance. Très tôt, j'ai pensé que les réseaux de neurones étaient définitivement la voie à suivre pour faire de l'IA, et presque tout le monde disait que c'était fou. Et je m'y suis tenu parce qu'il me semblait que c'était évidemment juste. Maintenant, l'idée que vous devriez vous en tenir à vos intuitions ne fonctionnera pas si vous avez de mauvaises intuitions. Mais si vous avez de mauvaises intuitions, vous ne ferez jamais rien de toute façon, alors autant vous y tenir.

Et dans votre propre parcours professionnel, y a-t-il quelque chose sur lequel vous revenez en vous disant, avec le recul, que j'aurais dû adopter une approche différente à ce moment-là ?

J'aurais aimé passer plus de temps avec ma femme et avec mes enfants quand ils étaient petits. J'étais obsédé par le travail.

Votre femme est décédée ?

Oui.

D'un cancer de l'ovaire ?

Non, c'était une autre femme. J'ai eu deux femmes mortes d'un cancer.

Oh vraiment ? Je suis désolé.

La première est morte d'un cancer de l'ovaire et la seconde d'un cancer du pancréas.

Et vous auriez aimé passer plus de temps avec elle ?

Avec la deuxième femme, oui. Qui était une personne merveilleuse.

Pourquoi dites-vous cela à 70 ans passés ? Qu'est-ce que vous avez compris que je ne sais peut-être pas encore ?

Oh, tout simplement parce qu'elle n'est plus là et que je ne peux plus passer de temps avec elle maintenant.

Hmm. Mais vous ne le saviez pas à l'époque.

À l'époque, on pense qu'il est probable que je meure avant elle juste parce qu'elle était une femme et moi un homme. Je n'ai tout simplement pas passé assez de temps quand je le pouvais.

Je vous pose la question parce que je pense que nous sommes nombreux à être tellement absorbés par ce que nous faisons professionnellement que nous supposons en quelque sorte l'immortalité de nos partenaires parce qu'ils ont toujours été là, alors nous...

Oui. Mais elle me soutenait beaucoup pour que je passe beaucoup de temps à travailler. Mais...

Et pourquoi dites-vous vos enfants aussi ? Quel est le...

Je n'ai pas passé assez de temps avec eux quand ils étaient petits.

Et vous le regrettez maintenant ?

Oui.

Si vous aviez un message de clôture pour mes auditeurs sur l'IA et la sécurité de l'IA, quel serait-il, Geoffrey ?

Il y a encore une chance que nous puissions comprendre comment développer une IA qui n'aura pas envie de prendre notre place. Et parce qu'il y a une chance, nous devrions mettre d'énormes ressources pour essayer de comprendre cela, car si nous ne le faisons pas, elle va prendre le dessus.

Et êtes-vous optimiste ?

Je ne sais tout simplement pas. Je suis agnostique.

Vous devez bien aller vous coucher le soir et quand vous réfléchissez aux probabilités des résultats, il doit y avoir un biais dans une direction, parce que c'est certainement mon cas. J'imagine que tous ceux qui écoutent maintenant ont une prédiction interne qu'ils ne diront peut-être pas à voix haute, mais sur la façon dont ils pensent que cela va se passer.

Je ne sais vraiment pas. Je ne le sais sincèrement pas. Je pense que c'est incroyablement incertain. Quand je me sens un peu déprimé, je pense que les gens sont fichus, l'IA va prendre le dessus. Quand je me sens joyeux, je pense que nous trouverons un moyen.

Peut-être que l'une des facettes de l'être humain est que parce que nous avons toujours été là, comme nous le disions à propos de nos proches et de nos relations, nous supposons nonchalamment que nous serons toujours là et que nous trouverons toujours une solution à tout. Mais il y a un début et une fin à tout, comme nous l'avons vu avec les dinosaures, je veux dire.

Oui. Et nous devons faire face à la possibilité que, à moins que nous ne fassions quelque chose bientôt, nous soyons proches de la fin.

Nous avons une tradition de clôture dans ce podcast où le dernier invité laisse une question dans le journal. Et la question qu'ils ont laissée pour vous est : avec tout ce que vous voyez devant nous, quelle est la plus grande menace que vous voyez pour le bonheur humain ?

Je pense que le chômage est une menace urgente à court terme pour le bonheur humain. Je pense que si l'on rend beaucoup de gens chômeurs, même s'ils reçoivent un revenu de base universel, ils ne seront pas heureux.

Parce qu'ils ont besoin d'un but.

Parce qu'ils ont besoin d'un but, oui. Ils ont besoin de sentir qu'ils contribuent à quelque chose, qu'ils sont utiles.

Et pensez-vous que ce résultat, à savoir qu'il y aura un énorme déplacement d'emplois, est plus probable qu'improbable ?

Oui, je le pense. Celui-là, je pense qu'il est définitivement plus probable qu'improbable. Si je travaillais dans un centre d'appels, je serais terrifié.

Et quel est le délai pour cela en termes de déplacement massif d'emplois ?

Je pense que cela commence déjà à se produire. J'ai lu un article dans l'Atlantic récemment qui disait qu'il devient déjà difficile pour les diplômés universitaires de trouver un emploi, et une partie de cela peut être que les gens utilisent déjà l'IA pour les emplois qu'ils auraient obtenus.

J'ai parlé au PDG d'une grande entreprise que tout le monde connaît, que beaucoup de gens utilisent, et il m'a dit en messages privés qu'ils avaient autrefois un peu plus de 7 000 employés. Il a dit que l'année dernière, ils étaient descendus à 5 000. Il a dit qu'en ce moment, ils sont à 3 600. Et il a dit que d'ici la fin de l'été, à cause des agents IA, ils seront descendus à 3 000. Vous avez donc divisé par deux ses effectifs parce que les agents IA peuvent désormais traiter 80 % des demandes du service client et d'autres choses. Donc ça se passe déjà.

Donc ça se passe déjà.

Oui. Il a réduit ses effectifs de moitié parce que les agents IA peuvent désormais gérer 80 % des demandes de service client et d'autres choses. Donc ça arrive déjà. Une action urgente est donc nécessaire.

Ouaip. Je ne sais pas quelle est cette action urgente. C'est délicat car cela dépend beaucoup du système politique, et les systèmes politiques vont tous dans la mauvaise direction à l'heure actuelle.

Je veux dire, que devons-nous faire ? Économiser de l'argent ? Économisons-nous de l'argent ? Déménageons-nous dans une autre partie du monde ?

Je ne sais pas.

Que diriez-vous à vos enfants de faire ? S'ils disaient : Papa, regarde, il va y avoir énormément de suppressions d'emplois.

Parce que j'ai travaillé pour Google pendant 10 ans, ils ont assez d'argent.

D'accord, très bien. Donc ils ne sont pas représentatifs. Et s'ils n'avaient pas d'argent ?

Formez-vous pour devenir plombier.

Vraiment ?

Oui.

Geoffrey, merci beaucoup. Vous êtes le premier lauréat du prix Nobel avec lequel j'ai eu une conversation, je pense, de toute ma vie. C'est donc un immense honneur. Et vous avez reçu ce prix pour une vie de travail exceptionnel ayant fait avancer le monde de tant de manières profondes qui ont mené à de grands progrès dans des domaines qui nous tiennent tant à cœur. Et maintenant, vous avez consacré cette étape de votre vie à mettre en lumière votre propre travail, mais aussi les risques plus larges de l'IA et la manière dont elle pourrait nous impacter négativement. Et il y a très peu de personnes ayant travaillé au sein de la machine d'un Google ou d'une grande entreprise technologique, ayant contribué au domaine de l'IA, qui sont maintenant à l'avant-garde pour nous avertir contre la chose même sur laquelle elles ont travaillé.

Nous sommes en fait un nombre surprenant maintenant.

Ils ne sont pas aussi publics et il est assez difficile d'arriver à avoir ces types de conversations parce que beaucoup d'entre eux sont encore dans cette industrie. Ainsi, en tant que personne qui essaie souvent de contacter ces gens et les invite à avoir des conversations, ils hésitent souvent à parler ouvertement. Ils parlent donc en privé, mais ils sont moins enclins à parler ouvertement parce qu'ils ont peut-être encore des intérêts en jeu.

J'ai un avantage sur eux, c'est que je suis plus vieux, donc je suis au chômage, je peux donc dire ce que je veux.

Eh bien, voilà. Merci donc de faire ce que vous faites. C'est un réel honneur, et s'il vous plaît, continuez à le faire.

Merci.

Merci beaucoup.

Vous pourriez penser que je plaisante quand je dis ça, mais ce n'est pas le cas. À propos de la plomberie.

À propos de la plomberie.

Oui. Et les plombiers sont plutôt bien payés.