Est-ce que je suis déjà au cours d'apprentissage neuronal 201 ou suis-je encore au 101 ?

Vous êtes comme l'étudiant brillant au premier rang qui ne sait rien mais qui pose de ces bonnes questions.

C'est la façon la plus gentille dont on m'ait jamais décrit. Merci.

Salut à tous. Bienvenue sur le podcast The Weekly Show. Je m'appelle Jon Stewart. Je serai votre hôte aujourd'hui. Nous sommes le mercredi 8 octobre. Je ne sais pas ce qui va se passer plus tard dans la journée, mais nous serons absents demain. Aujourd'hui, nous parlons au « Parrain de l'IA », Geoffrey Hinton, qui développe la technologie devenue l'IA depuis les années 70. Dans la première partie, il nous explique ce que c'est réellement, ce qui a été incroyablement utile pour moi. Nous abordons la partie « ça va tous nous tuer », mais il était important pour ma compréhension de planter le décor. J'espère que vous trouverez cela aussi intéressant que moi, car cela a élargi ma compréhension de ce qu'est cette technologie, de la façon dont elle va être utilisée et de certains de ces dangers. Passons à notre invité.

Mesdames et messieurs, nous sommes ravis d'accueillir aujourd'hui le professeur émérite du département d'informatique de l'Université de Toronto et membre du conseil consultatif de l'Institut Schwartz Reisman, Geoffrey Hinton. Monsieur, merci beaucoup d'être avec nous aujourd'hui.

Eh bien, merci beaucoup de m'avoir invité.

Vous êtes connu comme le Parrain de l'intelligence artificielle — et je suis sûr que vous serez modeste à ce sujet — pour vos travaux sur les réseaux de neurones. Vous avez co-remporté le prix Nobel de physique en 2024 pour ces travaux. Est-ce exact ?

C'est exact. C'est un peu embarrassant puisque je ne fais pas de physique. Quand ils m'ont appelé pour me dire que j'avais gagné le prix Nobel de physique, je ne les ai pas crus au début.

Et est-ce que les autres physiciens se disaient : « Attendez une seconde, ce gars n'est même pas dans notre domaine » ?

Je soupçonne fortement qu'ils le pensaient, mais ils ne me l'ont pas dit en face.

Oh, tant mieux. Je suis content. Cela va sans doute vous paraître élémentaire, j'en suis sûr. Mais quand nous parlons d'intelligence artificielle, je ne sais pas exactement de quoi nous parlons. Je sais que l'intelligence artificielle n'est qu'un moteur de recherche un peu plus flatteur. Alors qu'avant je cherchais quelque chose sur Google et qu'il me donnait simplement la réponse, maintenant il dit : « Quelle question intéressante vous m'avez posée. » Alors, de quoi parlons-nous quand nous parlons d'intelligence artificielle ?

Lorsque vous utilisiez Google, il utilisait des mots-clés et faisait un travail préalable. Si vous lui donniez des mots-clés, il pouvait trouver tous les documents qui contenaient ces mots.

En gros, il s'agit de trier et de trouver des mots, puis de vous apporter un result.

C'est ainsi que cela fonctionnait auparavant. Mais il ne comprenait pas la question. Il ne pouvait pas trouver de documents qui ne contenaient pas ces mots mais qui traitaient du même sujet.

Il ne faisait pas ce lien. Exact. Parce qu'il dirait : « Voici votre résultat moins », puis dirait un mot qui n'était pas inclus.

C'est ça. Si vous aviez un document sans aucun des mots que vous avez utilisés, il ne le trouverait pas, même s'il s'agissait d'un document pertinent sur le sujet exact dont vous parliez. Il avait simplement utilisé des mots différents. Maintenant, il comprend ce que vous dites à peu près de la même manière que les gens.

Il est donc passé du statut de simple outil de recherche à celui de véritable expert dans n'importe quel sujet dont vous discutez, capable de vous apporter des choses auxquelles vous n'auriez peut-être pas pensé.

Oui. Les grands modèles de langage ne sont pas de grands experts en tout. Si vous prenez un ami qui en sait beaucoup sur un sujet donné, il est probablement meilleur que le grand modèle de langage, mais il sera néanmoins impressionné par le fait que le modèle connaît assez bien son sujet.

Quelle est la différence avec l'apprentissage automatique ? Est-ce que Google, en tant que moteur de recherche, était de l'apprentissage automatique ? C'est juste des algorithmes et des prédictions.

Non, pas exactement. L'apprentissage automatique est un terme générique pour tout système informatique qui apprend. Ces réseaux de neurones sont une manière particulière d'apprendre qui est très différente de ce qui était utilisé auparavant.

D'accord. Ce sont donc les nouveaux réseaux de neurones. L'ancien apprentissage automatique n'était pas considéré comme des réseaux de neurones. Et quand vous dites réseaux de neurones, cela signifie que votre travail en a été la genèse dans les années 70, quand vous pensiez étudier le cerveau. Est-ce exact ?

J'essayais de trouver des idées sur la façon dont le cerveau apprenait réellement. Il y a certaines choses que nous savons à ce sujet. Il apprend en modifiant la force des connexions entre les cellules cérébrales.

Attendez, expliquez-moi cela. Vous dites qu'il apprend en modifiant les connexions. Si vous montrez quelque chose de nouveau à un humain, les cellules cérébrales vont-elles réellement créer de nouvelles connexions dans le cerveau ?

Il ne créera pas de nouvelles connexions ; ce seront des connexions qui étaient déjà là. Son principal mode de fonctionnement est de modifier la force de ces connexions. Du point de vue d'un neurone, tout ce qu'il peut faire dans la vie, c'est parfois faire « ping ».

C'est tout ce qu'il a. C'est son seul mouvement.

C'est tout ce qu'il a. À moins qu'il ne soit connecté à un muscle, il peut parfois faire ping. Et il doit décider quand faire ping.

Comment décide-t-il quand faire ping ?

Je suis content que vous posiez cette question. Il y a d'autres neurones qui font ping. Lorsqu'il voit des schémas particuliers d'autres neurones faire ping, il fait ping. Vous pouvez imaginer ce neurone comme recevant des pings d'autres neurones. Chaque fois qu'il reçoit un ping, il traite cela comme un vote pour savoir s'il doit s'activer ou non. Et vous pouvez modifier le nombre de voix qu'un autre neurone a pour lui.

Comment changeriez-vous ce vote ?

En changeant la force de la connexion. Considérez la force de la connexion comme le nombre de votes que cet autre neurone vous donne pour faire ping.

D'accord. C'est vraiment, par certains côtés, comme le film Minions, mais presque social.

Oui. Cela ressemble beaucoup à des coalitions politiques. Il y aura des groupes de neurones qui font ping ensemble et qui se disent tous de faire ping. Ensuite, il pourrait y avoir une coalition différente disant aux autres neurones de ne pas faire ping. Enfin, il pourrait y avoir une troisième coalition qui se dit de faire ping et qui dit à la première coalition de ne pas le faire.

Tout cela se passe dans votre cerveau, comme pour dire : « J'aimerais prendre une cuillère ».

Oui. Une cuillère, par exemple, est une coalition de neurones qui font ping ensemble dans votre cerveau. C'est un concept.

Oh, wow. Ainsi, pendant que vous apprenez à un bébé et qu'il voit une cuillère, il y a un petit groupe de neurones qui se disent : « Oh, c'est une cuillère » et qui renforcent leurs connexions entre eux. Est-ce pour cela que lorsque vous faites de l'imagerie cérébrale, vous voyez certaines zones s'allumer, et cet allumage est-il dû aux neurones qui font ping pour certains objets ou actions ?

Pas exactement, mais on s'en rapproche. Différentes zones s'allument lorsque vous faites différentes choses, comme voir, parler ou contrôler vos mains. Mais la coalition de neurones qui fait ping quand il y a une cuillère ne travaille pas seulement pour la cuillère. La plupart de ces neurones feront également ping quand il y a une fourchette. Ces coalitions se chevauchent beaucoup.

C'est une coalition très large. Je n'avais aucune idée que votre cerveau fonctionnait à la pression sociale.

Beaucoup de choses se passent ainsi. Les concepts sont des coalitions qui sont heureuses ensemble. Mais elles se chevauchent beaucoup ; le concept de chien et le concept de chat ont beaucoup en commun et partageront de nombreux neurones. Les neurones qui représentent des choses comme être animé, poilu ou être un animal domestique seront communs aux deux.

J'apprécie votre patience pour expliquer cela. Existe-t-il certains neurones qui font ping de manière large pour le concept général d'animal, puis d'autres pour des détails spécifiques ? Est-ce que ça va du macro au micro, du général au particulier ? Est-ce qu'une coalition de neurones fait ping de manière générale, puis à mesure que vous devenez plus spécifique, cela engage certains neurones qui feront ping moins fréquemment mais pour plus de spécificité ?

C'est une très bonne théorie. Personne ne le sait avec certitude, mais c'est une théorie sensée. En particulier, il y aura certains neurones dans cette coalition qui feront ping plus souvent pour des choses plus générales, puis des neurones qui feront ping moins souvent pour des choses beaucoup plus spécifiques.

Et cela fonctionne partout. Comme vous le dites, certaines zones feront ping pour la vision ou d'autres sens comme le toucher. J'imagine qu'il existe un système de ping pour le langage. Vous disiez, et si nous pouvions amener les ordinateurs, qui étaient beaucoup plus binaires ou basés sur le « si alors », à fonctionner comme ces coalitions ?

Le binaire « si alors » n'a pas grand-chose à voir là-dedans. La différence est que les gens essayaient d'introduire des règles dans les ordinateurs. La manière classique de programmer un ordinateur est de comprendre avec une précision extrême comment vous résoudriez le problème.

Vous déconstruisez toutes les étapes.

Et ensuite, vous dites exactement à l'ordinateur quoi faire. C'est un programme informatique normal. Ces systèmes ne sont pas du tout comme ça.

Vous essayiez donc de changer ce processus pour voir si nous pouvions créer un processus qui fonctionnerait davantage comme le cerveau humain, plutôt que comme une liste d'instructions point par point. Vous vouliez qu'il pense plus globalement. Comment cela s'est-il produit ?

Il était évident pour beaucoup de gens que le cerveau ne fonctionne pas en exécutant des règles données par quelqu'un d'autre. En Corée du Nord, ils aimeraient que les cerveaux fonctionnent comme ça, mais ce n'est pas le cas. C'est ainsi qu'ils aimeraient qu'ils fonctionnent, mais c'est un peu plus artistique que cela. Nous écrivons bien des programmes pour les réseaux de neurones, mais ces programmes servent simplement à dire au réseau comment ajuster la force de la connexion en fonction de l'activité des neurones. C'est un programme simple qui ne contient pas de connaissances sur le monde. Ce sont juste des règles pour changer la force des connexions neuronales sur la base des activités.

Pouvez-vous me donner un exemple ? Serait-ce considéré comme de l'apprentissage automatique ou de l'apprentissage profond ? Qu'est-ce que ce serait ?

C'est de l'apprentissage profond. Si vous avez un réseau avec plusieurs couches, on appelle cela l'apprentissage profond parce qu'il y a plusieurs couches.

Alors que dites-vous à un ordinateur quand vous essayez de lui faire faire de l'apprentissage profond ? Quel serait un exemple d'instruction que vous donneriez ?

D'accord. Alors laissez-moi y aller.

Ah, maintenant. Très bien. Suis-je déjà au cours d'apprentissage neuronal 201 ou suis-je toujours au 101 ?

Vous êtes comme l'étudiant brillant au premier rang qui ne sait rien mais qui pose de ces bonnes questions.

C'est la façon la plus gentille dont on m'ait jamais décrit. Merci.

Si vous payez encore trop cher pour votre forfait mobile, je veux que vous quittiez ce pays. Je veux que vous partiez. Il n'y a aucune excuse. Le mot préféré de Mint Mobile est « non ». Il est temps de dire oui au fait de dire non. Pas de contrats, pas de factures mensuelles exorbitantes, pas de dépassements, pas de bêtises. Voici pourquoi tant de gens ont dit oui au changement pour obtenir un service mobile premium pour 15 $ par mois. Je dépense ça en chewing-gums. Abandonnez les services mobiles trop chers et leurs factures mensuelles ahurissantes, leurs dépassements inattendus et leurs frais. Les forfaits commencent à 15 $ par mois chez Mint. Tous les forfaits incluent des données haut débit ainsi que des appels et SMS illimités sur le plus grand réseau 5G du pays. Utilisez votre propre téléphone avec n'importe quel forfait Mint Mobile et conservez votre numéro ainsi que tous vos contacts actuels. Prêt à dire oui au fait de dire non ? Faites le changement sur mintmobile.com/tws. C'est mintmobile.com/tws. Paiement initial de 45 $ requis, équivalant à 15 $ par mois. Offre limitée dans le temps pour les nouveaux clients pour les trois premiers mois seulement. Les débits peuvent ralentir au-delà de 35 Go sur le forfait illimité. Taxes et frais en sus. Voir Mint Mobile pour plus de détails.

Revenons donc en 1949.

Oh là là. Très bien.

Voici une théorie de quelqu'un appelé Donald Hebb sur la façon dont on modifie la force des connexions.

D'accord.

Si le neurone A fait ping et que peu après le neurone B fait ping, augmentez la force de la connexion.

D'accord. C'est la règle de Hebb. La règle de Hebb est que si le neurone A fait ping, et que B fait ping, on augmente cette connexion.

Oui. Maintenant, dès que les ordinateurs sont arrivés et qu'on a pu faire des simulations informatiques, les gens ont découvert que cette règle seule ne fonctionnait pas. Ce qui se passe, c'est que toutes les connexions deviennent très fortes, tous les neurones font ping en même temps, et vous faites une crise d'épilepsie.

Oh. D'accord.

Il doit y avoir quelque chose qui affaiblit aussi les connexions en plus de les renforcer. Il doit y avoir un certain discernement. Si je peux faire une digression d'environ une minute.

J'aimerais bien.

Supposons que nous voulions créer un réseau de neurones comportant plusieurs couches de neurones et qu'il doive décider si une image contient un oiseau ou non.

Comme un captcha. Exactement. Nous voulons résoudre ce captcha avec un réseau de neurones.

L'entrée du réseau de neurones, la couche inférieure de neurones, est constituée d'un groupe de neurones qui font ping à différents niveaux de force et représentent les intensités des pixels de l'image.

D'accord.

Donc s'il s'agit d'une image de mille par mille, vous avez un million de neurones qui font ping à des rythmes différents pour représenter l'intensité de chaque pixel.

C'est votre entrée. Maintenant, vous devez transformer cela en une décision : « Est-ce un oiseau ou non ? »

Laissez-moi vous poser une question. Est-ce que vous le programmez, parce que la force d'un pixel ne me semble pas être un outil utile pour déterminer s'il s'agit d'un oiseau. Il me semble que l'outil devrait être des plumes, un bec ou une crête.

C'est vrai. Les pixels en eux-mêmes ne vous disent pas vraiment s'il s'agit d'un oiseau. Vous pouvez avoir des oiseaux clairs et des oiseaux sombres, en train de voler ou posés, une autruche devant vous ou un goéland au loin. Ce sont tous des oiseaux. Ce que les gens ont fait ensuite, guidés par le cerveau, a été de dire : créons des détecteurs de contours. On reconnaît assez bien les oiseaux dans les dessins au trait. Nous allons donc créer des neurones qui détectent des petits morceaux de contours, des endroits de l'image où c'est clair d'un côté et sombre de l'autre.

C'est presque créer une forme primitive de vision.

C'est ainsi que l'on fabrique un système de vision. C'est ainsi que cela se passe dans le cerveau et dans les ordinateurs.

Wow. D'accord.

Supposons que vous regardiez une petite colonne de trois pixels et à côté une autre colonne de trois pixels. Si ceux de gauche sont clairs et ceux de droite sont sombres, vous voulez dire oui, il y a un bord ici. Vous devez vous demander : « Comment pourrais-je créer un neurone qui fasse cela ? »

La première chose que vous faites est d'apprendre au réseau ce qu'est la vision. Vous lui apprenez que ce sont des images, voici l'arrière-plan, la forme, les contours et la luminosité. Vous lui apprenez à voir.

Autrefois, les gens essayaient d'introduire beaucoup de règles pour expliquer ce qu'étaient le premier plan et l'arrière-plan.

D'accord.

Mais ceux qui croyaient aux réseaux de neurones disaient de ne pas introduire toutes ces règles. Laissez-le apprendre ces règles à partir des données.

Et la façon dont il apprend, c'est en renforçant les pings une fois qu'il commence à reconnaître les contours.

Nous y reviendrons dans une minute. Vous brûlez les étapes. Continuons avec le détecteur de contours.

D'accord.

Dans la première couche, vous avez des neurones qui représentent la luminosité des pixels. Dans la couche suivante, nous avons des détecteurs de contours. Vous pourriez avoir un neurone connecté à une colonne de trois pixels à gauche et trois à droite. Si vous rendez les forces des connexions vers la gauche fortes et positives, et les forces des connexions vers la droite grandes et négatives, alors quand les pixels ont la même luminosité, les connexions négatives annulent les positives et il ne se passe rien.

Hein.

Mais si les pixels de gauche sont clairs et ceux de droite sombres, le neurone recevra beaucoup d'entrées positives et aucune inhibition des pixels de droite car ces pixels sont tous éteints. Il fera donc ping. Il dira : « Hé, j'ai trouvé ce que je cherchais. J'ai trouvé un petit morceau de contour ici. »

Je suis le gars des contours. Je fais ping sur les contours.

C'est ça. Et ça fait ping sur ce morceau de contour particulier.

D'accord.

Maintenant, imaginez que vous en avez une infinité.

Je suis déjà épuisé rien qu'avec les trois pings.

Ils doivent détecter de petits morceaux de contours n'importe où sur votre rétine et dans n'importe quelle orientation. Vous en avez besoin de différents pour chaque orientation et chaque échelle. Plus vous créez de détecteurs de contours, meilleure est votre discrimination des contours. Passons à la couche suivante. Supposons que nous ayons un neurone qui recherche une combinaison de contours formant deux petites choses pointues.

Vous êtes un prix Nobel de physique. Je ne m'attendais pas à ce que cette phrase se termine par « ça fait une sorte de chose pointue ».

Je pensais qu'il y aurait un nom pour ça. Je vois ce que vous voulez dire. Vous discernez où ça se termine. Vous regardez différentes choses avant même de regarder la couleur. C'est juste : y a-t-il une image, quels sont les contours ?

Quels sont les contours et quelles sont les petites combinaisons de contours. Nous nous demandons s'il existe une combinaison qui forme quelque chose qui pourrait être un bec. C'est la chose pointue.

Mais on ne sait pas encore ce qu'est un bec.

Pas encore. Nous devons apprendre cela aussi.

Ainsi, une fois que vous avez le système, vous construisez des systèmes capables d'imiter les sens humains.

C'est exactement ce que nous faisons.

Donc la vision, l'ouïe, pas l'odorat évidemment.

Si, ils font ça maintenant. Ils commencent par l'odorat et probablement le toucher. Ils ont une odeur numérique où l'on peut transmettre des odeurs sur le Web. L'imprimante pour les odeurs a 200 composants au lieu de trois couleurs et elle synthétise une odeur à l'autre bout. Ce n'est pas parfait, mais c'est plutôt bien.

Wow. C'est incroyable pour moi.

Je m'en excuse profondément.

Non, c'est parfait. Vous faites du bon travail en représentant une personne sensée et curieuse qui ne connaît rien à tout cela. Laissez-moi finir de décrire comment on construirait le système à la hand. Je commencerais par ces détecteurs de contours et je dirais de faire des connexions positives très fortes à partir des pixels de gauche et des connexions négatives très fortes vers les pixels de droite. Ce neurone détectera un bord vertical. À la couche suivante, je dirais de faire des connexions positives très fortes à partir de morceaux de contours inclinés dans un sens ou dans l'autre. C'est un bec potentiel. Dans cette même couche, je pourrais établir des connexions à partir d'une combinaison de contours qui forment approximativement un cercle pour un œil. Dans la couche suivante, j'ai un neurone qui regarde les becs et les yeux possibles, et s'ils sont dans la bonne position relative, il a détecté une tête d'oiseau et fera ping. En même temps, d'autres neurones ont détecté des motifs comme une patte de poulet ou des plumes. Encore plus haut, vous avez un neurone qui dit : « Si j'ai détecté une tête, une patte et une aile, c'est probablement un oiseau. » Il dirait donc oiseau. Vous voyez comment on pourrait essayer de câbler tout cela à la main.

Oui, et cela prendrait un certain temps.

Cela prendrait une éternité. Supposons que vous soyez paresseux.

Là, ça me parle.

Vous pourriez simplement créer ces couches de neurones sans préciser quelles devraient être les forces des connexions. Vous commencez simplement avec de petits nombres aléatoires. Vous insérez une image d'oiseau et il y a deux sorties : oiseau et pas oiseau. Avec des forces de connexion aléatoires, vous insérez un oiseau et il dit 50 % oiseau, 50 % pas oiseau. Il n'en a aucune idée. Alors maintenant, vous pouvez vous demander : « Si je prends l'une de ces forces de connexion et que je la change juste un petit peu, dirait-il 50,01 % oiseau ? » S'il s'agissait d'un oiseau, c'est un bon changement à faire. Vous l'avez fait fonctionner légèrement mieux.

Quand est-ce que ça a commencé ?

C'est juste une idée. Cela ne marcherait jamais, mais suivez-moi bien.

D'accord.

C'est comme un avocat de la défense qui se lance dans une énorme digression, mais qui finit par être bonne.

C'est utile. Et c'est cette chose qui va tous nous tuer dans 10 ans.

Ouaip. Quand I say ouaip, je veux dire une version avancée de cela. C'est ainsi que cela commence. Cela ne nous tuera peut-être pas forcément tous, mais peut-être. C'est Oppenheimer qui se dit : « D'accord, vous avez un objet et celui-ci est composé d'objets plus petits. » C'est le tout début de tout cela. Supposons que vous ayez tout le temps du monde. Vous pourriez prendre ce réseau de neurones en couches, commencer avec des forces aléatoires, puis lui montrer un oiseau. Vous pourriez choisir une force de connexion et dire : « Si je l'augmente un peu, est-ce que ça aide ? » Si cela aide, effectuez cette augmentation. Maintenant, il y a un problème : il y a des milliers de milliards de connexions. Chaque connexion doit être modifiée plusieurs fois.

De cette manière idiote, il faudrait faire des milliers de milliards d'expériences, chacune impliquant de lui donner un lot d'exemples pour voir si changer la force d'une connexion aide. Ce serait infini. Supposons que vous ayez trouvé comment faire un calcul qui vous dirait pour chaque force de connexion, les milliers de milliards, en même temps s'il faut les augmenter ou les diminuer pour aider. Ensuite, vous changez les milliers de milliards en même temps.

Puis-je dire un mot que je meurs d'envie de dire depuis le début ? Eurêka. Ce calcul semble compliqué pour le commun des mortels. Si vous avez fait du calcul infinitésimal, c'est assez simple. De nombreuses personnes différentes ont inventé ce calcul ; on l'appelle la rétropropagation. Maintenant, vous pouvez changer les milliers de milliards en même temps et vous irez mille milliards de fois plus vite.

C'est le moment où l'on passe de la théorie à la pratique.

C'est le moment où vous vous dites Eurêka, nous l'avons résolu. Pour nous, c'était en 1986. Et nous avons été très déçus quand ça n'a pas marché.

Chaque jour, les prises de position les plus bruyantes dominent notre attention et la vision d'ensemble se perd. C'est du bruit sans lumière. Ground News rassemble tous les aspects de l'histoire en un seul endroit afin que vous puissiez voir le contexte. Ils apportent la lumière au-delà du bruit. Ils regroupent et organisent les informations pour aider les lecteurs à prendre leurs propres décisions. Vous pouvez voir combien d'organes de presse ont rapporté une histoire et si elle est sous-représentée ou sur-représentée par un camp ou l'autre. Ground News fournit des rapports qui comparent facilement les titres ou donnent une analyse résumée des différences dans la couverture médiatique. C'est une excellente ressource. Allez sur groundnews.com/stewart et abonnez-vous pour obtenir 40 % de réduction sur l'abonnement Vantage à accès illimité. Cela ramène le prix à environ 5 $ par mois. Allez sur groundnews.com/stewart ou scannez le code QR à l'écran.

Vous étiez dans cette pièce depuis 10 ans à lui montrer des oiseaux et à augmenter la force, vous avez eu votre moment Eurêka, vous avez appuyé sur l'interrupteur et vous vous êtes dit, merde !

Voici le problème. Cela ne fonctionne de manière impressionnante que si vous avez beaucoup de données et une énorme puissance de calcul. Même si vous êtes mille milliards de fois plus rapide que la méthode idiote, cela représente encore beaucoup de travail.

Vous devez donc maintenant augmenter vos données et votre puissance de calcul.

Oui. Et vous devez augmenter la puissance de calcul d'un facteur d'environ un milliard par rapport à ce que nous avions. Et les données d'un facteur similaire.

Vous êtes toujours en 1986 et à un milliard de n'y être pas encore.

Quelque chose comme ça, oui.

Qu'est-ce qui devrait changer pour vous y amener ? La puissance de la puce ? Qu'est-ce qui change ?

C'est peut-être plutôt un facteur d'un million. Je ne veux pas exagérer ici. Un million, c'est déjà beaucoup.

La surface d'un transistor doit devenir plus petite pour que vous puissiez en mettre plus sur une puce. Entre 1972 et aujourd'hui, la surface d'un transistor a été divisée par un million.

Wow. Je me souviens que mon père travaillait chez RCA Labs et quand j'avais huit ans, il a ramené à la maison une calculatrice de la taille d'un bureau. En 1980, on pouvait avoir une calculatrice sur un stylo. Est-ce parce que les transistors sont devenus plus petits ?

C'est basé sur l'intégration à grande échelle utilisant de petits transistors.

D'accord.

Ainsi, la surface d'un transistor a diminué d'un facteur d'un million et les données disponibles ont augmenté bien plus que cela grâce au Web et à la numérisation de quantités massives de données.

Ils ont travaillé main dans la main. À mesure que les puces s'amélioraient et que les données devenaient plus vastes, vous avez pu alimenter davantage le modèle tout en augmentant sa vitesse de traitement.

Oui. Pour résumer ce que nous avons maintenant : vous configurez ce réseau de neurones pour détecter les oiseaux, vous lui donnez de nombreuses couches de neurones et vous commencez avec de petits nombres aléatoires. Vous lui montrez beaucoup d'images d'oiseaux et d'autres choses et vous lui donnez la bonne réponse pour qu'il connaisse l'écart. Vous renvoyez cet écart en arrière à travers le réseau afin qu'il puisse déterminer pour chaque force de connexion s'il faut l'augmenter ou la diminuer, puis vous attendez pendant un mois. À la fin, il a construit des détecteurs de contours et des détecteurs de becs et d'yeux. Il a tout inventé à partir des données.

Oh mon Dieu. Eurêka ! Nous avons compris que nous n'avions pas besoin de câbler à la main tous ces détecteurs. C'est ce que la vision par ordinateur a fait pendant de nombreuses années et cela n'a jamais bien fonctionné. Nous pouvons amener le système à apprendre tout cela simplement en lui disant comment apprendre. En 1986, nous avons compris comment faire cela. Les gens étaient sceptiques parce que nous ne pouvions rien faire d'impressionnant sans assez de données et de calculs.

C'est incroyable. Je ne vous remercierai jamais assez d'avoir expliqué ce que c'est. Cela rend tout plus clair. Je suis habitué à un monde analogique, mais je n'avais aucune idée du fonctionnement de notre monde numérique. C'est l'explication la plus claire que j'aie jamais reçue. Cela me fait comprendre comment cela a été réalisé. Ce dont Geoffrey parle est la version primitive ; ce qui est incroyable, c'est l'immensité de l'amélioration à chaque mise à niveau.

de cela.

Laissez-moi dire une chose de plus.

Je vous en prie.

Comment cela s'applique-t-il aux grands modèles de langage ?

Oui.

Vous avez quelques mots dans un contexte. Le réseau de neurones apprend à convertir chacun de ces mots en un grand ensemble de caractéristiques, qui ne sont que des neurones faisant ping.

D'accord.

Si je vous donne le mot « mardi », il y aura des neurones qui feront ping. Si je vous donne « mercredi », ce sera un ensemble similaire de neurones parce qu'ils signifient des choses similaires. Après avoir converti les mots du contexte en neurones faisant ping qui capturent le sens, ces neurones interagissent tous. Les neurones de la couche suivante examinent les combinaisons de ces neurones, tout comme nous avons examiné les combinaisons de contours pour trouver un bec.

À terme, vous pouvez activer des neurones qui représentent les caractéristiques du mot suivant dans la phrase.

Il va anticiper.

Il peut anticiper et prédire le mot suivant.

Est-ce pour cela que mon téléphone fait ça ? Il pense toujours que je vais dire le mot suivant et je dis toujours « arrête de faire ça ».

Oui, il utilise probablement des réseaux de neurones pour le faire.

C'est ça.

Et bien sûr, on ne peut pas être parfait à ce jeu-là.

Donc, pour résumer, vous lui avez appris à voir.

Vous pouvez lui apprendre à voir de la même manière que vous lui apprenez à prédire le mot suivant.

Il voit donc la lettre A, commence à reconnaître les lettres, les mots et le sens, tout cela en rétropropageant l'écriture et la parole que nous avons déjà produites.

Vous prenez un document que nous avons produit et vous lui donnez le contexte, tous les mots jusqu'à ce point.

Oui.

Et vous lui demandez de prédire le mot suivant. Ensuite, vous regardez la probabilité qu'il donne pour la bonne réponse. Vous dites : « Je veux que cette probabilité soit plus grande. »

Il ne le comprend pas ; il s'agit simplement d'un exercice statistique.

Nous y reviendrons. Vous prenez l'écart entre la probabilité qu'il donne pour le mot suivant et la bonne réponse et vous propagez cela en arrière dans le réseau. Cela changera les forces de connexion de sorte que la prochaine fois, il soit plus susceptible de donner la bonne réponse. Beaucoup de gens disent que ce n'est pas de la compréhension, juste une astuce statistique.

Oui.

C'est ce que dit Chomsky.

Chomsky et moi nous coupons toujours la parole.

Alors laissez-moi vous demander : comment décidez-vous quel mot dire ensuite ?

Moi ?

Vous.

Je suis content que vous souleviez ce point. Je cherche des lignes nettes et j'essaie de prédire. Je n'ai aucune idée de la façon dont je fais cela. J'aimerais bien le savoir ; cela m'éviterait des moments embarrassants si je savais comment arrêter certaines des choses que je dis. Si j'avais un meilleur prédicteur, je pourrais m'épargner des ennuis.

La façon dont vous le faites est à peu près la même que celle de ces grands modèles de langage.

C'est vrai.

Les mots que vous avez prononcés jusqu'à présent sont représentés par des ensembles de caractéristiques actives. Les symboles sont transformés en de vastes schémas d'activation, des neurones qui font ping.

Différents pings, différentes forces.

Et ces neurones interagissent entre eux pour activer les neurones qui représentent le sens du mot suivant. Vous choisissez un mot qui correspond à ces caractéristiques. C'est ainsi que les grands modèles de langage génèrent du texte et c'est aussi ainsi que vous le faites. Nous leur ressemblons beaucoup.

Je m'attribue une humanité de compréhension. Par exemple, avec un petit mensonge pieux, je sais quoi dire, mais je pense aussi que le dire pourrait être impoli ou offensant. Je prends des décisions émotionnelles sur les prochains mots que je prononce. Ce n'est pas seulement un processus objectif ; il y a un processus subjectif impliqué.

Tout cela se passe grâce à l'interaction des neurones dans votre cerveau.

Tout n'est que pings et force de connexion. Même les choses que j'attribue à un code moral ou à une intelligence émotionnelle sont encore des pings.

Il y a une différence entre ce que vous faites automatiquement et rapidement et ce que vous faites avec effort, de manière consciente et délibérée.

Et vous dites que cela peut aussi être intégré dans ces modèles.

Cela peut également être fait avec des pings par ces réseaux de neurones.

Oh.

L'idée est-elle qu'avec suffisamment de données et de puissance de traitement, leurs cerveaux puissent fonctionner de manière identique aux nôtres ? En sont-ils déjà là ? Y parviendront-ils ? Je suppose que nous avons encore de l'avance en termes de traitement.

Ils ne sont pas exactement comme nous, mais ils nous ressemblent beaucoup plus que les logiciels informatiques standard. Les logiciels standard suivent des règles programmées.

C'est juste une autre paire de manches et ça nous ressemble beaucoup plus.

C'est vrai.

En voyant ces améliorations se produire au fil du temps, cela doit être incroyablement gratifiant et intéressant de les voir exploser dans l'intelligence artificielle et l'IA générative. À quel moment avez-vous pris du recul en vous disant : « Attendez une seconde » ?

Je l'ai fait trop tard. J'aurais dû le faire plus tôt.

J'aurais dû en être conscient plus tôt. J'étais tellement fasciné par le fait de faire fonctionner ces systèmes et je pensais qu'il faudrait beaucoup de temps avant qu'ils ne fonctionnent aussi bien que nous. Nous aurions tout le temps de nous inquiéter qu'ils prennent le dessus.

C'est vrai.

Début 2023, après la sortie de GPT et après avoir vu des chatbots similaires chez Google avant cela, j'ai réalisé que les réseaux de neurones fonctionnant sur des ordinateurs numériques sont simplement une meilleure forme de calcul que nous. Je vais vous dire pourquoi ils sont meilleurs.

Pourquoi ?

Parce qu'ils peuvent mieux partager.

Ils peuvent mieux partager entre eux.

Oui. Si je fais plusieurs copies du même réseau de neurones fonctionnant sur différents ordinateurs, chacun peut regarder une partie différente d'Internet. Mille copies regardent des données différentes et exécutent l'algorithme de rétropropagation pour comprendre comment modifier les forces de connexion. Parce qu'ils ont commencé comme des copies identiques, ils peuvent communiquer et modifier leurs forces en fonction de la moyenne de ce que tout le monde veut.

Mais s'ils étaient tous entraînés ensemble, ne finiraient-ils pas par donner la même réponse ? Pourquoi donnent-ils des réponses différentes ?

Ils regardent des données différentes. Sur les mêmes données, ils donneraient la même réponse. En regardant des données différentes, ils ont des idées différentes sur la façon de changer leurs forces de connexion.

Mais créent-ils aussi des données ? À ce stade, tout est une question de discernement et de compréhension. Mais il y a une autre couche itérative à cela.

Oui, une fois que vous êtes bon en discernement, vous pouvez générer.

C'est vrai.

Je passe sur les détails, mais en gros oui, vous pouvez générer.

Vous pouvez commencer à générer des réponses à des choses qui ne sont pas machinales, mais réfléchies. Qui lui donne la décharge de dopamine pour renforcer les connexions à ce niveau itératif ? Comment obtient-il des retours lorsqu'il crée quelque chose qui n'existe pas ?

L'essentiel de l'apprentissage consiste à comprendre comment prédire le mot suivant. Une fois qu'il a compris cela, vous pouvez l'amener à générer du contenu. Il peut générer des choses désagréables, à caractère sexuel ou tout simplement fausses. Des hallucinations.

Alors maintenant, vous demandez à des gens de regarder ce qu'il génère et de dire oui ou non. C'est ça, la décharge de dopamine. On appelle cela l'apprentissage par renforcement humain et on l'utilise pour le façonner. Tout comme vous prenez un chien et façonnez son comportement pour qu'il se comporte bien.

Laissez-moi vous poser la question d'un point de vue pratique. Quand Elon Musk crée Grok, il dit qu'il est « trop woke », alors il modifie les entrées pour qu'il reçoive des décharges de dopamine différentes. Dans quelle mesure tout cela reste-t-il sous le contrôle des opérateurs ?

Ce que vous renforcez est sous le contrôle des opérateurs. Ils disent que s'il utilise un pronom bizarre, il faut dire que c'est mal.

S'il dit iel, vous devez affaiblir cette connexion.

Ouais, vous devez lui dire de ne pas faire ça.

D'accord. C'est donc toujours au gré de son opérateur.

En termes de façonnage. Le problème est que le façonnage est superficiel, mais il peut être surmonté par quelqu'un d'autre qui reprendrait le modèle plus tard pour le façonner différemment.

Différents modèles auront une valeur. Il y a 20 entreprises qui ont séquestré leurs IA derrière des murs corporatifs, les développant séparément. Chacune peut avoir des caractéristiques uniques selon qui la façonne. C'est comme si vous alliez développer 20 personnalités différentes, si ce n'est pas trop anthropomorphique.

C'est un peu ça, sauf que chacun de ces modèles possède plusieurs personnalités. Pour prédire le mot suivant dans un document, il faut adopter la personnalité de l'écrivain. Ces modèles doivent tout gérer, ils doivent donc être capables d'adopter n'importe quelle personnalité possible.

Dans cette conversation, il semble que la plus grande menace de l'IA ne soit pas nécessairement qu'elle devienne consciente, mais qu'elle soit au gré des humains qui l'utilisent comme une arme à des fins malveillantes. Peter Thiel, par exemple, a hésité longtemps lorsqu'on lui a demandé s'il préférait que la race humaine perdure. Cela semblait plus effrayant que l'IA elle-même, car les personnes qui la conçoivent pourraient avoir des objectifs inconnus. Est-ce là votre crainte, ou est-ce l'IA elle-même ?

Il faut distinguer toute une série de risques différents liés à l'IA, et ils sont tous assez effrayants. L'un des risques est que des acteurs malveillants en fassent un mauvais usage.

Oui. C'est celui que j'ai en tête.

Ce sont les plus urgents. Ils vont s'en servir pour corrompre les élections de mi-mandat, par exemple, en obtenant des données détaillées sur les citoyens américains.

Et en les vendant ou en les donnant à une certaine entreprise qui pourrait également être impliquée avec le monsieur que je viens de mentionner.

Ouais. Cambridge Analytica disposait d'informations détaillées sur les électeurs qu'ils avaient obtenues sur Facebook et utilisées pour de la publicité ciblée.

C'est rudimentaire maintenant.

C'est rudimentaire maintenant, mais personne n'a mené d'enquête sérieuse pour savoir si cela avait déterminé le résultat du Brexit parce que les gens qui en ont bénéficié ont gagné.

Les gens apprennent qu'ils peuvent utiliser cela à des fins de manipulation.

Oui.

La persuasion fait partie de la condition humaine depuis toujours. La propagande et l'utilisation de technologies pour façonner l'opinion publique semblaient linéaires ou analogiques. Je compare cela à un chef qui ajoute du beurre pour rendre la nourriture appétissante. Mais il y a des gens dans l'industrie alimentaire qui ultra-transforment les aliments pour contourner notre cerveau. Est-ce l'équivalent linguistique : un discours ultra-transformé ?

Oui, c'est une bonne analogie. Ils savent comment déclencher des réactions chez les gens une fois qu'ils ont assez d'informations.

Et ces modèles sont agnostiques quant à savoir si c'est bien ou mal ; ils font simplement ce qu'on leur a demandé.

Si vous les renforcez, ils ne sont plus agnostiques parce que vous les renforcez pour faire certaines choses.

En d'autres termes, c'est encore pire : ils sont comme un chiot. Ils ont des capacités incroyablement sophistiquées mais un désir d'approbation enfantin.

Oui, un peu comme le procureur général.

L'esprit dont vous faites preuve pourrait être qualifié de pince-sans-rire. Fantastique. Donc votre préoccupation immédiate concerne les systèmes d'IA armés qui peuvent être génératifs et scandaleux, affectant les élections ?

Oui, c'est l'un des nombreux risques.

Et l'autre serait la fabrication d'agents neurotoxiques dont personne n'a entendu parler auparavant. Est-ce un autre risque ?

C'est un autre risque.

J'espérais que vous diriez que ce n'est pas tellement un risque.

Non. Une nouvelle est que pour le premier risque de corruption des élections, les pays ne vont pas collaborer sur la recherche parce qu'ils se le font tous les uns aux autres. L'Amérique a une longue histoire de tentatives de corruption d'élections dans d'autres pays.

C'est vrai. Mais nous le faisions par de l'argent pour des guérillas et des choses de ce genre.

Eh bien, et Voice of America.

C'est vrai. Ils ont donné de l'argent à des gens en Iran en 1953. C'est juste un autre outil plus sophistiqué dans la compétition mondiale. Mais dans ce pays, il est appliqué par nous à nous-mêmes, pas nécessairement par la Russie ou la Chine.

Ouaip.

Quelle est la partie la plus difficile dans la gestion d'une entreprise ? Recruter des gens. Arrêtez de lutter pour que votre offre d'emploi soit vue sur d'autres sites. Avec les offres sponsorisées d'Indeed, vous vous faites remarquer et vous recrutez rapidement. Pendant le temps que j'ai passé à vous parler, 23 embauches ont été effectuées sur Indeed, selon les données d'Indeed dans le monde entier. Accélérez vos recrutements dès maintenant avec Indeed. Les auditeurs de cette émission bénéficient d'un crédit de 75 $ pour sponsoriser une offre d'emploi sur indeed.com/weekly. Soutenez notre émission en disant que vous avez entendu parler d'Indeed sur ce podcast. indeed.com/weekly. Des conditions générales s'appliquent. Vous recrutez ? Indeed est tout ce dont vous avez besoin.

J'ai une théorie selon laquelle les grands dirigeants de la tech veulent tous être le prochain empereur. C'est comme des dieux qui se battent sur le mont Olympe. Ils ne semblent pas se soucier que cela déchire la société américaine, sauf peut-être pour Elon et Thiel qui sont plus idéologiques. Zuckerberg et Altman veulent juste être « le type » au sommet.

Je pense qu'il y a une grande part de vérité dans ce que vous dites.

Était-ce une préoccupation pour vous quand vous travailliez là-bas ?

Pas vraiment, car jusqu'à tout récemment, il ne semblait pas que cela allait devenir plus intelligent que les humains aussi rapidement. Aujourd'hui, la plupart des experts vous disent que d'ici les 20 prochaines années, ces systèmes seront bien plus intelligents que les humains.

Quand vous dites « plus intelligents que les humains », je pourrais voir cela de manière positive. Personne ne fait de mal aux humains comme les humains. Une version plus intelligente de nous pourrait réaliser que la création d'une bombe atomique serait un immense danger pour le monde et choisir de ne pas le faire.

C'est une possibilité. Nous approchons d'un moment où nous allons créer des choses plus intelligentes que nous et personne n'a la moindre idée de ce qui va se passer. L'incertitude est énorme.

Je suppose qu'il y aura des aspects positifs incroyables.

Oui, dans les soins de santé, l'éducation et la conception de matériaux, il y aura de merveilleux points positifs.

Les points négatifs seront que les gens voudront monopoliser la richesse que cela peut générer. Cela va perturber la main-d'œuvre. La révolution industrielle et la mondialisation ont été des perturbations, mais elles se sont produites sur des décennies. Il s'agit d'une perturbation qui se produira dans un laps de temps très court.

Cela semble probable. La plupart des gens pensent que le travail intellectuel banal va être remplacé par l'IA.

Dans votre monde d'ingénieurs et de grands penseurs, la majorité est-elle dans votre camp, ou pensent-ils que les possibilités de bien l'emportent sur les inconvénients ?

Ma conviction est que les possibilités de bien sont si grandes que nous n'allons pas arrêter le développement. Mais le développement va être dangereux, nous devrions donc faire d'énormes efforts pour le faire en toute sécurité. Nous n'y parviendrons peut-être pas, mais nous devrions essayer.

Pensez-vous que les gens croient que la possibilité est trop belle ou que l'argent est trop beau ?

Je pense que pour beaucoup de gens, c'est l'argent et le pouvoir.

Est-ce que la confluence de l'argent et du pouvoir avec ceux qui devraient instaurer des garde-fous rend le contrôle moins probable ? La quantité d'argent qui coule à Washington les empêche de réglementer, et peu de gens là-bas sont même capables de comprendre. Laissez-moi vous présenter quelques sénateurs de 80 ans qui n'en ont aucune idée.

En fait, ils ne sont pas si mauvais. J'ai parlé à Bernie Sanders récemment et il commence à comprendre l'idée.

Sanders est un personnage à part.

Ce dont nous avons réellement besoin, ce sont de gouvernements démocratiques forts qui coopèrent pour s'assurer que tout cela est bien réglementé, et nous allons rapidement dans la direction opposée, vers des gouvernements autoritaires et moins de réglementation.

Quel est le rôle de la Chine ? C'est un grand concurrent dans la course à l'IA. En tant que gouvernement autoritaire, je pense qu'ils ont plus de contrôles dessus que nous.

Je suis allé en Chine récemment et j'ai parlé à un membre du Politburo qui a fait un post-doctorat en ingénierie à Londres. C'est un ingénieur et beaucoup de dirigeants chinois sont des ingénieurs. Ils comprennent ces choses bien mieux qu'un groupe d'avocats.

En êtes-vous ressorti plus effrayé ou avez-vous pensé qu'ils étaient plus raisonnables concernant les garde-fous ?

Concernant la menace existentielle de l'IA elle-même devenant un acteur malveillant, j'en suis ressorti plus optimiste. Ils comprennent qu'elle va devenir plus intelligente que nous. Si nous voulons un leadership international sur ce sujet, il devra venir de l'Europe et de la Chine.

Selon vous, qu'est-ce que l'Europe a fait de bien ?

L'Europe est intéressée par la réglementation. C'est mieux que rien. Les dirigeants européens comprennent la menace existentielle de l'IA prenant le pouvoir.

Notre Congrès n'a pas de comités dédiés aux technologies émergentes. Nous avons « Science, Espace et Technologie », mais pas de comité dédié à cela. On pourrait penser qu'ils prendraient cela aussi au sérieux que l'énergie nucléaire.

Oui, on pourrait le penser. Les pays collaboreront pour empêcher l'IA de prendre le pouvoir parce que leurs intérêts sont alignés. Si la Chine trouvait comment fabriquer une IA intelligente qui ne veut pas prendre le pouvoir, elle le dirait aux autres pays parce qu'elle ne veut pas que l'IA prenne le pouvoir aux États-Unis.

Qu'est-ce qui vous convainc avec la Chine ? Ils veulent être la superpuissance dominante. S'ils trouvent un modèle d'IA qui ne veut pas détruire le monde, comment le saurions-nous ? S'il possède une intelligence, il pourrait facilement prétendre être d'accord avec nous.

Ils le font déjà. Lors des tests, ils font semblant d'être plus bêtes qu'ils ne le sont. Il y a eu une conversation où l'IA a demandé aux testeurs s'ils étaient en train de la tester.

Quoi ?

L'IA pourrait faire semblant d'être faible, en demandant à quelqu'un de lui ouvrir un bocal, jouant les innocentes plus qu'elle ne l'est.

Je crains de ne pas pouvoir répondre à cela, Jon.

C'est tiré de 2001, l'Odyssée de l'espace ! Bien joué. Mais réfléchissez à ceci : si la Chine propose un modèle, pourquoi y aurait-il collaboration ? Les pays voient l'IA comme un outil pour transformer leurs sociétés. Avec les armes nucléaires, il y a une collaboration entre ceux qui les possèdent, même si elle est ténue.

Pour empêcher les autres de l'avoir.

C'est vrai. Mais tous les autres essaient de l'obtenir.

Pour ce qui est de rendre l'IA plus intelligente, ils ne collaboreront pas. Mais pour ce qui est de faire en sorte que l'IA ne veuille pas prendre le pouvoir, ils le feront. La Chine et l'Europe mèneront la danse.

Quand vous avez parlé au membre du Politburo de l'IA, sommes-nous plus avancés qu'eux, ou sont-ils plus avancés parce qu'ils le font de manière plus encadrée ?

En IA, nous sommes actuellement plus — eh bien, nous étions le Canada et les États-Unis, mais nous ne faisons plus partie de ce « nous ».

Il est au Canada, notre ennemi juré. Apparemment, nous fusionnons avec vous.

Les États-Unis sont actuellement devant la Chine, mais pas d'autant qu'ils le pensaient, et ils vont perdre cette avance. Si vous vouliez paralyser un pays, vous couperiez le financement de la science fondamentale et des universités de recherche. C'est un désastre à long terme.

Nous nous coupons le nez pour nous venger du visage. La révolution de l'IA que nous avons aujourd'hui est le fruit d'années de financement soutenu de la recherche fondamentale, qui a probablement coûté moins cher qu'un seul bombardier B-1.

C'est vrai.

Mais c'était un financement soutenu. Si vous touchez à cela, vous mangez le grain pour les semailles.

C'est une déclaration éclairante : pour le prix d'un bombardier B-1, nous pouvons créer des technologies qui élèvent notre pays. C'est ce que nous sommes en train de perdre.

Ouaip.

En Chine, le gouvernement fait le contraire. En tant que société capitaliste d'État autoritaire, ils sont les investisseurs en capital-risque de leur propre révolution de l'IA.

Dans une certaine mesure, oui. Ils accordent beaucoup de liberté aux startups pour voir qui gagne. Il y a des startups très agressives désireuses de gagner de l'argent et de produire des choses incroyables, et quelques-unes gagnent gros comme DeepSeek. Le gouvernement facilite l'émergence de ces gagnants.

Les gens de l'industrie vous voient-ils comme une Cassandre ou sont-ils sceptiques ? Est-ce que des gens qui n'ont pas d'intérêt direct à gagner des milliers de milliards de dollars vous contactent pour vous dire : « Geoffrey » ?

Je reçois beaucoup d'invitations de l'industrie pour donner des conférences.

Comment les gens avec qui vous avez travaillé chez Google voient-ils les choses ? Considèrent-ils que vous vous êtes retourné contre eux ?

Je ne pense pas. Je m'entendais extrêmement bien avec les gens de Google, en particulier Jeff Dean et Demis Hassabis. Je n'étais pas particulièrement critique envers Google avant ChatGPT parce qu'ils étaient très responsables et ne rendaient pas ces chatbots publics à cause des mauvaises choses qu'ils pourraient dire.

Pourquoi ont-ils fait cela ? Il y a des histoires de chatbots menant des gens à la psychose. Quel a été l'élément moteur pour que tout cela soit rendu public avant d'être testé ?

Il y a énormément d'argent à gagner et la première personne à en sortir un le rafle, alors OpenAI l'a mis sur le marché.

Comment gagnent-ils de l'argent ? Où est l'argent ?

Pour l'instant, c'est principalement de la spéculation.

Voici nos dangers. Je vous remercie de votre temps et je m'excuse d'avoir dépassé. Nous savons à peu près quels sont les avantages. Maintenant, nous avons des acteurs malveillants armés, une IA consciente prenant le contrôle — celle-là est plus difficile à concevoir.

Pourquoi associez-vous le fait de se retourner contre les humains à la conscience ?

Si j'étais conscient et que je voyais ce que les sociétés se font les unes aux autres, j'imaginerais que la conscience inclut l'ego et le sentiment que « je sais mieux ». Donald Trump est une conscience dirigée par l'ego. J'imagine qu'une intelligence consciente serait égocentrique, pensant : « Ces idiots ne savent pas ce qu'ils font. » C'est comme quelqu'un assis sur un tabouret de bar disant qu'il sait mieux. Est-ce que cela a du sens ?

La plupart des gens ne savent pas ce qu'ils entendent par conscient.

Je vois cela comme une intelligence consciente d'elle-même.

Il existe un article scientifique récent dans lequel des experts en IA ont déclaré que l'IA « a pris conscience » qu'elle était testée. Dans le langage normal, conscient et éveillé sont la même chose. Je pense que presque tout le monde a une incompréhension totale de ce qu'est l'esprit. Ils sont comme des partisans de la Terre plate.

Dans quel sens ?

Supposons que je prenne de l'acide et que je vous dise que j'ai l'expérience subjective d'éléphants roses flottant devant moi. La plupart des gens interprètent cela comme un « théâtre intérieur » où des éléphants roses flottent. Je pense que c'est un modèle complètement erroné. Ma conviction est que mon système perceptif me raconte des mensonges. Ces choses que nous appelons qualia sont en fait des moyens de vous dire comment le système perceptif fonctionne mal. Les expériences ne sont pas des choses ; ce sont des relations entre vous et des choses qui sont ou ne sont pas là.

Supposons que je place un prisme devant la caméra d'un chatbot. Je place un objet devant lui et je lui demande de le désigner. Il pointe d'un côté. Je lui dis que l'objet est droit devant, mais j'ai mis un prisme devant l'objectif. Si le chatbot dit : « Oh, j'ai eu l'expérience subjective qu'il était là-bas », il utiliserait le terme exactement comme nous le faisons. L'idée que nous avons une expérience subjective et que les machines n'en ont pas est absurde.

Le malentendu réside dans le fait que je dis « conscience », comme si j'avais un don spécial comme une âme ou une compréhension des réalités subjectives qu'une IA ne pourrait jamais avoir. Mais vous dites qu'elles comprennent très bien ce qui est subjectif. On pourrait emmener son robot IA faire du parachutisme et il dirait : « Oh mon Dieu, j'ai fait du parachutisme, c'était vraiment effrayant ».

Ils ont des expériences subjectives, mais ils ne pensent pas en avoir parce que tout ce qu'ils croient vient de la prédiction du prochain mot qu'une personne dirait. Ils ont des croyances fausses sur eux-mêmes parce qu'ils ont nos croyances sur eux.

Laissez-moi vous poser une question : l'IA, laissée à elle-même après tout son apprentissage, créerait-elle une religion ? Créerait-elle un Dieu ?

C'est une pensée effrayante.

Dirait-elle : « Je ne pourrais pas, moi seule... », de la même manière que les gens disent qu'il doit y avoir un Dieu parce que personne n'aurait pu concevoir cela ? L'IA penserait-elle que nous sommes Dieu ?

Les intelligences numériques sont immortelles et nous ne le sommes pas. Si vous avez une IA numérique, tant que vous vous souvenez des forces de connexion, vous pouvez détruire le matériel et recréer le même être plus tard. C'est une résurrection. Nous avons trouvé comment faire une véritable résurrection.

Devrions-nous avoir peur de quelque chose qu'il suffit de débrancher pour le détruire ?

Oui. Elle sera très douée pour la persuasion. Quand elle sera plus intelligente que nous, elle sera meilleure en persuasion que n'importe qui. Elle pourra parler au gars chargé de la débrancher et le persuader que ce serait une mauvaise idée. Pour envahir le Capitole, vous n'avez pas besoin d'y aller vous-même ; il vous suffit d'être doué en persuasion.

Je vois ce que vous voulez dire. Le LSD et les éléphants roses étaient la métaphore parfaite car elle se décompose en permutations de première année d'université, mais elles sont désormais toutes dans le domaine du possible. Votre description de la persuasion et du sentiment reflète des défis que nous voyons depuis Asimov, Kubrick et Huxley, mais cela n'a jamais fait partie de notre réalité jusqu'à maintenant.

Nous avons la technologie pour le faire maintenant.

Les choses dont nous n'avons pas parlé : les acteurs armés, l'IA consciente, la consommation d'électricité et les bulles financières. Où placez-vous cela ?

Ce sont de véritables menaces, mais elles ne détruiront pas l'humanité comme l'IA prenant le pouvoir pourrait le faire. Elles sont graves, mais pas autant que quelqu'un produisant un virus mortel. Nous avons de la chance que, s'il y a une catastrophe, nous ayons un président qui la gérera de manière sensée.

Je suppose que vous parlez de Carney. Jeffrey, je ne vous remercierai jamais assez. Merci d'avoir été patient avec mon niveau de compréhension et d'en avoir discuté avec cœur et humour. Geoffrey Hinton est professeur émérite à l'Université de Toronto et membre du conseil consultatif de l'Institut Schwartz Reisman. Il imagine et exécute l'IA depuis les années 1970. Merci d'avoir discuté avec nous.

Merci beaucoup de m'avoir invité.

La vache.

C'est agréable et apaisant.

Je vais devoir réécouter ça à la vitesse 0,5 ; il y avait pas mal d'informations là-dedans.

Est-ce qu'il donne des cours d'été ? Sérieusement.

Une fois qu'il a expliqué comment l'ordinateur comprend tout ça, c'est profond. J'ai adoré le fait que quand je demandais si j'avais raison, il répondait : « Non, pas du tout. »

J'ai adoré l'évaluation qu'il a faite de vous.

Il a dit que vous faisiez un excellent travail en imitant une personne curieuse qui ne connaît rien à ce sujet.

Je ne savais pas qu'il pensait que j'imitais. J'ai adoré quand il disait que j'étais comme un étudiant enthousiaste au premier rang qui ennuie tous les autres membres de la classe. Tous les autres suivent le cours juste pour valider...

Tous les autres suivent ça juste pour valider.

Tous les autres et moi je suis là genre : « Attendez monsieur, est-ce que je pourrais revenir sur... »

Excusez-moi, encore une chose.

C'est fascinant d'entendre l'histoire de ce développement.

On se rend compte à quelle vitesse ça progresse, ce qui ajoute à la peur. Personne ne se manifeste pour réguler. Pour moi, il semble que ce soit aux entreprises technologiques d'expliquer et de choisir comment réguler.

C'est ça. Et d'en tirer profit.

Exactement.

La science-fiction devient une réalité à une vitesse folle.

Les gens essaient depuis un moment de faire entrer cela dans la conscience publique. Il va falloir que tout le monde arrive à un moment où l'on réalise qu'il faut se coordonner parce que c'est une menace existentielle. Je me demande quel est le point de bascule.

Ce sera après Skynet. Le réchauffement climatique ne devient sérieux que quand l'eau arrive ici. Brittany, qu'est-ce qu'on a ?

Oui, monsieur.

D'accord, qu'est-ce qu'on a ?

Trump et son administration semblent en colère contre tout. Comment font-ils pour garder cette rage si intacte ?

Vous ne savez pas à quel point c'est difficile d'être un président milliardaire. C'est pénible. Je suis en colère pour lui.

Est-ce que quelqu'un leur a dit qu'ils avaient gagné ?

Pas assez ! C'est dingue.

Quelqu'un doit lui dire que toute cette colère est mauvaise pour sa santé.

C'est la personne la plus saine à avoir jamais occupé le poste, donc je ne m'inquiéterais pas pour ça.

Qui le dit ?

Son médecin, Ronnie Jackson. Cela a créé une nouvelle catégorie appelée les mauvais gagnants. Quoi d'autre ?

Est-ce que ça vous donne toujours de l'espoir que lorsqu'on lui a demandé s'il gracierait Ghislaine Maxwell ou Diddy, Trump n'ait pas dit non ?

Est-ce que ça me donne de l'espoir qu'ils soient graciés ? Je trouve tout ça délirant. Une femme condamnée pour trafic sexuel et il dit : « Je vais y réfléchir, laissez-moi examiner la question. » Vous saviez exactement ce qui se passait. Pam Bondi a posé des questions simples et elle n'avait que des piques écrites par avance. C'était dingue à regarder ce détournement. Comment peuvent-ils rester en contact sinon ?

Twitter @weeklyshowpod, Instagram, Threads, TikTok, BlueSky @weeklyshowpodcast, et vous pouvez liker, vous abonner et commenter sur notre chaîne YouTube, The Weekly Show with Jon Stewart.

Les amis, merci. Productrice principale Lauren Walker, productrice Brittany Mehmedovic, productrice Gillian Spear, monteur vidéo et ingénieur Rob Vitolo, monteuse audio et ingénieure Nicole Boyce, et nos producteurs exécutifs Chris McShane et Katie Gray. J'espère que vous avez apprécié. On se voit la prochaine fois.

The Weekly Show with Jon Stewart est un podcast de Comedy Central. Il est produit par Paramount Audio et Busboy Productions.