Je vois le danger de cette concentration de pouvoir dans des systèmes d'IA propriétaires comme un danger bien plus grand que tout le reste. Ce qui va à l'encontre de cela, ce sont les personnes qui pensent que pour des raisons de sécurité, nous devrions garder les systèmes d'IA sous clé parce qu'il est trop dangereux de les mettre entre les mains de tout le monde. Cela mènerait à un avenir très sombre dans lequel tout notre régime d'information serait contrôlé par un petit nombre d'entreprises dotées de systèmes propriétaires.

Je crois que les gens sont fondamentalement bons et donc si l'IA, surtout l'IA open source, peut les rendre plus intelligents, cela ne fait que renforcer la bonté chez les humains.

Je partage donc ce sentiment. Je pense que les gens sont fondamentalement bons. Et en fait, beaucoup de 'doomers' le sont parce qu'ils ne pensent pas que les gens soient fondamentalement bons.

Ce qui suit est une conversation avec Yann LeCun, sa troisième fois dans ce podcast. Il est le scientifique en chef de l'IA chez Meta, professeur à NYU, lauréat du prix Turing et l'une des figures séminales de l'histoire de l'intelligence artificielle. Lui et Meta AI ont été de fervents défenseurs de l'open source pour le développement de l'IA et ont joint l'acte à la parole en ouvrant bon nombre de leurs plus grands modèles, notamment Llama 2 et éventuellement Llama 3. De plus, Yann a été un critique virulent de ceux qui, dans la communauté de l'IA, mettent en garde contre le danger imminent et la menace existentielle de l'AGI. Il pense que l'AGI sera créée un jour, mais qu'elle sera bénéfique. Elle n'échappera pas au contrôle humain et ne dominera ni ne tuera tous les humains. En ce moment de développement rapide de l'IA, c'est une position quelque peu controversée. Et donc, c'est un plaisir de voir Yann s'engager dans de nombreuses discussions intenses et fascinantes en ligne, comme nous le faisons dans cette conversation même. C'est le Lex Fridman Podcast. Pour le soutenir, veuillez consulter nos sponsors dans la description. Et maintenant, chers amis, voici Yann LeCun.

Vous avez fait des déclarations fortes, des déclarations techniques sur l'avenir de l'intelligence artificielle récemment, tout au long de votre carrière, mais récemment aussi. Vous avez dit que les LLM auto-régressifs sont condamnés. Ce n'est pas ainsi que nous allons progresser vers une intelligence surhumaine. Ce sont les grands modèles de langage comme GPT-4, Llama 2 et 3, et ainsi de suite. Comment fonctionnent-ils et pourquoi ne vont-ils pas nous mener jusqu'au bout ?

Pour plusieurs raisons. La première est qu'il existe un certain nombre de caractéristiques du comportement intelligent. Par exemple, la capacité de comprendre le monde physique, la capacité de se souvenir et de retrouver des choses, la mémoire persistante, la capacité de raisonner et la capacité de planifier. Ce sont quatre caractéristiques essentielles des systèmes ou entités intelligents, des humains et des animaux. Les LLM ne peuvent en faire aucune, ou ils ne peuvent les faire que de manière très primitive. Ils ne comprennent pas vraiment le monde physique, ils n'ont pas vraiment de mémoire persistante, ils ne peuvent pas vraiment raisonner et ils ne peuvent certainement pas planifier. Si vous vous attendez à ce qu'un système devienne intelligent sans avoir la possibilité de faire ces choses, vous faites une erreur. Cela ne veut pas dire que les LLM auto-régressifs ne sont pas utiles. Ils sont certainement utiles, ce n'est pas qu'ils ne sont pas intéressants ou que nous ne pouvons pas construire tout un écosystème d'applications autour d'eux. Bien sûr que nous le pouvons, mais en tant que voie vers une intelligence de niveau humain, il leur manque des composants essentiels. Et puis il y a un autre fait que je trouve très intéressant. Ces LLM sont entraînés sur d'énormes quantités de texte, essentiellement la quasi-totalité des textes accessibles au public sur Internet. C'est typiquement de l'ordre de 10 à la puissance 13 tokens. Chaque token fait typiquement deux octets, soit 2 fois 10 à la puissance 13 octets de données d'entraînement. Il vous faudrait, à vous ou à moi, 170 000 ans pour lire tout cela à raison de 8 heures par jour. Il semble donc que ce soit une quantité énorme de connaissances que ces systèmes peuvent accumuler. Mais ensuite, on réalise que ce n'est pas vraiment tant de données que cela. Si vous parlez à des psychologues du développement, ils vous diront qu'un enfant de quatre ans a été éveillé pendant 16 000 heures, et la quantité d'informations qui a atteint le cortex visuel de cet enfant en quatre ans est d'environ 10 à la puissance 15 octets. On peut calculer cela en estimant que le nerf optique transporte environ 20 mégaoctets par seconde. Donc 10 à la puissance 15 octets pour un enfant de quatre ans contre 2 fois 10 à la puissance 13 octets pour 170 000 ans de lecture. Ce que cela vous dit, c'est qu'à travers l'entrée sensorielle, nous voyons beaucoup plus d'informations qu'à travers le langage. Malgré notre intuition, l'essentiel de ce que nous apprenons et la majeure partie de nos connaissances passent par notre observation et notre interaction avec le monde réel, et non par le langage. Tout ce que nous apprenons au cours des premières années de la vie et certainement tout ce que les animaux apprennent n'a rien à voir avec le langage.

Il serait bon de contester une partie de l'intuition derrière ce que vous dites. Il est vrai qu'il y a plusieurs ordres de grandeur d'informations supplémentaires qui parviennent à l'esprit humain, et l'esprit humain est capable d'apprendre très rapidement à partir de cela et de filtrer les données très vite. Quelqu'un pourrait rétorquer à votre comparaison entre données sensorielles et langage que le langage est déjà très compressé. Il contient déjà beaucoup plus d'informations que les octets nécessaires pour les stocker si on le compare aux données visuelles. Il y a beaucoup de sagesse dans le langage, il y a des mots et la façon dont nous les assemblons ; cela contient déjà beaucoup d'informations. Est-il possible que le langage seul possède déjà assez de sagesse et de connaissances pour construire un modèle du monde et une compréhension du monde physique qui, selon vous, manquent aux LLM ?

C'est un grand débat parmi les philosophes et les spécialistes des sciences cognitives de savoir si l'intelligence doit être ancrée dans la réalité. Je suis clairement dans le camp de ceux qui pensent que l'intelligence ne peut apparaître sans un certain ancrage dans la réalité. Il n'est pas nécessaire que ce soit une réalité physique, cela pourrait être simulé, mais l'environnement est beaucoup plus riche que ce que l'on peut exprimer par le langage. Le langage est une représentation très approximative de nos percepts et de nos modèles mentaux. Il y a beaucoup de tâches que nous accomplissons où nous manipulons un modèle mental de la situation en question, et cela n'a rien à voir avec le langage. Tout ce que nous apprenons au cours des premières années de la vie et certainement tout ce que les animaux apprennent n'a rien à voir avec le langage. La complexité du monde est telle qu'il est difficile de représenter toutes les complexités que nous tenons totalement pour acquises dans le monde réel et dont nous n'imaginons même pas qu'elles nécessitent de l'intelligence. C'est le vieux paradoxe de Moravec, du pionnier de la robotique Hans Moravec, qui disait : comment se fait-il qu'avec les ordinateurs, il semble facile d'effectuer des tâches complexes de haut niveau comme jouer aux échecs et résoudre des intégrales, alors que les choses que nous tenons pour acquises et que nous faisons tous les jours, comme apprendre à conduire une voiture ou saisir un objet, nous ne pouvons pas les faire avec des ordinateurs ? Nous avons des LLM qui peuvent réussir l'examen du barreau, ils doivent donc être intelligents. Mais ils ne peuvent pas apprendre à conduire en 20 heures comme n'importe quel jeune de 17 ans. Ils ne peuvent pas apprendre à débarrasser la table du dîner et à remplir le lave-vaisselle comme n'importe quel enfant de 10 ans peut l'apprendre d'un coup. Qu'est-ce qui nous manque ? Quel type d'architecture d'apprentissage ou de raisonnement nous manque-t-il pour nous empêcher d'avoir des voitures autonomes de niveau 5 et des robots domestiques ?

Un grand modèle de langage peut-il construire un modèle du monde qui sait comment conduire et remplir un lave-vaisselle, mais qui ne sait tout simplement pas comment traiter les données visuelles pour le moment ? Peut-il opérer dans un espace de concepts ?

C'est ce sur quoi beaucoup de gens travaillent. La réponse courte est non, et la réponse plus complexe est que vous pouvez utiliser des astuces pour qu'un LLM digère des représentations d'images ou de vidéos. Une façon classique de le faire est d'entraîner un système de vision qui transforme n'importe quelle image en une représentation de haut niveau, une liste de tokens similaires au type de tokens qu'un LLM typique prend en entrée. Ensuite, vous soumettez cela au LLM en plus du texte et vous attendez que le LLM utilise ces représentations pour aider à prendre des décisions. Il y a des travaux dans ce sens depuis assez longtemps, et maintenant vous voyez ces systèmes. Il existe des LLM qui ont une extension de vision, mais ce sont des bidouillages au sens où ces choses ne sont pas entraînées de bout en bout pour vraiment comprendre le monde. Elles ne sont pas entraînées avec de la vidéo, par exemple. Elles ne comprennent pas vraiment la physique intuitive, du moins pas pour le moment.

Vous ne pensez pas qu'il y ait quelque chose de spécial dans la physique intuitive, dans le raisonnement de bon sens sur l'espace physique, sur la réalité physique ? Pour vous, c'est un bond de géant que les LLM ne sont pas capables de faire.

Nous ne serons pas capables de faire cela avec le type de LLM avec lesquels nous travaillons aujourd'hui. La raison principale est la façon dont les LLM sont entraînés : vous prenez un morceau de texte, vous retirez certains mots, vous les masquez, et vous entraînez un réseau de neurones gigantesque à prédire les mots manquants. Si vous construisez ce réseau de neurones de manière à ce qu'il ne puisse regarder que les mots à gauche de celui qu'il essaie de prédire, alors vous avez un système qui est entraîné à prédire le mot suivant dans un texte. Vous pouvez lui donner une instruction et lui demander de prédire le mot suivant. Il ne peut jamais prédire exactement le mot suivant, donc il va produire une distribution de probabilité sur tous les mots possibles de votre dictionnaire. Il prédit des tokens qui sont des unités de sous-mots. Il est facile de gérer l'incertitude dans la prédiction car il n'y a qu'un nombre fini de mots possibles et vous pouvez calculer une distribution sur ceux-ci. Le système choisit un mot à partir de cette distribution. Il y a plus de chances de choisir des mots qui ont une probabilité plus élevée, donc vous échantillonnez à partir de cette distribution pour produire un mot. Ensuite, vous réinjectez ce mot dans l'entrée, ce qui permet au système de prédire le deuxième mot. C'est ce qu'on appelle la prédiction auto-régressive, c'est pourquoi ces LLM devraient être appelés LLM auto-régressifs, mais nous les appelons simplement LLM. Il y a une différence entre ce processus et un processus par lequel, avant de produire un mot, quand vous parlez, quand vous et moi parlons — vous et moi sommes bilingues.

Mhm.

Nous réfléchissons à ce que nous allons dire, et c'est indépendant de la langue dans laquelle nous allons le dire. Quand nous parlons d'un concept mathématique, la réflexion que nous menons et la réponse que nous prévoyons de produire ne sont pas liées au fait que nous allons le dire en français, en russe ou en anglais.

Chomsky vient de lever les yeux au ciel, mais je comprends. Vous dites donc qu'il existe une abstraction plus grande qui précède le langage et qui se projette sur le langage.

Oui, c'est certainement vrai pour une grande partie de la réflexion que nous menons.

Est-ce évident que votre pensée est la même en français qu'en anglais ?

Oui, plus ou moins.

Plus ou moins, ou à quel point êtes-vous flexible ? Si c'était une distribution de probabilité.

Cela dépend du type de pensée. S'il s'agit de faire des jeux de mots, je suis bien meilleur en français qu'en anglais. Ça dépend.

Existe-t-il une représentation abstraite des jeux de mots ? Votre humour est-il une représentation abstraite ? Quand vous tweetez, et vos tweets sont parfois épicés, y a-t-il une représentation abstraite dans votre cerveau d'un tweet avant qu'il ne se traduise en anglais ?

Il y a une représentation abstraite consistant à imaginer la réaction d'un lecteur à ce texte.

Ou bien vous commencez par le rire et vous trouvez ensuite comment y parvenir ?

Ou bien une réaction que vous voulez provoquer et ensuite vous trouvez comment le dire pour que cela provoque cette réaction. Mais c'est proche du langage. Pensez à un concept mathématique ou à imaginer quelque chose que vous voulez construire en bois. Le genre de réflexion que vous menez n'a rien à voir avec le langage. Si je vous demande d'imaginer à quoi ressemblerait cette bouteille d'eau si je devais la faire pivoter de 90 degrés, cela n'a rien à voir avec le langage. Il y a clairement un niveau de représentation plus abstrait dans lequel nous menons la majeure partie de notre réflexion et nous planifions ce que nous allons dire. Nous planifions notre réponse avant de la produire. Les LLM ne font pas cela ; ils produisent simplement un mot après l'autre instinctivement. C'est un peu comme des actions subconscientes où vous êtes distrait, vous êtes concentré, et quelqu'un vous pose une question et vous répondez. Vous n'avez pas le temps de réfléchir à la réponse, mais la réponse est facile donc vous répondez automatiquement. C'est ce que fait un LLM. Il ne réfléchit pas à sa réponse ; il la récupère parce qu'il a accumulé beaucoup de connaissances, mais il va recracher un token après l'autre sans planifier la réponse.

Vous donnez l'impression que la génération un token à la fois est forcément simpliste. Mais si le modèle du monde est suffisamment sophistiqué, cette séquence de tokens sera quelque chose de profondément profond.

D'accord, mais cela suppose alors que ces systèmes possèdent effectivement un modèle du monde interne.

Cela revient à la question fondamentale : peut-on construire un modèle du monde qui a une compréhension profonde du monde ?

Peut-on construire cela par prédiction ? La réponse est probablement oui. Peut-on le construire en prédisant des mots ? La réponse est très probablement non, car le langage a une faible bande passante. Il n'y a pas assez d'informations là-dedans. Construire des modèles du monde signifie observer le monde et comprendre pourquoi le monde évolue de la manière dont il le fait. Le composant supplémentaire d'un modèle du monde est quelque chose qui peut prédire comment le monde va évoluer en conséquence d'une action que vous pourriez entreprendre. Un modèle du monde c'est : voici mon idée de l'état du monde à l'instant T, voici une action que je pourrais entreprendre, quel est l'état prédit du monde à l'instant T plus 1 ? Cet état du monde n'a pas besoin de tout représenter sur le monde ; il doit juste représenter assez de choses pertinentes pour la planification de l'action. Vous n'allez pas pouvoir faire cela avec des modèles génératifs. Un modèle génératif est entraîné sur de la vidéo — nous essayons de faire cela depuis 10 ans. Vous prenez une vidéo, vous montrez un morceau de vidéo à un système, puis vous lui demandez de prédire la suite de la vidéo.

Image par image, comme le font les LLM auto-régressifs mais pour la vidéo.

Soit image par image, soit par groupe d'images, mais un grand modèle vidéo. L'idée de faire cela circule depuis longtemps, et chez FAIR, nous essayons de le faire depuis environ 10 ans. On ne peut pas faire la même astuce qu'avec les LLM car avec les LLM, on ne peut pas prédire exactement quel mot va suivre une séquence de mots, mais on peut prédire une distribution sur les mots. Si vous passez à la vidéo, ce qu'il faudrait faire c'est prédire une distribution sur toutes les images possibles d'une vidéo. Nous ne savons pas vraiment comment faire cela correctement. Nous ne savons pas comment représenter des distributions sur des espaces continus de grande dimension de manière utile. Le monde est incroyablement plus compliqué et plus riche en termes d'informations que le texte. Le texte est discret, la vidéo est de grande dimension et continue, avec beaucoup de détails. Si je prends une vidéo de cette pièce et que la caméra pivote, il n'y a aucun moyen de prédire tout ce qui va se trouver dans la pièce au fur et à mesure que je pivote. Le système ne peut pas prédire ce qui va se trouver dans la pièce. Peut-être qu'il va prédire que c'est une pièce où il y a une lumière et un mur. Il ne peut pas prédire à quoi ressemble le tableau sur le mur ou à quoi ressemble la texture du canapé, et certainement pas celle du tapis. Il n'y a donc aucun moyen pour lui de prédire ces détails. Une façon de gérer cela est d'avoir un modèle qui possède une variable latente qui alimente un réseau de neurones. Elle est censée représenter toutes les informations sur le monde que vous ne percevez pas encore et dont vous avez besoin pour augmenter le système afin que la prédiction réussisse à prédire les pixels. Cela a été un échec. Nous avons essayé beaucoup de choses : réseaux de neurones classiques, GAN, VAE, toutes sortes d'auto-encodeurs régularisés. Nous avons également essayé ces méthodes pour apprendre de bonnes représentations d'images ou de vidéos qui pourraient ensuite être utilisées comme entrée dans un système de classification d'images. Cela a également échoué. Tous les systèmes qui tentent de prédire les parties manquantes d'une image ou d'une vidéo à partir d'une version corrompue échouent fondamentalement. Prenez une image ou une vidéo, corrompez-la ou transformez-la, puis essayez de reconstruire la vidéo ou l'image complète à partir de la version corrompue, en espérant qu'en interne, le système développera une bonne représentation des images que vous pourrez utiliser pour la reconnaissance d'objets, la segmentation, quoi que ce soit. Cela a été un échec. Cela fonctionne très bien pour le texte. C'est le principe utilisé pour les LLM.

La planification hiérarchique peut-elle émerger de cela d'une manière ou d'une autre ?

Non, il faudrait construire une architecture spécifique pour permettre la planification hiérarchique. La planification hiérarchique est nécessaire si vous voulez planifier des actions complexes. Si je veux aller de New York à Paris et que je suis dans mon bureau, mon objectif est de minimiser ma distance par rapport à Paris. À un haut niveau, je décompose cela en deux sous-objectifs : aller à l'aéroport et prendre un avion pour Paris. Mon sous-objectif est maintenant d'aller à l'aéroport. Ma fonction objectif est ma distance par rapport à l'aéroport. Pour aller à l'aéroport, je dois aller dans la rue et héler un taxi. Maintenant, j'ai un autre sous-objectif : descendre dans la rue. Cela signifie aller à l'ascenseur et marcher jusqu'à la rue. Pour aller à l'ascenseur, je dois me lever, ouvrir la porte et appuyer sur le bouton. Vous pouvez imaginer descendre ainsi jusqu'au contrôle musculaire milliseconde par milliseconde. Évidemment, vous n'allez pas planifier tout votre voyage en termes de contrôle musculaire milliseconde par milliseconde. D'abord, ce serait incroyablement coûteux, mais ce serait aussi impossible parce que vous ne connaissez pas toutes les conditions de ce qui va se passer. Vous devez faire cette planification hiérarchique pour pouvoir commencer à agir, puis replanifier au fur et à mesure. Personne ne sait vraiment comment faire cela en IA. Personne ne sait comment entraîner un système à apprendre les multiples niveaux de représentation appropriés pour que la planification hiérarchique fonctionne.

Est-ce que quelque chose comme ça émerge déjà ? Peut-on utiliser un LLM de pointe pour aller de New York à Paris en demandant une série d'étapes détaillées ?

Il y a beaucoup de questions implicites là-dedans. Premièrement, les LLM seront capables de répondre à certaines de ces questions jusqu'à un certain niveau d'abstraction à condition qu'ils aient été entraînés avec des scénarios similaires dans leur ensemble de données d'entraînement. Ils produiront probablement une réponse, sauf qu'ils ne seront pas capables de produire réellement un contrôle musculaire milliseconde par milliseconde sur la façon dont on se lève de sa chaise. Jusqu'à un certain niveau d'abstraction où les choses peuvent être formulées en termes de mots, ils pourraient être capables de vous donner un plan, mais seulement à condition d'avoir été entraînés à produire ce genre de plans. Ils ne pourront pas planifier des situations qu'ils n'ont jamais rencontrées auparavant. Ils vont essentiellement devoir régurgiter un modèle sur lequel ils ont été entraînés.

Beaucoup de gens ont critiqué le Gemini 1.5 de Google pour être extrêmement 'woke'. Il fait des choses absurdes, comme générer des images d'un George Washington noir ou refuser de commenter sur la place Tian'anmen. Vous avez commenté sur Twitter en disant que l'open source est la réponse. Pouvez-vous expliquer ?

J'ai souligné ce point plusieurs fois sous diverses formes. On peut se plaindre que les systèmes d'IA soient biaisés, et ils le sont généralement par la distribution des données d'entraînement qui reflète les biais de la société et est potentiellement offensante. On ne peut pas avoir de système non biaisé. La réponse est la même que celle que nous avons trouvée en démocratie libérale à propos de la presse : la presse doit être libre et diverse. Nous avons la liberté d'expression parce que nous ne voulons pas que toutes nos informations proviennent d'une source unique ; c'est le contraire de l'idée de démocratie et du progrès des idées et de la science. Dans toutes les démocraties du monde, notre interaction avec le monde numérique sera médiée par des assistants IA. Nous ne pouvons pas nous permettre que ces systèmes proviennent d'une poignée d'entreprises sur la côte ouest des États-Unis, car ces systèmes constitueront le répertoire de toutes les connaissances humaines. Nous ne pouvons pas laisser cela sous le contrôle d'un petit nombre de personnes ; cela doit être diversifié.

Meta ou Google ne devraient prendre que des mesures d'ajustement minimales après avoir construit le modèle de fondation pré-entraîné. Aussi peu d'étapes que possible. Meta peut-elle se permettre de faire cela ? Comment gagnez-vous de l'argent avec ça ?

On a plusieurs modèles économiques. Le modèle sur lequel Meta est construit consiste à proposer un service dont le financement se fait par la publicité ou par les clients professionnels. Si vous avez un LLM qui peut aider une pizzeria en parlant à ses clients via WhatsApp, l'entreprise paiera pour cela. C'est un modèle. Sinon, s'il s'agit de services plus classiques, il peut être financé par la publicité. Si l'on dispose d'une base de clients potentiels suffisamment importante et que l'on doit construire ce système pour eux, cela ne nuit pas de le distribuer en open source. La capacité de Meta à générer des revenus n'est pas entravée par la distribution de modèles de base en open source.

Vous vous opposez aux 'doomers' de l'IA. Pouvez-vous expliquer pourquoi vous pensez qu'ils ont tort ?

Les doomers de l'IA imaginent des scénarios catastrophes où l'IA pourrait échapper à notre contrôle et nous tuer tous. Cela repose sur des hypothèses qui sont pour la plupart fausses. La première hypothèse est que l'émergence d'une superintelligence sera un événement unique. C'est faux. Ce ne sera pas un événement ponctuel. Nous aurons des systèmes aussi intelligents qu'un chat, avec toutes les caractéristiques de l'intelligence de niveau humain. Ensuite, nous allons progresser pour rendre ces choses plus intelligentes et y intégrer des garde-fous. Un autre sophisme est le fait que parce qu'un système est intelligent, il veut nécessairement prendre le pouvoir. Le désir de dominer est spécifique aux espèces sociales. Les orangs-outans sont presque aussi intelligents que nous, mais ils n'ont pas ce désir. Il n'y a aucune raison de programmer cela dans l'IA.

Faites-vous confiance aux humains avec cette technologie ?

N'est-ce pas ce que sont la démocratie et la liberté d'expression ? Faites-vous confiance aux gens pour faire ce qui est juste ? Il y a des gens mauvais qui vont faire de mauvaises choses, mais ils n'auront pas une technologie supérieure à celle des gens bons. Ce sera mon IA bonne contre votre IA mauvaise. Rendre les gens plus intelligents ne peut être que bénéfique. L'IA va rendre l'humanité plus intelligente. L'événement équivalent dans l'histoire est l'invention de la presse à imprimer. Elle a rendu tout le monde plus intelligent.

Je pense que nous croyons tous les deux en l'humanité. Merci de pousser le mouvement open source, de rendre la recherche et les modèles accessibles aux gens, et de dire ce que vous pensez sur Internet. Yann, merci de m'avoir parlé et merci d'être qui vous êtes.

Merci, Lex.

Merci d'avoir écouté cette conversation avec Yann LeCun. Je vous laisse avec ces mots d'Arthur C. Clarke : 'La seule façon de découvrir les limites du possible est de s'aventurer un peu au-delà, dans l'impossible.' Merci de votre écoute, et à la prochaine fois.