Il est difficile pour nous, humains, de faire des prédictions précises sur des systèmes dynamiques hautement non linéaires. Mais encore une fois, pour en revenir à votre point, nous pourrions être très surpris de ce que les systèmes d'apprentissage classiques pourraient être capables de faire, même avec les fluides.

Oui, exactement. La dynamique des fluides, les équations de Navier-Stokes, ces problèmes sont traditionnellement considérés comme très difficiles, insolubles sur les systèmes classiques. Ils nécessitent d'énormes quantités de calcul, les systèmes de prévision météorologique, ce genre de choses impliquent tous des calculs de dynamique des fluides. Mais encore une fois, si vous regardez quelque chose comme Veo, notre modèle de génération vidéo, il peut modéliser les liquides assez bien, étonnamment bien, et les matériaux, l'éclairage spéculaire. J'adore ceux où il y a des gens qui génèrent des vidéos où des liquides clairs passent par des presses hydrauliques puis sont expulsés. J'écrivais des moteurs physiques et des moteurs graphiques à mes débuts dans le jeu vidéo, et je sais à quel point il est difficile de construire des programmes capables de faire cela. Et pourtant, d'une manière ou d'une autre, ces systèmes font de l'ingénierie inverse à partir du simple visionnage de vidéos YouTube. On peut donc présumer que ce qui se passe, c'est qu'il extrait une structure sous-jacente sur la façon dont ces matériaux se comportent. Il y a donc peut-être une sorte de variété de dimension inférieure qui peut être apprise si nous comprenions réellement pleinement ce qui se passe sous le capot. C'est peut-être vrai pour la majeure partie de la réalité.

Ce qui suit est une conversation avec Demis Hassabis, pour sa deuxième fois sur le podcast. Il est le dirigeant de Google DeepMind et est désormais lauréat du prix Nobel. Demis est l'un des esprits les plus brillants et les plus fascinants du monde actuel, travaillant sur la compréhension et la construction de l'intelligence et explorant les grands mystères de notre univers. Ce fut véritablement un honneur et un plaisir pour moi. Voici le podcast de Lex Fridman. Pour le soutenir, veuillez consulter nos sponsors dans la description et envisager de vous abonner à cette chaîne. Et maintenant, chers amis, voici Demis Hassabis.

Dans votre conférence Nobel, vous avez proposé ce que je considère comme une conjecture super intéressante, à savoir que, je cite, « tout motif pouvant être généré ou trouvé dans la nature peut être découvert et modélisé efficacement par un algorithme d'apprentissage classique. » Quels types de motifs ou de systèmes pourraient être inclus là-dedans ? La biologie, la chimie, la physique, peut-être la cosmologie, les neurosciences ? De quoi parlons-nous ?

Bien sûr. Eh bien, j'ai senti que c'est en quelque sorte une tradition des conférences du prix Nobel que d'être un peu provocateur, et je voulais suivre cette tradition. Ce dont je parlais ici, c'est que si l'on prend du recul et que l'on regarde tout le travail que nous avons accompli, en particulier avec les projets AlphaX, je pense bien sûr à AlphaGo et à AlphaFold. Ce qu'ils sont réellement, ce sont des constructions de modèles d'espaces combinatoires à dimensions très élevées qui, si vous essayiez de trouver une solution par force brute, trouver le meilleur coup au Go ou trouver la forme exacte d'une protéine, et si vous énumériez toutes les possibilités, il n'y aurait pas assez de temps dans l'histoire de l'univers. Il faut donc faire quelque chose de beaucoup plus intelligent. Et ce que nous avons fait dans les deux cas, c'est construire des modèles de ces environnements, ce qui a guidé la recherche de manière intelligente et l'a rendue gérable. Si vous pensez au repliement des protéines, qui est évidemment un système naturel, pourquoi cela devrait-il être possible ? Comment la physique fait-elle cela ? Les protéines se replient en millisecondes dans notre corps. D'une certaine manière, la physique résout ce problème que nous avons maintenant également résolu par le calcul. Et je pense que la raison pour laquelle c'est possible est que, dans la nature, les systèmes naturels ont une structure parce qu'ils ont été soumis à des processus évolutifs qui les ont façonnés. Et si c'est vrai, alors vous pouvez peut-être apprendre quelle est cette structure.

Cette perspective est donc, je pense, vraiment intéressante. Vous y avez fait allusion, c'est presque comme si, pour le dire crûment, tout ce qui peut évoluer peut être modélisé efficacement ? Vous pensez qu'il y a du vrai là-dedans ?

Ouais, je l'appelle parfois la survie du plus stable ou quelque chose comme ça, parce qu'évidemment il y a l'évolution de la vie, des êtres vivants, mais il y a aussi si vous pensez au temps géologique, la forme des montagnes, qui a été façoned par les processus d'érosion sur des milliers d'années. Mais on peut même aller sur le plan cosmologique, les orbites des planètes, les formes des astéroïdes, tout cela a survécu à des types de processus qui ont agi sur eux de nombreuses fois. Si c'est vrai, alors il devrait y avoir une sorte de motif que l'on peut apprendre à rebours et une sorte de variété qui vous aide à chercher la bonne solution, la bonne forme, et qui vous permet en fait de prédire des choses à son sujet de manière efficace car ce n'est pas un motif aléatoire. Ce n'est donc peut-être pas possible pour les choses créées par l'homme ou les choses abstraites comme la factorisation de grands nombres parce que, à moins qu'il n'y ait des motifs dans l'espace des nombres, ce qui est possible, mais s'il n'y en a pas et que c'est uniforme, alors il n'y a pas de motif à apprendre. Il n'y a pas de modèle à apprendre qui vous aidera à chercher. Il faut donc utiliser la force brute. Dans ce cas, vous avez peut-être besoin d'un ordinateur quantique, quelque chose comme ça. Mais la plupart des choses de la nature qui nous intéressent ne sont pas comme ça. Elles ont une structure qui a évolué pour une raison et qui a survécu au fil du temps. Et si c'est vrai, je pense que c'est potentiellement apprenable par un réseau de neurones.

C'est comme si la nature effectuait un processus de recherche et c'est tellement fascinant que dans ce processus de recherche, elle crée des systèmes qui peuvent être modélisés efficacement.

Oui, c'est exact. Ouais. Ils peuvent donc être redécouverts ou récupérés efficacement parce que la nature n'est pas aléatoire. Tout ce que nous voyons autour de nous, y compris les éléments les plus stables, toutes ces choses sont soumises à une sorte de processus de sélection, de pression.

Pensez-vous, parce que vous êtes aussi fan d'informatique théorique et de complexité, que nous pourrions proposer une sorte de classe de complexité, comme une classe de type zoo de la complexité, où ce serait peut-être l'ensemble des systèmes apprenables, l'ensemble des systèmes naturels apprenables, LNS ? Il s'agit d'une nouvelle classe de systèmes de Demis Hassabis qui pourraient être réellement apprenables par des systèmes classiques de cette manière, des systèmes naturels pouvant être modélisés efficacement.

Ouais. J'ai toujours été fasciné par la question P égale NP et par ce qui est modélisable par des systèmes classiques, c'est-à-dire des systèmes non quantiques, des machines de Turing en réalité. Et c'est exactement ce sur quoi je travaille actuellement pendant mes quelques moments de temps libre avec quelques collègues : devrait-il y avoir une nouvelle classe de problèmes solubles par ce type de processus de réseau de neurones et cartographiés sur ces systèmes naturels ? Donc les choses qui existent en physique et qui ont une structure. Je pense que cela pourrait être une nouvelle façon très intéressante d'y réfléchir. Et cela correspond en quelque sorte à ma façon de concevoir la physique en général, à savoir que je pense que l'information est primaire. L'information est l'unité la plus fondamentale de l'univers, plus fondamentale que l'énergie et la matière. Je pense qu'elles peuvent toutes être converties les unes dans les autres, mais je considère l'univers comme une sorte de système informationnel.

Donc, quand vous considérez l'univers comme un système informationnel, alors la question P égale NP est une question de physique. Et c'est une question qui peut nous aider à résoudre réellement l'intégralité de tout ce qui se passe.

Ouais, je pense que c'est l'une des questions les plus fondamentales en fait, si l'on considère la physique comme informationnelle, et je pense que la réponse à cela sera très éclairante.

Plus précisément sur la question P et NP... Pensez-vous qu'il y ait quelque chose dans ce dont nous parlons qui pourrait être démontré si vous pouviez effectuer quelque chose comme un calcul en temps polynomial ou en temps constant à l'avance et construire ce modèle gigantesque, alors vous pourriez résoudre certains de ces problèmes extrêmement difficiles d'une manière informatique théorique ?

Ouais, je pense qu'il existe en fait une vaste classe de problèmes qui pourraient être formulés de cette manière, comme nous l'avons fait pour AlphaGo et AlphaFold, où vous modélisez la dynamique du système, les propriétés de ce système, l'environnement que vous essayez de comprendre, et cela rend la recherche de la solution ou la prédiction de l'étape suivante efficace, fondamentalement en temps polynomial, donc gérable par un système classique, ce qu'est un réseau de neurones, il fonctionne sur des ordinateurs normaux, n'est-ce pas, des ordinateurs classiques, des machines de Turing en réalité. Et je pense que c'est l'une des questions les plus intéressantes qui soient : jusqu'où ce paradigme peut-il aller ? Je pense que nous avons prouvé, et la communauté de l'IA en général, que les systèmes classiques, les machines de Turing, peuvent aller beaucoup plus loin que ce que nous pensions auparavant. Ils peuvent faire des choses comme modéliser les structures des protéines et jouer au Go à un niveau supérieur à celui de champion du monde. Et beaucoup de gens auraient pensé il y a 10 ou 20 ans que cela prendrait des décennies ou qu'il faudrait peut-être des sortes de systèmes quantiques pour pouvoir faire des choses comme le repliement des protéines. Je pense donc que nous n'avons même pas encore effleuré la surface de ce que les systèmes dits classiques pourraient faire. Et bien sûr, l'AGI construite sur un système de réseau de neurones par-dessus un système de réseau de neurones par-dessus un ordinateur classique en serait l'expression ultime.

Qu'est-ce qui, selon vous, encore une fois hypothétiquement, pourrait être en dehors de cela ? Peut-être des phénomènes émergents ? Comme si vous regardiez les automates cellulaires, certains systèmes extrêmement simples puis une certaine complexité qui émerge.

Ouais, je pense que ces systèmes seraient juste à la frontière. Je pense que la plupart des systèmes émergents, les automates cellulaires, des choses comme ça, pourraient être modélisables par un système classique. On en fait simplement une simulation prospective et ce serait probablement assez efficace. Bien sûr, il y a la question des systèmes chaotiques où les conditions initiales comptent vraiment et où l'on arrive à un état final non corrélé. Ceux-là pourraient être difficiles à modéliser. Je pense donc que ce sont en quelque sorte les questions ouvertes. Mais quand on prend du recul et qu'on regarde ce que nous avons fait avec les systèmes et les problèmes que nous avons résolus, puis qu'on regarde des choses comme Veo 3 sur la génération vidéo, le rendu de la physique et de l'éclairage et des choses comme ça, des choses vraiment fondamentales en physique, c'est assez intéressant. Je pense que cela nous dit quelque chose d'assez fondamental sur la structure de l'univers, à mon avis. D'une certaine manière, c'est pour cela que je veux construire l'AGI, c'est pour nous aider, en tant que scientifiques, à répondre à ces questions comme P égale NP.

Ouais, je pense que nous pourrions être continuellement surpris par ce qui est modélisable par les ordinateurs classiques. Je veux dire, AlphaFold 3 sur le côté interaction est surprenant par le fait qu'on puisse faire n'importe quel type de progrès dans cette direction. AlphaGenome est surprenant par le fait qu'on puisse cartographier le code génétique avec la fonction.

Oui, parce qu'il y a une certaine structure, il y a un certain paysage dans le paysage énergétique ou quoi que ce soit d'autre que l'on peut suivre, un certain gradient que l'on peut suivre. Et bien sûr, ce pour quoi les réseaux de neurones sont très doués, c'est suivre les gradients. Et donc s'il y en a un à suivre et que vous pouvez spécifier correctement la fonction objective, vous n'avez pas à gérer toute cette complexité, ce qui est, je pense, la façon dont nous avons peut-être naïvement envisagé ces problèmes pendant des décennies. Si vous énumérez simplement toutes les possibilités, cela semble totalement insurmontable. Et il y a beaucoup, beaucoup de problèmes comme celui-là. Et on se dit, eh bien, il y a environ 10 puissance 300 structures de protéines possibles, 10 puissance 170 positions de Go possibles, tout cela représente bien plus que d'atomes dans l'univers. Alors comment pourrait-on éventuellement trouver la bonne solution ou prédire l'étape suivante ? Mais il s'avère que c'est possible. Et bien sûr, la réalité dans la nature le fait. Les protéines se replient effectivement. Cela vous donne donc la certitude que si nous comprenions comment la physique fait cela en un sens et que nous pouvions imiter ce processus, c'est-à-dire modéliser ce processus, cela devrait être possible sur nos systèmes classiques, c'est fondamentalement le sujet de la conjecture.

Je dois vous parler de jeux vidéo. Donc vous avez été un peu taquin. Je pense que vous vous amusez de plus en plus sur Twitter sur X... Un gars nommé Jimmy Apples a tweeté : « Laissez-moi déjà jouer à un jeu vidéo à partir de mes vidéos Veo 3. Google a si bien cuisiné. Des modèles de monde jouables quand ? » Et puis vous avez cité ce tweet en disant : « Eh bien, ne serait-ce pas quelque chose... » Alors, à quel point est-ce difficile de construire des mondes de jeu avec l'IA ?

Eh bien, les jeux ont été mon premier amour en fait et faire de l'IA pour les jeux a été la première chose que j'ai faite professionnellement pendant mon adolescence et c'était les premiers systèmes d'IA majeurs que j'ai construits. J'ai toujours voulu satisfaire ce besoin un jour et y revenir. Et je rêve en quelque sorte de ce que j'aurais fait dans les années 90 si j'avais eu accès au genre de systèmes d'IA que nous avons aujourd'hui. Et je pense qu'on pourrait construire des jeux absolument époustouflants. Et je pense que l'étape suivante est que j'ai toujours aimé faire des jeux, tous les jeux que j'ai faits sont des jeux à monde ouvert. Ce sont donc des jeux où il y a une simulation, puis des personnages d'IA, puis le joueur interagit avec cette simulation et la simulation s'adapte à la façon dont le joueur joue. Et j'ai toujours pensé que c'étaient les jeux les plus cools parce que, comme des jeux comme Theme Park sur lequel j'ai travaillé, l'expérience de jeu de chacun serait unique pour lui. Parce qu'on co-crée en quelque sorte le jeu. Nous définissons les paramètres, nous définissons les conditions initiales, puis vous, en tant que joueur immergé, vous le co-créez avec la simulation. Mais bien sûr, il est très difficile de programmer des jeux à monde ouvert. Il faut être capable de créer du contenu quelle que soit la direction prise par le joueur et on veut que ce soit convaincant peu importe ce que le joueur choisit. Et donc c'était toujours assez difficile de construire des choses comme le type d'automates cellulaires de ces systèmes classiques qui créaient un certain comportement émergent. Mais ils étaient toujours un peu fragiles, un peu limités. Maintenant, nous sommes peut-être sur le point, dans les prochaines années, 5 ou 10 ans, d'avoir des systèmes d'IA qui peuvent véritablement créer autour de votre imagination, qui peuvent en quelque sorte changer dynamiquement l'histoire et la narration et la rendre dramatique peu importe ce que vous finissez par choisir. C'est donc comme l'ultime jeu de type « dont vous êtes le héros ». Et je pense que nous sommes peut-être à portée de main si l'on pense à une sorte de version interactive de Veo, puis qu'on projette cela dans 5 à 10 ans et qu'on imagine à quel point ce sera bon.

Je dois vous demander, j'ai presque oublié l'une des nombreuses et je dirais l'une des choses les plus incroyables récemment qui, d'une manière ou d'une autre, n'a pas encore attiré suffisamment l'attention, c'est AlphaEvolve. Nous avons parlé un peu d'évolution, mais c'est le système de Google DeepMind qui fait évoluer les algorithmes. Ces types de techniques de type évolution sont-elles prometteuses en tant que composant de futurs systèmes super-intelligents ?

Oui, exactement. Les LLM proposent donc en quelque sorte des solutions possibles, puis vous utilisez l'informatique évolutionnaire par-dessus pour trouver une partie nouvelle de l'espace de recherche. En fait, je pense que c'est un exemple de directions très prometteuses où l'on combine les LLM ou les modèles de fondation avec d'autres techniques informatiques. Les méthodes évolutionnaires en sont une, mais vous pourriez aussi imaginer la recherche arborescente de Monte Carlo, fondamentalement de nombreux types d'algorithmes de recherche ou d'algorithmes de raisonnement par-dessus ou utilisant les modèles de fondation comme base. Je pense donc qu'il y a pas mal de choses intéressantes à découvrir probablement avec ces sortes de systèmes hybrides, appelons-les ainsi.

Donc, pour en revenir à votre rêve de modéliser une cellule, quels sont les grands défis qui nous attendent pour y parvenir ? Nous devrions peut-être souligner qu'AlphaFold, je veux dire, il y a tellement de nouveaux sauts... AlphaFold 3 s'occupe des interactions entre protéines, ARN et ADN, ce qui est super compliqué et fascinant, cela se prête à la modélisation. AlphaGenome prédit comment de petits changements génétiques, comme si l'on pense à des mutations uniques, sont liés à la fonction réelle.

Ouais. Ce que j'ai essayé de faire tout au long de ma carrière, c'est que j'ai ces rêves vraiment grandioses, puis j'essaie de les décomposer en étapes intermédiaires gérables, réalisables, significatives et utiles en soi. Et donc la cellule virtuelle, c'est ainsi que j'appelle le projet de modélisation d'une cellule, j'ai cette idée de vouloir faire ça depuis peut-être plus de 25 ans. Et j'avais l'habitude d'en parler avec Paul Nurse, qui est un peu un mentor pour moi en biologie, il a fondé l'Institut Crick et a remporté le prix Nobel en 2001. Nous en parlons depuis les années quatre-vingt-dix. Et j'y revenais tous les cinq ans. De quoi aurait-on besoin pour modéliser l'intégralité de l'intérieur d'une cellule afin de pouvoir faire des expériences sur la cellule virtuelle in silico et que ces prédictions vous soient utiles pour vous faire gagner beaucoup de temps au laboratoire, n'est-ce pas ? Ce serait le rêve. Peut-être qu'on pourrait multiplier par 100 la vitesse des expériences en faisant la majeure partie in silico, la recherche in silico, puis on fait l'étape de validation au labo. Et donc peut-être que maintenant enfin, j'essayais de construire ces composants, AlphaFold en étant un, qui vous permettraient à terme de modéliser l'interaction complète, une simulation complète d'une cellule. Et je commencerais probablement par une cellule de levure, et c'est en partie ce que Paul Nurse a étudié car une cellule de levure est comme un organisme complet qui n'est qu'une seule cellule. C'est donc le genre d'organisme monocellulaire le plus simple. Ce n'est donc pas seulement une cellule, c'est un organisme complet. Et la levure est très bien comprise. Ce serait donc un bon candidat pour une sorte de modèle simulé complet. Maintenant, AlphaFold est la solution à l'image statique de ce à quoi ressemble la structure 3D d'une protéine, une image statique de celle-ci, mais nous savons qu'en biologie, tout ce qui est intéressant se passe avec la dynamique, les interactions. Et c'est ce qu'AlphaFold 3 est, la première étape vers la modélisation de ces interactions. Donc, tout d'abord, par paires, protéines avec protéines, protéines avec ARN et ADN, mais l'étape suivante consisterait peut-être à modéliser toute une voie, peut-être comme la voie TOR qui est impliquée dans le cancer ou quelque chose comme ça, et finalement on pourrait être capable de modéliser une cellule entière.

Vous avez estimé que nous aurons l'AGI d'ici 2030. Il y a donc des questions intéressantes autour de cela. Comment saurons-nous réellement que nous y sommes parvenus ? Quel pourrait être le coup, je cite, « coup 37 » de l'AGI ?

Mon estimation est d'environ 50 % de chances dans les cinq prochaines années, donc d'ici 2030 disons. Je pense donc qu'il y a de bonnes chances que cela puisse arriver. Une partie de la réponse est : quelle est votre définition de l'AGI ? Bien sûr, les gens en débattent maintenant et la mienne est assez élevée et l'a toujours été : pouvons-nous égaler les fonctions cognitives du cerveau ? Nous savons que nos cerveaux sont à peu près des machines de Turing générales, approximativement, et bien sûr, nous avons créé une civilisation moderne incroyable avec nos esprits. Cela témoigne aussi de la généralité du cerveau. Et pour que nous sachions que nous avons une véritable AGI, nous devrions nous assurer qu'elle possède toutes ces capacités. Que ce n'est pas une sorte d'intelligence en dents de scie où elle est vraiment bonne pour certaines choses comme les systèmes d'aujourd'hui, mais vraiment défaillante pour d'autres. Et c'est ce que nous avons actuellement avec les systèmes d'aujourd'hui. Ils ne sont pas cohérents. On voudrait donc cette cohérence d'intelligence à tous les niveaux. Et puis je pense que certaines capacités nous manquent, comme les véritables capacités d'invention et la créativité dont nous parlions tout à l'heure. On voudrait donc voir cela. Comment tester cela ? Je pense qu'une façon de le faire serait de tester par la force brute des dizaines de milliers de tâches cognitives que nous savons que les humains peuvent faire, et peut-être aussi rendre le système disponible à quelques centaines des meilleurs experts mondiaux, les Terence Tao de chaque domaine et voir s'ils peuvent trouver, donnez-leur un mois ou deux, s'ils peuvent trouver un défaut évident dans le système. S'ils ne le peuvent pas, alors je pense qu'on peut être assez confiant sur le fait qu'on a un système totalement général.

L'une des histoires incroyables sur le côté business sur le côté leadership est ce que Google a fait au cours de l'année écoulée. Donc je pense qu'il est juste de dire que Google perdait du côté du produit LLM il y a un an avec Gemini 1.5 et maintenant il gagne avec Gemini 2.5 et vous avez pris les commandes et vous avez dirigé cet effort. Qu'a-t-il fallu pour passer de disons entre guillemets perdre à entre guillemets gagner en l'espace d'un an ?

Ouais. Eh bien, premièrement c'est une équipe absolument incroyable que nous avons, dirigée par Koray et Jeff Dean et et Oriol et l'équipe incroyable que nous avons sur Gemini, absolument de classe mondiale. On ne peut donc pas le faire sans les meilleurs talents. et bien sûr on a aussi beaucoup de puissance de calcul. Mais ensuite c'est la culture de recherche que nous avons créée, n'est-ce pas ? Et fondamentalement le fait de rassembler différents groupes chez Google, il y avait Google Brain, une équipe de classe mondiale, et puis l'ancien DeepMind, et de rassembler tous les meilleurs éléments et les meilleures idées et de se regrouper pour fabriquer le système le plus génial possible. Et cela a été dur, mais nous sommes tous très compétitifs, et nous adorons la recherche, c'est tellement amusant à faire, et c'est génial de voir notre trajectoire. Ce n'était pas gagné d'avance, mais nous sommes très satisfaits de là où nous en sommes et le taux de progrès est la chose la plus importante. Donc si vous regardez où nous en sommes arrivés d'il y a deux ans à il y a un an à maintenant, je pense que notre nous appelons cela un progrès implacable accompagné d'une expédition implacable de ce progrès a été très fructueux et c'est incroyablement compétitif tout cet espace, tout l'espace de l'IA avec certains des plus grands entrepreneurs et dirigeants et entreprises du monde qui sont tous en compétition maintenant parce que tout le monde a réalisé à quel point l'IA est importante. Et cela a été très satisfaisant pour nous de voir ces progrès.