Lorsque Michael Faraday a proposé pour la première fois l'idée du champ électromagnétique, les gens se disaient : de quoi parles-tu ? Tu dis qu'il existe des choses, mais qu'on ne peut pas les voir, qu'on ne peut pas les toucher... Cela ressemble à des fantômes totalement non scientifiques. La plupart de mes collègues scientifiques pensent toujours que parler de la conscience en tant que science n'est que des foutaises. Mais ce que j'ai remarqué, c'est que lorsque je les pousse un peu plus sur les raisons pour lesquelles ils pensent que ce sont des foutaises, ils se divisent en deux camps qui sont en complet désaccord l'un avec l'autre. On peut avoir de l'intelligence sans conscience. Et on peut avoir de la conscience sans intelligence !

Votre cerveau fait quelque chose de remarquable en ce moment même. Il transforme ces mots en sens. Cependant, vous n'avez aucune idée de comment. Le professeur Max Tegmark du MIT étudie ce puzzle. Vous reconnaissez les visages instantanément, pourtant vous ne pouvez pas expliquer les processus inconscients. Vous rêvez, plein de conscience, alors qu'extérieurement vous ne faites rien. Ainsi, il y a de l'intelligence sans conscience et de la conscience sans intelligence. En d'autres termes, ce sont des phénomènes entièrement différents. Tegmark propose quelque chose de radical. La conscience est testable dans une nouvelle extension de la science où vous devenez le juge de votre propre expérience subjective. La physique a absorbé l'électromagnétisme, puis les atomes, puis l'espace-temps. Et maintenant, Tegmark dit qu'elle avale l'IA. En fait, j'ai parlé spécifiquement de cela avec le lauréat du prix Nobel Geoffrey Hinton. Pour Max Tegmark, le même principe qui explique pourquoi la lumière se courbe dans l'eau peut en fait expliquer comment les pensées émergent des neurones. J'ai été honoré d'avoir été invité au sommet de l'Augmentation Lab, qui a été un week-end d'événements au MIT la semaine dernière. Cela a été organisé par la chercheuse du MIT Dunya Baradari. Le sommet a proposé des conférences sur l'avenir de l'intelligence biologique et artificielle, les interfaces cerveau-machine, et incluait des intervenants tels que Stephen Wolfram et Andreas Gomez-Emilsson. Mes conversations avec eux seront publiées sur cette chaîne dans quelques semaines, alors abonnez-vous pour être informé. Ou vous pouvez consulter le Substack, curtjaimungal.com, car j'y publie les épisodes en avance. Un grand merci à notre sponsor publicitaire, The Economist. Parmi les magazines hebdomadaires d'affaires mondiales, The Economist est loué pour ses reportages non partisans et pour être axé sur les faits. C'est quelque chose qui est extrêmement important pour moi. C'est quelque chose que j'apprécie. Personnellement, j'aime aussi leur couverture d'autres sujets qui ne sont pas seulement basés sur la politique. Par exemple, The Economist dispose d'un nouvel onglet pour l'intelligence artificielle sur son site web, et propose un article fantastique sur le récent relevé d'énergie sombre DESI. Il surpasse, à mon avis, la couverture de Scientific American. Autre chose que j'aime, puisque j'ai un TDAH, c'est qu'ils vous permettent d'écouter les articles à une vitesse de 2x. Et c'est une personne réelle, pas une voix doublée. Les accents britanniques sont un bonus. Donc, si vous êtes passionné par l'élargissement de vos connaissances et par une meilleure compréhension des forces qui façonnent notre monde, je vous recommande vivement de vous abonner à The Economist. C'est un investissement dans votre croissance intellectuelle, que vous ne regretterez pas. Je ne le regrette pas. En tant qu'auditeur de TOE, vous bénéficiez d'une réduction spéciale. Vous pouvez maintenant profiter de The Economist et de tout ce qu'il a à offrir pour moins cher. Rendez-vous sur leur site web, economist.com/toe pour commencer. Assurez-vous d'utiliser ce lien. C'est www.economist.com/toe pour obtenir cette réduction. Merci d'être à l'écoute, et maintenant retour aux explorations des mystères de l'univers avec Max Tegmark.

Max, l'IA est-elle de la physique ? Un prix Nobel a été décerné pour cela, mais quel est votre point de vue ?

Je crois que l'intelligence artificielle est passée de ne pas être de la physique à être de la physique. L'une des meilleures façons d'insulter un physicien est de lui dire que son travail n'est pas de la physique. Comme si, d'une manière ou d'une autre, il y avait une frontière généralement acceptée entre ce qui est de la physique et ce qui ne l'est pas, ou entre ce qui est de la science et ce qui ne l'est pas. Mais la leçon la plus évidente que nous tirons en regardant simplement l'histoire des sciences est que la frontière a évolué. Certaines choses qui étaient autrefois considérées comme scientifiques, comme l'astrologie, sont parties ; la frontière s'est contractée, de sorte que ce n'est plus considéré comme de la science aujourd'hui. Et puis beaucoup d'autres choses qui étaient proposées comme non scientifiques sont maintenant considérées comme étant évidemment de la science. J'enseigne parfois le cours d'électromagnétisme, et je rappelle à mes étudiants que lorsque Michael Faraday a proposé pour la première fois l'idée du champ électromagnétique, les gens se disaient : de quoi parles-tu ? Tu dis qu'il existe des choses, mais qu'on ne peut pas les voir, qu'on ne peut pas les toucher... Cela ressemble à des fantômes, à des foutaises totales non scientifiques. Et ils lui ont vraiment mené la vie dure pour cela. L'ironie est que non seulement cela fait maintenant partie de la physique, mais on peut voir le champ électromagnétique. C'est la seule chose que nous pouvons voir, car la lumière est une onde électromagnétique. Après cela, des choses comme les trous noirs, des choses comme les atomes, dont Max Planck a dit célèbrement que ce n'est pas de la physique, même parler de ce que notre univers faisait il y a 13,8 milliards d'années sont devenus considérés comme faisant partie de la physique. Je pense que l'IA suit maintenant le même chemin. C'est une partie de la raison pour laquelle Jeff Hinton a reçu le prix Nobel de physique, car la physique consiste à observer un système complexe et intéressant faire quelque chose et à essayer de comprendre comment il fonctionne. Nous avons commencé par des choses comme le système solaire et les atomes, mais si l'on regarde un réseau de neurones artificiels capable de traduire le français en japonais, c'est aussi assez impressionnant. Et il y a tout ce domaine qui a commencé à s'épanouir maintenant, appelé interprétabilité mécaniste, où l'on étudie un système artificiel intelligent pour essayer de poser des questions fondamentales, comme : comment cela fonctionne-t-il ? Existe-t-il des équations qui le décrivent ? Existe-t-il des mécanismes de base, etc. ? D'une certaine manière, je pense que la physique traditionnelle, comme l'astrophysique par exemple, n'est que de l'interprétabilité mécaniste appliquée à l'univers. Et Hopfield, qui a également reçu le prix Nobel l'année dernière, a été la première personne à montrer que l'on peut réellement décrire un paysage énergétique. Mettre l'energy potentielle sur l'axe vertical et comment l'énergie potentielle dépend de l'endroit où nous nous trouvons et considérer chaque petite vallée comme une mémoire. Vous pourriez vous demander comment je peux stocker des informations dans une boîte d'œufs si elle contient 25 vallées ? Très facile : vous pouvez mettre une bille dans l'une d'elles. Voilà qui représente log 25 bits. Et comment récupérer ce qu'est la mémoire ? Vous pouvez regarder où se trouve la bille. Hopfield a eu cette intuition géniale en physique que si vous imaginez un système dont la fonction d'énergie potentielle possède de nombreux minima différents assez stables, vous pouvez simplement l'utiliser pour stocker des informations. Mais il a réalisé que c'était différent de la façon dont les informaticiens stockaient les informations auparavant. C'était comme tout le paradigme de von Neumann ; avec un ordinateur, vous dites : dis-moi ce qu'il y a dans cette variable, dis-moi quel nombre se trouve à cette adresse particulière, allez voir ici. C'est ainsi que les ordinateurs traditionnels stockent les choses. Mais si je vous dis : Ah ! vous dirai-je, maman...

Ce qui cause mon tourment.

C'est un type différent de récupération de mémoire. Je ne vous ai pas dit de me donner l'information qui est stockée dans ces neurones là-bas. Je vous ai donné quelque chose qui était partiel, une partie de la chose, et vous l'avez complétée. C'est ce qu'on appelle la mémoire associative. Et c'est aussi ainsi que Google vous donnera quelque chose ; vous pouvez taper quelque chose dont vous ne vous souvenez pas tout à fait et il vous donnera la bonne chose. Et Hopfield a montré, pour en revenir à la boîte d'œufs, que si vous ne vous souvenez pas exactement où... Supposons que vous vouliez mémoriser les décimales de pi. Et vous avez une fonction d'énergie où le minimum réel est exactement à 3,1415, etc.

Oui.

Mais vous ne vous souvenez pas exactement de ce qu'est pi, vous dites juste que c'est trois virgule quelque chose.

Oui.

Alors vous placez une bille à trois, vous la laissez rouler. Tant qu'elle se trouve dans le bassin d'attraction dont le minimum est à pi, elle va s'y rendre. Pour moi, c'est un exemple de la façon dont quelque chose qui semblait n'avoir rien à voir avec la physique, comme la mémoire, peut être magnifiquement compris avec des outils de la physique. Vous avez un paysage énergétique, vous avez différents minima, vous avez une dynamique, le réseau de Hopfield. Je pense donc qu'il est tout à fait juste que Hinton et Hopfield aient reçu le prix Nobel de physique, et c'est parce que nous commençons à comprendre que nous pouvons étendre à nouveau le domaine de ce qu'est la physique pour inclure des questions très profondes sur l'intelligence, la mémoire et le calcul.

Qu'en est-il de la conscience ? Vous avez mentionné que pour Faraday, le champ électromagnétique était considéré comme un non-sens non étayé et infalsifiable, ou simplement mal défini. La conscience semble être à un stade similaire où de nombreux scientifiques ou physiciens ont tendance à considérer la façon dont la conscience est étudiée ou abordée comme...

Oui.

Premièrement, quelle est la définition de la conscience ? Vous n'arrivez pas à vous mettre d'accord, il y a la phénoménale, l'accès, etc. Et même là, qu'est-ce que c'est ? Et puis la critique serait que vous me demandez une définition à la troisième personne de quelque chose qui est un phénomène à la première personne. Comment voyez-vous la conscience dans tout cela ?

J'adore ces questions, car j'ai l'impression que la conscience est probablement la frontière ultime, la chose finale qui finira par se retrouver dans le domaine de la physique et qui se trouve actuellement sur la ligne de démarcation controversée. Revenons à Galilée. Supposons que s'il laissait tomber un raisin et une noisette, il pourrait prédire exactement quand ils allaient toucher le sol et que la distance de leur chute croît comme une parabole en fonction du temps. Mais il n'avait aucune idée de pourquoi le raisin était vert et la noisette brune. Puis sont venues les équations de Maxwell et nous avons commencé à comprendre que la lumière et les couleurs relèvent aussi de la physique. Et nous en avons obtenu les équations. Galilée ne pouvait pas non plus comprendre pourquoi le raisin était mou et la noisette dure. Ensuite, nous avons eu la mécanique quantique et nous avons réalisé que toutes ces propriétés de la matière pouvaient être calculées à partir de l'équation de Schrödinger et également intégrées à la physique. Et puis l'intelligence semblait être une telle résistance, mais nous avons déjà parlé maintenant de la façon dont, si vous commencez à la décomposer en composants comme l'intelligence, comme la mémoire, et que nous pouvons parler davantage du calcul et de l'apprentissage, comment cela peut aussi être compris comme un processus physique. Alors qu'en est-il de la conscience ? La plupart de mes collègues scientifiques pensent toujours que parler de la conscience en tant que science n'est que des foutaises. Mais ce que j'ai remarqué, c'est que lorsque je les pousse un peu plus sur les raisons pour lesquelles ils pensent que ce sont des foutaises, ils se divisent en deux camps qui sont en complet désaccord l'un avec l'autre. Environ la moitié d'entre eux dira que la conscience est n'importe quoi parce que c'est la même chose que l'intelligence.

D'accord.

Et l'autre moitié dira que la conscience est n'importe quoi parce qu'évidemment les machines ne peuvent pas être conscientes. Ce qui est évidemment totalement incohérent avec le fait de dire que c'est la même chose que l'intelligence. Ce qui a vraiment alimenté la révolution de l'IA au cours des dernières décennies, c'est le fait de s'éloigner des arguties philosophiques sur ce que l'intelligence signifie réellement dans un sens philosophique profond et de dresser plutôt une liste de tâches et de se demander : ma machine peut-elle accomplir cette tâche ? Et c'est quantitatif, vous pouvez entraîner vos systèmes pour qu'ils s'améliorent dans la tâche. Et je pense que vous auriez beaucoup de mal si vous alliez à la conférence NeurIPS et souteniez que les machines ne pourront jamais être intelligentes. Donc si vous acceptez cela, si vous dites ensuite que l'intelligence est la même chose que la conscience, vous prédisez que les machines sont conscientes si elles sont intelligentes. Mais nous savons que la conscience n'est pas la même chose que l'intelligence par une simple introspection. Nous pouvons le faire dès maintenant. Par exemple, qu'est-ce qu'il y a écrit ici ?

Nous ne devrions pas faire de placement de produit.

Non, ça ne me dérange pas.

Prenons celui-ci. Qu'est-ce qu'il y a écrit ?

Vers une IA plus interprétable avec des auto-encodeurs clairsemés par Joshua Engels.

Génial. C'est la thèse de mon étudiant Josh Engels. Comment avez-vous fait ce calcul ? Il y a 30 ans, si je vous donnais juste une série de chiffres qui sont l'intensité réelle rouge, verte et bleue des pixels de ceci et que je vous demandais ce qu'il y a d'écrit, c'était un problème difficile. C'est encore plus difficile si vous ouvrez simplement les yeux et que vous demandez qui c'est et que vous répondez c'est Max. Mais réfléchissez à ce que vous avez ressenti. Avez-vous réellement l'impression d'ouvrir les yeux et de voir que c'est Max, que vous connaissez l'algorithme que vous avez utilisé pour reconnaître mon visage ?

Non.

Pareil ici. Pour moi, j'ai l'impression que ma conscience... il y a une partie de mon traitement de l'information qui est consciente, et elle a reçu un e-mail du module de reconnaissance faciale disant : reconnaissance faciale terminée, la réponse est un tel. En d'autres termes, vous faites quelque chose de très intelligent lorsque vous reconnaissez des gens, mais qui n'est pas conscient. Et je dirais qu'en fait, une grande partie de ce que fait votre cerveau, vous n'en êtes tout simplement pas conscient. Vous découvrez les résultats souvent après coup. On peut donc avoir de l'intelligence sans conscience, c'est le premier point que je souligne. Et deuxièmement, on peut avoir de la conscience sans intelligence, sans accomplir de tâches. Avez-vous déjà fait un rêve dont vous vous souvenez ? Il y avait de la conscience, mais si quelqu'un vous regardait simplement allongé sur le lit, vous n'accomplissiez probablement rien. Il est donc évident pour moi que la conscience n'est pas la même chose. On peut avoir de la conscience sans intelligence et vice versa. Donc ceux qui disent que conscience égale intelligence sont imprécis. Alors, qu'est-ce que c'est ? Je suppose que la conscience est un type particulier de traitement de l'information. Et l'intelligence est aussi un type typique de traitement de l'information, mais il y a un diagramme de Venn. Certaines choses sont de l'intelligence et de la conscience, d'autres sont intelligentes mais pas conscientes, et d'autres sont conscientes mais pas très intelligentes. La question devient alors d'essayer de comprendre : pouvons-nous écrire des équations ou formuler des principes pour définir quel type de traitement de l'information est intelligent et quel type est conscient ? Je suppose que pour que quelque chose soit conscient, il y a au moins certaines conditions suffisantes qu'il doit probablement posséder. Il doit y avoir beaucoup d'informations, quelque chose pour constituer le contenu de la conscience. Il y a un scientifique italien, Giulio Tononi, qui a mené une réflexion très créative à ce sujet et a déclenché une énorme controverse, qui soutient qu'une condition nécessaire à la conscience est ce qu'il appelle l'intégration. Essentiellement, pour que l'on ressente subjectivement une conscience unifiée, elle ne peut pas consister en deux systèmes de traitement de l'information qui ne communiquent pas entre eux. Car si la conscience est la façon dont l'information est ressentie lorsqu'elle est traitée, alors si telle information est consciente et qu'elle est complètement déconnectée de telle autre information, il n'y a aucun moyen pour que cette information fasse partie de ce dont elle est consciente.

Juste une question rapide. Au fond, quelle est la différence entre le traitement de l'information, le calcul et la communication ?

La communication, je dirais, n'est qu'un cas particulier très simple du traitement de l'information. Par exemple, vous avez des informations ici et vous en faites une copie qui se retrouve là-bas.

C'est un ballon de volley que vous envoyez.

Un ballon de volley que vous envoyez, copier ceci vers cela. Mais le calcul peut être beaucoup plus complexe que cela. Et puis... c'était donc le traitement de l'information, la communication, et quel était le troisième mot ?

Le calcul.

Le calcul et le traitement de l'information sont, selon moi, plus ou moins la même chose. Ensuite, on peut essayer de classer les différents types de traitement de l'information en fonction de leur complexité et les mathématiciens ont fait un travail incroyable à ce sujet, même s'ils ne savent toujours pas si P est égal à NP, etc. Mais pour en revenir à la conscience, je pense qu'une erreur que beaucoup de gens commettent lorsqu'ils pensent à leur propre conscience est par exemple : pouvez-vous voir la belle lumière du soleil entrer par la fenêtre et certaines couleurs ? Avoir le modèle selon lequel vous êtes en quelque sorte réellement conscient de ces choses, que le contenu de votre conscience est en quelque sorte le monde extérieur. Je pense que c'est clairement faux car vous pouvez vivre ces choses quand vos yeux sont fermés, quand vous rêvez. Je pense donc que l'expérience consciente est intrinsèque au traitement de l'information lui-même. Ce dont vous êtes réellement conscient quand vous me regardez, ce n'est pas moi, c'est le modèle du monde que vous avez et le modèle que vous avez de moi dans votre tête en ce moment, et vous pouvez en être conscient que vous soyez éveillé ou endormi. Et puis, bien sûr, vous utilisez vos sens et toutes sortes d'outils d'analyse pour mettre à jour constamment votre modèle intérieur du monde afin qu'il corresponde aux parties pertinentes de ce qui est à l'extérieur. Et c'est de cela que vous êtes conscient. Ce que Tononi dit, c'est que le traitement de l'information doit être tel qu'il ne s'agit pas secrètement de deux parties séparées qui ne communiquent pas du tout, car elles seraient alors essentiellement comme deux univers parallèles qui s'ignoreraient l'un l'autre et vous ne seriez pas capable d'avoir ce sentiment que tout est unifié. Je pense en fait que c'est un critère très raisonnable et il a une formule particulière qu'il appelle phi pour mesurer le degré d'intégration des choses et affirme que les choses qui ont un phi élevé sont plus conscientes. Je n'étais pas tout à fait sûr que ce soit la seule formule possédant cette propriété, j'ai donc écrit un article un jour pour classer toutes les formules possibles et il s'est avéré qu'il y en avait moins de cent. Il est donc très intéressant de tester si l'une des autres correspond mieux aux expériences que la sienne. Mais pour en finir sur la raison pour laquelle les gens disent que la conscience est du n'importe quoi, je pense qu'en fin de compte, la raison principale est soit qu'ils pensent que cela semble trop philosophique, soit qu'ils disent que l'on ne peut jamais tester les théories de la conscience. Parce que comment puis-je tester si vous êtes conscient ou non quand tout ce que je peux observer est votre comportement ? Mais il y a là un malentendu. Je suis beaucoup plus optimiste. Puis-je vous parler d'une expérience que j'envisage où l'on peut tester la théorie de la conscience ?

Bien sûr.

Supposons donc que vous ayez quelqu'un comme Giulio Tononi qui a vraiment pris des risques et a écrit une formule pour définir quel type de traitement de l'information est conscient. Et supposons que nous vous placions dans l'une de nos machines MEG ici au MIT ou dans un futur scanner capable de lire une quantité massive de vos données neuronales en temps réel. Et vous connectez cela à cet ordinateur qui utilise cette théorie pour faire des prédictions sur ce dont vous êtes conscient. Et là, il dit : je prédis que vous avez consciemment conscience d'une bouteille d'eau. Et vous vous dites : c'est vrai. Et puis il dit : maintenant je prédis que je vois un traitement de l'information là-bas sur la régulation de votre pouls et je prédis que vous êtes consciemment conscient de vos battements de cœur. Vous dites : non, je ne le suis pas. Vous venez d'invalider cette théorie, en fait. Elle a fait une prédiction sur votre expérience subjective et vous pouvez vous-même la falsifier. Donc, tout d'abord, il est possible pour vous d'invalider la théorie à votre satisfaction. Cela ne me convaincra peut-être pas, car je pourrais me dire : vous m'avez dit que vous n'étiez pas conscient de vos battements de cœur, peut-être que je pense que vous mentez ou peu importe.

Exactement.

Mais ensuite vous pouvez passer à : d'accord, hé Max, pourquoi n'essaies-tu pas cette expérience ? Et je mets mon casque MEG et je travaille avec ça, puis il commence à faire des suppositions incorrectes sur ce que je vis et je suis maintenant moi aussi convaincu qu'elle est invalidée. C'est un peu différent de la façon dont nous invalidons habituellement les théories, mais au bout du compte, quiconque s'intéresse à cela peut être convaincu que cette théorie est nulle et appartient aux poubelles de l'histoire. Et inversement, supposons que cette théorie continue de prédire exactement ce dont vous êtes conscient et jamais rien de ce dont vous n'êtes pas conscient. Vous commenceriez progressivement à être impressionné. Et si, de plus, vous lisiez ce qui entre dans cette théorie et que vous disiez : wow, c'est une formule magnifique et il est philosophiquement logique que ce soient les critères que la conscience devrait avoir, vous pourriez être tenté maintenant d'extrapoler sa validité et de vous demander si elle fonctionne aussi sur d'autres animaux biologiques, peut-être même sur des ordinateurs et ainsi de suite. Et ce n'est pas tout à fait différent de la façon dont nous avons traité, par exemple, la relativité générale. On pourrait dire qu'il est absurde de parler de ce qui se passe à l'intérieur des trous noirs parce qu'on ne peut pas y aller pour vérifier et revenir ensuite le raconter à ses amis. Mais ce que nous testons réellement, ce ne sont pas des idées philosophiques sur les trous noirs, nous testons une théorie mathématique, la relativité générale. Je l'ai là dans un cadre près de ma fenêtre. Et ce qui s'est passé, c'est que nous l'avons testée sur le décalage du périhélie de Mercure, sur le fait qu'elle ne parcourt pas vraiment une ellipse mais que l'ellipse est en légère précession. Nous l'avons testée et cela a fonctionné. Nous l'avons testée sur la façon dont la gravité courbe la lumière. Et puis nous l'avons extrapolée à toutes sortes de choses bien au-delà de ce qu'Einstein avait imaginé, comme ce qui se passerait quand notre univers était un milliard de fois plus petit en volume et ce qui se passerait quand des trous noirs se rapprochent très près les uns des autres et émettent des ondes gravitationnelles. Et elle a également passé tous ces tests. Cela nous a donc donné une grande confiance dans la théorie et donc aussi dans les prédictions que nous n'avons pas encore pu tester, même les prédictions que nous ne pourrons jamais tester, comme ce qui se passe à l'intérieur des trous noirs. C'est typique de la science, vraiment. Si quelqu'un dit, vous savez, j'aime Einstein et ce qu'il a prédit pour la gravité dans notre système solaire, mais je vais me retirer de la prédiction sur les trous noirs. On ne peut pas faire ça. Si vous acceptez la théorie, vous devez accepter toutes ses prédictions, pas seulement celles qui vous plaisent. Et si vous n'aimez pas les prédictions, eh bien, proposez une alternative à la relativité générale, écrivez les mathématiques et assurez-vous ensuite qu'elle prédit correctement toutes les choses que nous pouvons tester et bonne chance, car certains des humains les plus intelligents de la planète ont essayé pendant plus de cent ans et ont échoué. Donc si nous avons une théorie de la conscience du même acabit qui prédit correctement l'expérience subjective de quiconque met cet appareil et teste les prédictions sur ce dont il est conscient et que cela continue de fonctionner, je pense que les gens commenceront à prendre très au sérieux également ce qu'elle prédit sur les patients dans le coma qui semblent ne pas répondre, qu'ils soient atteints du syndrome d'enfermement ou dans le coma, et même ce qu'elle prédit sur la conscience des machines, si les machines souffrent ou non. Et les gens qui n'aiment pas cela, ils seront alors incités à travailler plus dur pour proposer une théorie alternative qui prédise au moins l'expérience subjective. C'était donc mon... je vais descendre de mon piédestal maintenant, mais c'est pourquoi je suis en profond désaccord avec les gens qui disent que la conscience est une foutaise totale. Je pense qu'ils disent cela plutôt comme une excuse pour être paresseux et ne pas y travailler.

Bonjour à tous, j'espère que vous appréciez l'épisode d'aujourd'hui. Si vous avez soif de plongées plus profondes dans la physique, l'IA, la conscience, la philosophie, ainsi que mes réflexions personnelles, vous trouverez tout cela sur mon Substack. Les abonnés bénéficient d'un accès prioritaire aux nouveaux épisodes, aux nouveaux articles également, à des aperçus des coulisses et à la chance de faire partie d'une communauté florissante de pèlerins partageant les mêmes idées. En nous rejoignant, vous soutiendrez directement mon travail et m'aiderez à maintenir ces conversations à la pointe du progrès. Cliquez donc sur le lien à l'écran ici, appuyez sur s'abonner, et continuons ensemble à repousser les limites de la connaissance. Merci et profitez de l'émission. Juste pour que vous sachiez si vous écoutez, c'est curtjaimungal.org, curtjaimungal.org.

Donc, dans l'expérience où vous placez des sondes sur votre cerveau afin de discerner quels neurones s'activent, ce serait un corrélat neuronal, et je suis sûr que vous y avez déjà pensé. D'accord, donc vous corrélez un schéma neuronal avec la bouteille et vous dites ensuite, d'accord, je pense que vous voyez une bouteille. Mais alors techniquement, testons-nous réellement la conscience ou testons-nous la corrélation supplémentaire du fait qu'il arrive que lorsque je vous pose la question, vivez-vous l'expérience d'une bouteille, et que nous voyons ce schéma neuronal, cela soit corrélé au fait que vous disiez oui ? C'est donc toujours une autre corrélation, n'est-ce pas ?

Eh bien, mais vous n'essayez pas de convaincre... quand l'expérience est menée sur vous, vous n'essayez pas de me convaincre. C'est juste vous qui parlez à l'ordinateur. Vous faites simplement des expériences sur la théorie, au fond. Il n'y a personne d'autre d'impliqué, aucun autre humain, et vous essayez simplement de vous convaincre vous-même. Vous restez donc là et vous avez toutes sortes de pensées. Vous pourriez simplement décider de fermer les yeux et de penser à votre endroit préféré à Toronto pour voir s'il peut prédire que vous en êtes conscient. Et puis vous pourriez aussi faire autre chose que vous savez pouvoir faire inconsciemment et voir si... si vous pouvez le piéger en lui faisant prédire que vous êtes conscient de cette information que vous savez être traitée dans votre cerveau. Vous essayez donc en fin de compte de vous convaincre que la théorie fait des prédictions incorrectes.

Je peux comprendre que l'on soit convaincu qu'il peut lire dans mes pensées au sens où il peut déterminer grossièrement ce que je vois. Mais je ne vois pas comment cela dirait à cet autre système que j'en suis conscient. De la même manière que nous pouvons voir quels fichiers se trouvent sur un ordinateur. Cela ne signifie pas que ces fichiers sont... ou quand nous faisons un copier-coller, nous pourrions voir un processus se dérouler. Nous n'allons pas dire que l'ordinateur en est conscient.

Eh bien, vous n'essayez pas de convaincre l'ordinateur. L'ordinateur est programmé pour faire simplement les prédictions à partir de cette prétendue théorie de la conscience, cette théorie mathématique. Et votre travail consiste simplement à voir : est-ce que ce sont les mauvaises équations ou les bonnes équations ? Et la façon dont vous vous en assurez est de voir s'il prédit correctement ou incorrectement ce dont vous êtes réellement subjectivement conscient. Nous devrions être clairs sur le fait que nous définissons la conscience ici simplement comme une expérience subjective, ce qui est très différent de parler des informations qui se trouvent dans votre cerveau. Par exemple, vous avez toutes sortes de souvenirs dans votre cerveau en ce moment auxquels vous n'avez probablement pas pensé depuis des mois et ce n'est pas votre expérience subjective en ce moment. Et encore une fois, quand j'ouvre les yeux et que je vois une person et que je... il y a un calcul en cours pour déterminer exactement qui elle est. Il y a toutes sortes d'informations détaillées là-dedans, probablement sur certains angles concernant leurs oreilles et des choses dont je ne suis pas du tout conscient. Et si la machine dit incorrectement que j'en suis conscient, là encore, la théorie a échoué. C'est donc assez difficile. C'est comme si vous regardiez mon bureau en désordre ou que je vous montrais une énorme quantité d'informations dans votre cerveau ou dans ce livre et supposons qu'il y ait un petit sous-ensemble de tout cela qui soit surligné en jaune, et que vous deviez avoir un ordinateur capable de prédire exactement ce qui est surligné en jaune. C'est assez impressionnant s'il y parvient. Et de la même manière s'il peut prédire avec précision quelles informations dans votre cerveau sont réellement des choses dont vous avez subjectivement conscience.

D'accord, voyons si je comprends bien. Donc dans la théorie de l'espace de travail global, vous avez comme un petit bureau et des pages sont envoyées au bureau mais seulement une petite quantité à un moment donné. Je sais qu'il y a une autre métaphore d'un projecteur, mais peu importe, pensons simplement à cela. Ce bureau est donc assez petit par rapport au globe. Notre cerveau est donc semblable à ce globe car il y a tellement de connexions différentes, il y a tellement de mots différents qu'il pourrait potentiellement y avoir. S'il existe une théorie capable de dire, hé, cette petite punaise est ce que vous vivez et que vous vous dites : en fait, c'est exact.

Exactement. Donc la théorie de l'espace de travail global, c'est super, mais elle n'est pas suffisamment prédictive pour faire cette expérience. Elle ne contient pas beaucoup d'équations, surtout des mots. Et donc personne n'a encore réellement fait cette expérience. J'aimerais beaucoup le faire, que quelqu'un le fasse, où l'on a cette théorie qui est suffisamment physique et mathématique pour qu'elle puisse réellement prendre des risques et risquer d'être prouvée fausse tout le temps. Je disais, juste pour conclure sur la conscience, que oui, c'est extrêmement impressionnant. Je ne sais même pas si cela peut être fait technologiquement. J'espère peut-être que cela pourra être fait approximativement, mais quoi qu'il en soit, nous pouvons à coup sûr infirmer des théories. Mais cela ne suggérerait toujours pas à un observateur extérieur que ce petit carré ici ou quiconque fait l'expérience de ce petit carré fait effectivement l'expérience de ce petit carré.

Mais vous savez déjà que vous vivez l'expérience du petit carré.

Je le sais.

Oui, c'est donc l'élément clé. Vous le savez. Moi, je ne le sais pas. Je ne sais pas que vous le savez. Mais vous pouvez vous convaincre que cette théorie est fausse ou que cette théorie est de plus en plus prometteuse. C'est là le piège. Et je tiens à souligner que les gens me disent parfois qu'on ne peut jamais prouver avec certitude que quelque chose est conscient. Nous ne pouvons jamais rien prouver avec la physique. Un petit secret bien gardé, mais nous ne pouvons jamais rien prouver. Nous ne pouvons pas prouver que la relativité générale est correcte. C'est probablement juste une très bonne approximation. Tout ce que nous faisons en physique, c'est de réfuter des théories. Mais si, comme dans le cas de la relativité générale, certaines des personnes les plus intelligentes sur terre ont passé plus d'un siècle à essayer de réfuter quelque chose et qu'elles ont encore échoué, nous commençons à le prendre assez au sérieux et à dire, eh bien, vous savez, cela pourrait être faux, mais nous allons le prendre très au sérieux comme une très bonne approximation au moins de ce qui se passe réellement. C'est ainsi que cela fonctionne en physique et c'est le mieux que nous puissions obtenir avec la conscience également. Quelque chose que les gens possèdent, qui fait des prédictions fortes et que nous n'avons pas réussi à infirmer malgré tous nos efforts, de sorte que nous commençons à le prendre plus au sérieux. Vous avez dit quelque chose d'intéressant : regardez, vous pouvez dire que cette théorie de la conscience est correcte pour vous ou vous pouvez vous en convaincre. C'est super intéressant car plus tôt dans la conversation, nous parlions de physique, de ce qui était considéré comme de la physique et de ce qui ne l'est plus, alors qu'est-ce que cette frontière amorphe, peut-être qu'elle n'est pas amorphe mais elle change.

Cela change absolument.

Pensez-vous que ce soit également le cas pour la science ? Pensez-vous que la science, pour intégrer une vision scientifique de la conscience, va devoir changer ce qu'elle considère comme de la science ?

Je pense que je suis un grand fan de Karl Popper. Personnellement, je considère les choses comme scientifiques si nous pouvons les falsifier. Si personne ne peut même imaginer une façon dont nous pourrions, même conceptuellement à l'avenir avec un financement et une technologie arbitraires, la tester, je dirais que ce n'est pas de la science.

Nous n'avons même pas eu besoin de voler vers les étoiles pour comprendre ce qu'elles étaient. Nous avons juste dû laisser notre esprit s'envoler. Et Aristarque de Samos, il y a plus de 2 000 ans, observait une éclipse de lune. Et certains de ses amis disaient probablement : "Oh, la lune est devenue rouge. Cela signifie probablement que nous allons tous mourir", ou "C'est un présage des dieux". Et il se dit : "Hmm, la lune est là, le soleil vient de se coucher là-bas. C'est donc manifestement l'ombre de la Terre qui se projette sur la lune. Et en fait, le bord de l'ombre de la Terre n'est pas droit, il est courbe. Nous vivons donc sur une chose courbe ? Nous vivons peut-être sur une boule. Hein." Et attendez une minute, la courbure de l'ombre de la Terre montre clairement que la Terre est bien plus grande que la lune. Et il est allé calculer combien de fois la Terre est plus grande que la lune. Et puis il se dit : "D'accord, eh bien, je sais que la Terre fait environ 40 000 kilomètres parce que j'ai lu qu'Ératosthène avait compris cela. Et je sais que je peux couvrir la lune avec mon petit doigt, donc elle fait environ un demi-degré. Je pourrais donc calculer la taille physique réelle de la lune." Ce sont des idées comme celles-là qui ont commencé à briser cette malédiction d'un pessimisme excessif. Nous avons commencé à croire un peu plus en nous-mêmes. Et nous voici maintenant avec Internet, avec l'intelligence artificielle, avec toutes ces petites choses que l'on peut manger et qui empêchent de mourir d'une pneumonie. Mon grand-père, Sven, est mort d'une bête infection rénale. Elle aurait pu être traitée avec de la pénicilline. C'est incroyable de voir à quel point il y a eu un pessimisme excessif. Et je pense que nous en avons encore beaucoup, malheureusement. C'est pourquoi je veux en revenir à cette idée qu'il n'y a pas de meilleure façon d'échouer dans quelque chose que de se convaincre que c'est impossible. Et regardez l'IA. Je dirais que chaque fois qu'avec la science nous avons commencé à comprendre comment fonctionne quelque chose dans la nature que nous considérions auparavant comme une sorte de magie, comme ce qui cause les vents, les saisons, ce qui fait bouger les choses, nous avons pu historiquement transformer cela en une technologie qui faisait souvent cela mieux et pouvait mieux nous servir. Nous avons donc compris comment nous pouvions construire des machines plus fortes que nous et plus rapides que nous. Nous avons eu la révolution industrielle. Maintenant, nous comprenons que la pensée est aussi un processus physique, un traitement de l'information, un calcul. Et Alan Turing a été, bien sûr, l'un des véritables pionniers dans ce domaine. Et he a clairement réalisé que le cerveau est un ordinateur biologique. Il ne savait pas comment fonctionnait le cerveau, nous ne le savons toujours pas exactement, mais il était très clair pour lui que nous pourrions probablement construire quelque chose de bien plus intelligent et peut-être plus conscient aussi, une fois que nous aurions compris plus de détails. Je dirais que depuis les années 50, quand le terme IA a été inventé, le domaine a été chroniquement surestimé. La plupart des progrès ont été bien plus lents que ce que les gens prédisaient, même que ce que McCarthy et Minsky prédisaient pour cet atelier de Dartmouth. Mais quelque chose a changé il y a environ quatre ans, quand il est passé de surestimé à sous-estimé. Car je me souviens très bien, il y a sept ans, la plupart de mes collègues ici au MIT et la plupart de mes collègues de l'IA en général étaient assez convaincus que nous étions à des décennies de passer le test de Turing, à des décennies de construire des machines capables de maîtriser le langage et les connaissances au niveau humain. Et ils avaient tous tort. Ils étaient bien trop pessimistes car c'est déjà arrivé. On peut discuter pour savoir si c'est arrivé avec ChatGPT-4 ou quand exactement, mais il est clair que c'est maintenant du passé. Donc si les gens pouvaient se tromper à ce point là-dessus, peut-être qu'ils se trompaient sur plus. Et bien sûr, depuis lors, l'IA est passée du niveau lycée au niveau licence, puis au niveau doctorat, puis au niveau professeur et même bien au-delà dans de nombreux domaines en seulement quatre courtes années. Prédiction après prédiction a été pulvérisée maintenant que les choses se sont passées plus vite. Je pense donc que nous sommes passés du régime surestimé au régime sous-estimé. Et c'est, bien sûr, la raison pour laquelle tant de gens parlent aujourd'hui de la possibilité d'atteindre globalement le niveau humain dans quelques années ou dans cinq ans, selon le PDG d'entreprise technologique ou le professeur à qui vous parlez. Mais il m'est très difficile de trouver quelqu'un de sérieux qui pense que nous en sommes à 100 ans. Et puis il faut repenser et relire votre Turing. Il a dit en 1951 qu'une fois que nous aurons des machines bien plus intelligentes que nous à tous points de vue, le résultat par défaut est qu'elles prendront le contrôle et qu'à partir de là, la Terre sera dirigée par elles, pas par nous, tout comme nous avons pris le relais d'autres grands singes. Et Irving J. Good a souligné dans les années 60 que ce dernier sprint, passant d'un niveau proche du nôtre, un peu meilleur que nous, à un niveau bien supérieur, peut aller très vite car dès que nous pourrons remplacer les chercheurs humains en IA par des machines qui n'ont pas besoin de dormir ni de manger et peuvent réfléchir 100 fois plus vite et copier toutes leurs connaissances aux autres, chaque doublement de qualité à partir de là pourrait ne pas prendre des mois ou des années comme c'est le cas actuellement, à l'échelle du temps de la R&D humaine, cela pourrait arriver chaque jour ou à l'échelle de quelques heures. Et nous obtiendrions cette sigmoïde finalement où nous passerions du genre de progrès exponentiel lent que la technologie a connu depuis l'aube de la civilisation à une exponentielle qui va beaucoup plus vite, d'abord parce que les humains sont maintenant hors jeu, et ensuite elle finit par plafonner en une sigmoïde lorsqu'elle se heurte aux lois de la physique. Peu importe votre intelligence, vous n'allez probablement pas envoyer des informations plus vite que la lumière, et la relativité générale et la mécanique quantique imposent des limites. Mais mon collègue Seth Lloyd, ici au MIT, a estimé que nous sommes encore à environ un million de millions de millions de fois des limites imposées par les lois de la physique. Et puis, je continue de découvrir d'autres choses, Stuart Russell a déterré cette citation amusante de lui en 1951 où il parle aussi de ce qui arrive quand nous atteignons ce seuil. Et il dit : "Eh bien, ne vous inquiétez pas de cette perte de contrôle maintenant en 51 car c'est loin, mais je vais vous donner des tests pour que vous sachiez quand faire attention, le canari dans la mine, le test de Turing comme nous l'appelons maintenant." Et nous avons déjà parlé du fait que celui-ci vient d'être réussi. Cela me rappelle tellement ce qui s'est passé vers 1942 quand Enrico Fermi a construit la première réaction nucléaire en chaîne auto-entretenue sous le stade de football de Chicago. C'était comme un test de Turing pour les armes nucléaires. Quand les physiciens qui ont appris cela alors, ils ont totalement paniqué. Non pas parce que le réacteur était du tout dangereux, il était assez petit, il n'était pas plus dangereux que ne l'est ChatGPT aujourd'hui, mais parce qu'ils ont réalisé : "Oh, c'était le canari dans la mine de charbon. C'était la dernière grande étape que nous ne savions pas comment franchir, et le reste n'est que de l'ingénierie." Je ressens la même chose pour l'IA maintenant. Je pense que nous n'avons évidemment pas d'IA aussi bonnes que nous pour le développement de l'IA, mais ce n'est plus que de l'ingénierie à partir de maintenant. En 1942, je suis curieux d'ailleurs, si vous aviez rendu visite à Fermi, dans combien d'années auriez-vous prédit que la première explosion nucléaire aurait eu lieu à partir de là ?

Difficile à dire, peut-être une décennie.

Ah. Et bien, c'est arrivé en trois ans. Cela aurait pu être une décennie, cela a probablement été un peu accéléré par la compétition géopolitique qui se déroulait pendant la Seconde Guerre mondiale. De même, il est très difficile de dire aujourd'hui si ce sera trois ans, si ce sera une décennie, mais la concurrence ne manque pas pour l'alimenter à nouveau. Et contrairement à la situation nucléaire, il y a aussi beaucoup d'argent en jeu. C'est le carrefour le plus intéressant de l'histoire de l'humanité. Et si la Terre est le seul endroit de notre univers observable où il existe réellement une conscience de l'univers au sens large, c'est probablement aussi le carrefour le plus intéressant de ces 13,8 derniers milliards d'années pour notre univers également, car il y a tellement d'endroits différents où cela pourrait aller, et nous avons tellement de pouvoir pour orienter les choses dans une bonne direction plutôt que dans une mauvaise. Voici une question que je me pose. Quand on parle de la prise de contrôle par les IA, je me demande, quelles IA au juste ? Claude est-il considéré comme un concurrent d'OpenAI dans cet espace de l'IA ? Du point de vue de l'IA, considère-t-elle les autres modèles comme "tu es un ennemi car je veux m'auto-préserver" ? Claude regarde-t-il d'autres instances — vous avez vos propres discussions Claude, sont-elles toutes concurrentes ? Est-ce que chaque fois qu'il génère un nouveau jeton, c'est une nouvelle identité ? Regarde-t-il donc ce qui va suivre et ce qui a précédé comme "hé, je voudrais que tu n'existes plus parce que je veux exister" ? Quelle est l'identité continue qui nous ferait dire que les IA prendront le contrôle ? Qu'est-ce que l'IA là-dedans ?

Ce sont de très bonnes questions. La réponse très courte est que les gens ne le savent généralement pas. Mais je dirai quelques choses. Tout d'abord, nous ne savons pas si Claude ou GPT-5 ont une expérience subjective ou non, s'ils sont conscients ou non. Parce que nous n'avons pas de théorie consensuelle sur le type de traitement de l'information qui possède une expérience subjective, sur ce qu'est la conscience. Il n'est pas nécessaire que les machines soient conscientes pour qu'elles représentent une menace pour nous. Si vous êtes poursuivi par un missile à tête chercheuse, vous ne vous souciez probablement pas de savoir s'il est conscient dans un sens philosophique profond, vous vous souciez simplement de ce qu'il fait réellement, de ses objectifs. Passons donc à la discussion sur le comportement des systèmes. En physique, nous pensons généralement que le comportement est déterminé par le passé par la causalité. Pourquoi ce téléphone est-il tombé ? Parce que la gravité a tiré dessus, parce qu'il y a une Terre ici en bas. Quand on regarde ce que font les gens, on explique généralement ce qu'ils font non pas par le passé, mais par le futur, par un but qu'ils essaient d'atteindre. Si vous voyez quelqu'un marquer un but magnifique dans un match de football, vous diriez plus probablement : "Eh bien, ils voulaient gagner." Et nous, lorsque nous construisons une technologie, nous la construisons généralement avec un but précis. Les gens construisent des missiles à tête chercheuse pour abattre des avions, ils ont un but. Nous construisons des souricières pour tuer des souris. Et nous entraînons nos systèmes d'IA aujourd'hui, nos grands modèles de langage par exemple, pour gagner de l'argent et accomplir certaines choses. Mais pour répondre réellement à votre question de savoir si ce système aurait pour but de collaborer avec d'autres systèmes ou de les détruire ou de les voir comme des concurrents, il faut en fait se demander s'il est significatif de dire que ce système d'IA dans son ensemble a un but cohérent. Et ce n'est pas clair du tout, honnêtement. On pourrait dire à un niveau très trivial que ChatGPT a pour but de prédire correctement le prochain jeton ou mot dans une grande quantité de texte parce que c'est exactement ainsi que nous l'avons entraîné, vous le laissez simplement lire tout Internet et prédire quels mots vont suivre. Mais il est clair qu'ils sont capables d'avoir des buts bien plus sophistiqués que cela car il s'avère que pour prédire, si vous essayez juste de prédire mon prochain mot, cela aide si vous créez un modèle plus détaillé de moi en tant que personne et de mes buts réels. Ces systèmes d'IA sont donc devenus très bons pour simuler les gens, en se disant : "Cela ressemble à un républicain, donc si ce républicain écrit sur l'immigration, il va probablement écrire ceci." Ils sont donc très bons pour modéliser les buts des gens. Mais cela signifie-t-il qu'ils ont eux-mêmes ces buts ? Si vous êtes un très bon acteur, vous êtes très doué pour modéliser des personnes avec toutes sortes de buts différents, mais cela signifie-t-il que vous avez réellement ces buts ? Ce n'est pas une situation bien comprise. Et lorsque les entreprises dépensent beaucoup d'argent dans ce qu'elles appellent l'alignement d'une IA, qu'elles présentent comme le fait de lui donner de bons buts, ce qu'elles font réellement en pratique, c'est simplement influencer son comportement. Elles la punissent donc lorsqu'elle dit des choses qu'elles ne veulent pas qu'elle dise et l'encouragent. C'est exactement comme si vous entraîniez un tueur en série à ne rien dire qui révèle ses désirs. Je suis curieux, si vous faites cela et que le tueur en série cesse d'évoquer la moindre envie d'éliminer quelqu'un, auriez-vous l'impression d'avoir réellement changé les buts de cette personne pour qu'elle ne veuille plus tuer personne ?

La différence dans ce cas serait que les buts de l'IA semblent être extrêmement liés à sa correspondance avec n'importe quelle fonction d'aptitude que vous lui donnez, alors que dans le cas du tueur en série, ses buts réels sont autre chose et ses propos sont autre chose. Mais il semble que dans le cas des LLM, leurs buts et leurs propos soient équivalents.

Dans les LLM, quand vous entraînez un LLM — je parle de la phase de pré-entraînement maintenant où ils lisent tout Internet — vous ne lui dites pas d'être gentil ou quoi que ce soit de ce genre. Vous l'entraînez simplement à avoir pour but de prédire. Et ensuite, dans ce qu'on appelle le réglage fin, l'apprentissage par renforcement à partir de la rétroaction humaine est l'expression technique pour cela.

Oui.

Là, vous regardez différentes réponses qu'il pourrait donner et vous dites : "Je veux celle-ci, pas celle-là." Mais vous ne lui expliquez pas encore une fois. J'ai un fils de deux ans. Mon idée pour faire de lui une bonne personne est de l'aider à comprendre la valeur de la gentillesse. Mon approche de la parentalité n'est pas d'être méchant avec lui s'il donne un coup de pied à quelqu'un sans aucune explication. Je veux plutôt qu'il intériorise le but d'être une personne gentille et qu'il accorde de l'importance au bien-être d'autrui. Et c'est très différent de la façon dont nous pratiquons l'apprentissage par renforcement avec rétroaction humaine. Et il n'est franchement pas du tout clair, j'oserais dire que nous n'avons aucune idée réelle de quels buts, s'il en a, possède ChatGPT. Il agit comme s'il avait des buts. Mais si vous frappez un chien chaque fois qu'il essaie de mordre quelqu'un, il va aussi agir comme s'il ne voulait pas mordre les gens. Il est tout à fait possible qu'il n'ait pas du tout d'ensemble particulier de buts unifiés. C'est donc une chose très importante à étudier et à comprendre car si nous finissons un jour par vivre avec des machines bien plus intelligentes que nous, notre bien-être dépendra du fait qu'elles aient maintenant des buts réels pour bien nous traiter, et pas seulement qu'elles aient prononcé les bons mots à la mode avant de prendre le pouvoir. Nous avons tous deux vécu avec des entités qui étaient plus intelligentes que nous, nos parents quand nous étions petits, et cela s'est bien passé parce qu'ils avaient réellement pour but d'être gentils avec nous. Nous avons donc besoin d'une compréhension plus profonde et très fondamentale de la science des buts dans les systèmes d'IA. À l'heure actuelle, la plupart des gens qui disent avoir aligné les buts des IA racontent n'importe quoi à mon avis. Ils ne l'ont pas fait, ils ont aligné le comportement, pas les buts. Et je voudrais encourager les physiciens et les mathématiciens qui regardent ceci et qui envisagent de se lancer dans l'IA à y réfléchir, car les physiciens ont un niveau d'exigence bien plus élevé sur ce qu'ils entendent par comprendre quelque chose que les ingénieurs d'habitude. Les ingénieurs se diront : "Eh bien, ça marche. Livrons-le." Tandis qu'en tant que physicien, vous pourriez vous dire : "Mais pourquoi exactement cela fonctionne-t-il ? Et puis-je aller un peu plus loin ? Existe-t-il une théorie des champs effective pour expliquer le fonctionnement de la dynamique d'entraînement ?" C'est le genre de chose qu'Hopfield a fait avec la mémoire, c'est le genre de chose que Jeff Hinton a faite. Et nous avons besoin de beaucoup plus de cela pour avoir une théorie réelle et satisfaisante de l'intelligence, de ce qu'elle est, et des buts. Si nous avons réellement un système d'IA qui a véritablement des buts et qu'il existe un moyen pour nous de savoir réellement ce qu'ils sont, alors nous serions dans une bien meilleure situation qu'aujourd'hui. Nous n'avons pas résolu les problèmes car cette IA, si elle est très loyale, pourrait appartenir à quelqu'un qui veut lui ordonner de faire des choses horribles. Mais au moins, nous aurons alors le luxe de parler réellement des buts que les systèmes d'IA devraient avoir. Un mot important a été utilisé : comprendre. C'est une chose dont je veux parler. Que signifie comprendre ? Avant d'en arriver là, je veux m'attarder un instant sur votre fils. Donc, quand vous formez votre fils, pourquoi n'est-ce pas un apprentissage par renforcement pour l'enfant ? Et l'on pourrait se demander, et si la phase de pré-entraînement était toute l'évolution qui aurait simplement donné naissance à son système nerveux par défaut, et que vous interveniez maintenant avec votre apprentissage par renforcement et ajustiez non seulement son comportement mais aussi ses buts simultanément ?

Commençons donc par cette seconde partie. Tout d'abord, la façon dont le RLHF fonctionne réellement aujourd'hui, c'est que des entreprises américaines paient un ou deux dollars de l'heure à un groupe de personnes au Kenya et au Nigeria pour qu'elles s'asseyent et regardent les images les plus horribles et graphiques et des choses affreuses, puis elles les classent continuellement, et est-ce que c'est quelque chose qui devrait être acceptable ou non. Cela n'a rien à voir avec la façon dont quiconque regarde ce podcast traite son enfant, où il essaie vraiment de l'aider à comprendre en profondeur. Deuxièmement, l'architecture réelle des transformeurs et des systèmes plus structurés en cours de construction est très différente de notre compréhension limitée du fonctionnement du cerveau d'un enfant. Donc non, nous ne pouvons certainement pas nous contenter de crier victoire et de passer à autre chose. Tout comme je l'ai dit auparavant que les gens ont utilisé, je pense, des excuses philosophiques pour éviter de travailler dur sur le problème de la conscience, je pense que certaines personnes ont avancé des excuses philosophiques pour éviter de poser cette question très sensée des buts. Avant de parler de compréhension, puis-je parler un peu plus des buts ?

S'il vous plaît.

Si nous parlons d'abord du comportement orienté vers un but, il y a moins de bagage émotionnel associé à cela. Définissons le comportement orienté vers un but comme un comportement qui s'explique plus facilement par le futur que par le passé, plus facilement par les effets qu'il va avoir que par ce qui l'a causé. Donc, pour en revenir à cela, si je prends cette thèse ici et que je la frappe et que vous demandez pourquoi elle a bougé, vous pourriez dire que la cause de son mouvement était qu'un autre objet, ma main, l'a percutée, action égale réaction, il y a eu cette impulsion donnée, etc. Ou vous pourriez le voir comme un comportement orienté vers un but, en pensant : "Max voulait illustrer un point, il voulait qu'elle bouge, donc il a fait quelque chose qui l'a fait bouger." Et cela semble être la description la plus économique dans ce cas. Et c'est intéressant, même en physique de base, nous voyons des choses qui peuvent parfois être plus facilement expliquées par le futur. D'abord, je veux dire qu'il n'y a pas de bonne ou de mauvaise description, ces deux descriptions sont correctes. Regardez à nouveau l'eau dans cette bouteille ici. Si vous y plongez une paille, elle aura l'air un peu tordue parce que les rayons lumineux se courbent lorsqu'ils traversent la surface pour entrer dans l'eau. Vous pouvez donner deux types d'explications différents à cela. L'explication causale serait : "Le rayon lumineux est arrivé là, il y avait des atomes dans l'eau et ils ont interagi avec le champ électromagnétique et après un calcul très compliqué, on peut calculer l'angle selon lequel il descend." Mais vous pouvez donner une explication différente, le principe de Fermat, et dire qu'en fait le rayon lumineux a pris le chemin qui allait le faire arriver le plus vite possible. S'il s'agissait d'une plage et d'un océan et que vous travailliez l'été comme maître-nageur et que vous voyiez un nageur en difficulté ici, comment iriez-vous vers le nageur ? Vous prendriez encore une fois le chemin qui vous y amène le plus vite possible. Vous parcourrez donc une plus longue distance dans l'air sur la plage, puis une distance plus courte dans l'eau. C'est clairement un comportement orienté vers un but pour nous. Mais pour le photon ?

Eh bien, les deux descriptions sont valables. Il s'avère dans ce cas qu'il est en fait plus simple de calculer la bonne réponse si l'on applique le principe de Fermat et que l'on regarde la manière orientée vers le but. Et maintenant, ce que nous voyons en biologie, Jeremy England, qui a été professeur ici, a réalisé que dans de nombreux cas, la thermodynamique hors équilibre peut aussi être comprise parfois plus simplement par un comportement orienté vers un but. Par exemple, supposons que je mette un tas de sucre sur le sol et qu'aucune forme de vie n'entre jamais dans la pièce, revenez dans un an, il sera toujours là. Mais s'il y a des fourmis, le sucre aura disparu très vite. Et l'entropie aura augmenté plus rapidement de cette façon parce que le sucre a été mangé et qu'il y a eu dissipation. Et Jeremy England a montré en fait qu'il existe un principe général dans la thermodynamique hors équilibre où les systèmes ont tendance à s'ajuster pour toujours pouvoir dissiper plus vite, si vous avez certains types de liquides où vous pouvez mettre des substances qui, si vous les éclairez à une certaine longueur d'onde, vont se réorganiser pour mieux absorber cette longueur d'onde afin de dissiper la chaleur plus vite. Et vous pouvez même penser à la vie elle-même un peu comme cela. La vie ne peut fondamentalement pas réduire l'entropie dans l'univers dans son ensemble, elle ne peut pas battre le second principe de la thermodynamique, mais elle a cette astuce qui lui permet de maintenir sa propre entropie basse et de faire des choses intéressantes, de conserver sa complexité et de se reproduire, en augmentant l'entropie de son environnement encore plus vite. Donc si je comprends bien, l'augmentation de l'entropie dans l'environnement est l'effet secondaire, mais le but est d'abaisser votre propre entropie.

Encore une fois, il y a deux façons de voir les choses. Vous pouvez tout considérer comme un tas d'atomes qui rebondissent et tout expliquer de manière causale. Mais une façon plus économique d'y penser est de considérer que la vie fait la même chose que ce liquide qui se réorganise pour absorber la lumière du soleil. C'est un processus qui augmente simplement la production globale d'entropie dans l'univers, il rend l'univers plus désordonné plus rapidement, afin de pouvoir accomplir des choses lui-même. Et comme la vie peut faire des copies d'elle-même, bien sûr, les systèmes qui sont les plus aptes à le faire vont tout envahir et l'on obtient une tendance générale vers plus de vie, plus de complexité. Et nous voici en train d'avoir une conversation. Ce que je veux dire par là, c'est que le comportement orienté vers un but, à un niveau très basique, était en fait inscrit dans les lois de la physique. C'est pourquoi le principe de Fermat, il y a deux façons de concevoir la physique : soit comme le passé causant le futur, soit comme des choix délibérés faits maintenant pour causer un certain futur. Et progressivement, notre univers est devenu de plus en plus orienté vers un but à mesure que nous commencions à avoir des formes de vie de plus en plus sophistiquées, aujourd'hui nous. Et nous en sommes déjà à un point de transition très intéressant aujourd'hui où la quantité d'atomes présents dans la technologie que nous avons construite avec des buts en tête devient déjà comparable à la biomasse. Et il se pourrait, si nous finissons dans une sorte de futur alimenté par l'IA où la vie commence à se répandre dans le cosmos à une vitesse proche de celle de la lumière, que la vaste majorité de tous les atomes soient engagés dans un comportement orienté vers un but. Je voulais donc juste l'ancrer un peu plus dans la physique à nouveau, et dire que je pense qu'il est très intéressant pour les physiciens de réfléchir davantage à la physique du comportement orienté vers un but. Et quand on regarde un système d'IA, ce qui joue souvent le rôle de but n'est en fait qu'une fonction de perte ou une fonction de récompense. Vous avez beaucoup d'options et il y a une sorte d'optimisation essayant de rendre la perte aussi petite que possible. Et chaque fois qu'il y a une optimisation, diriez-vous qu'il y a un but ?

59 vous dites que c'est un.

Même principe que l'horloge.

Exactement comme une horloge.

Exactement comme une horloge parce que c'est votre modèle dans votre cerveau concernant l'arithmétique modulaire. Vous imaginez tous les nombres disposés en cercle. Après 10 et 11 vient 12, mais ensuite vient un. Ce qui s'est passé, c'est qu'il y a environ 3600 paires de nombres. Nous avons entraîné le système sur une fraction de celles-ci pour voir s'il pouvait apprendre à obtenir la bonne réponse. Et la façon dont l'IA fonctionnait était qu'elle apprenait à intégrer et à représenter chaque nombre, qui lui était donné simplement sous forme de symbole, comme un point dans un espace de grande dimension. Nous avons donc ces 59 points dans un espace de grande dimension. Et puis nous avons entraîné un autre réseau de neurones à examiner ces représentations. On lui donne donc ce point et ce point et il doit comprendre, d'accord, qu'est-ce que ceci plus cela modulo 59 ? Et puis quelque chose de choquant est arrivé. On l'entraîne, puis il commence à s'améliorer sur les données d'entraînement. Et puis à un certain point, soudainement, il commence aussi à s'améliorer sur les données de test. Il commence donc à être capable de répondre correctement à des questions sur des paires de nombres qu'il n'a pas encore vues. Il a donc eu en quelque sorte un moment d'eurêka où il a compris quelque chose sur le problème. Il en a eu une certaine compréhension. J'ai donc suggéré à mes étudiants de regarder ce qui se passait pour la géométrie de tous ces points qui se déplacent dans cet espace de grande dimension pendant l'entraînement. Je leur ai dit de faire une chose très simple, l'analyse en composantes principales, où l'on essaie de voir s'ils se trouvent principalement dans un plan et alors on peut simplement tracer les 59 points. Et c'était tellement cool ce qui s'est passé. On regarde cela, on voit 59 points qui ont l'air très aléatoires, ils se déplacent, et puis au moment exact où se produit le moment d'eurêka, quand l'IA devient capable de répondre à des questions qu'elle n'a pas vues auparavant, les points s'alignent sur un cercle magnifique.

Intéressant.

Sauf qu'il n'y a pas 12 choses mais 59 maintenant car c'était le problème qu'elle avait. Pour moi, j'ai l'impression que l'IA était parvenue à comprendre quel était le problème. Elle avait élaboré un modèle ou comme nous l'appelons souvent, une représentation du problème, dans ce cas en termes d'une belle géométrie. Et cette compréhension lui a alors permis de voir des schémas dans le problème de sorte qu'elle a pu généraliser à toutes sortes de choses qu'elle n'avait même pas rencontrées auparavant. Je ne suis donc pas capable de donner une réponse succincte, magnifique et totalement complète à votre question sur la définition de la compréhension artificielle, mais j'ai le sentiment que c'est un exemple, un petit exemple de compréhension. Nous en avons vu beaucoup d'autres depuis. Nous avons écrit un autre article où nous avons découvert que lorsque les grands modèles de langage font de l'arithmétique, ils représentent les nombres sur une hélice, comme une forme de spirale. La direction longue de celle-ci peut être vue comme une représentation des nombres en analogique, mais en les enroulant sur une hélice comme celle-ci, on peut utiliser les chiffres pour tourner autour. Il y avait en fait plusieurs hélices, il y a une hélice de 100 et une hélice de 10 et je soupçonne donc qu'un jour les gens en viendront à réaliser que plus largement quand les machines comprennent des trucs et quand nous comprenons aussi des choses, cela a à voir avec le fait de voir des motifs et ensuite de trouver une façon astucieuse de représenter les motifs de telle sorte que la représentation elle-même contribue déjà grandement à vous donner les réponses dont vous avez besoin. Je suis un penseur très visuel quand je fais de la physique ou quand je réfléchis en général. Je n'ai jamais l'impression de pouvoir comprendre quoi que ce soit à moins d'en avoir une image géométrique à l'esprit.

En fait, Feynman en parlait. Feynman disait qu'il y avait cette histoire de lui et d'un ami qui pouvaient tous deux compter jusqu'à 60 avec précision. Et il disait à son ami : je ne peux pas le faire si tu agites tes bras devant moi ou si tu me distrais ainsi.

Je m'en souviens.

Mais je le peux si j'écoute de la musique, je peux toujours faire ce tour. Et il disait, je ne peux pas le faire si j'écoute de la musique, mais tu peux agiter tes bras autant que tu veux. Et Feynman a réalisé qu'il voyait les chiffres un, deux, trois. Son astuce consistait à avoir une image mentale visuelle. Et l'autre personne avait un métronome.

Oui.

Mais le but ou le résultat était le même, mais la manière d'y parvenir était différente. Il y a d'ailleurs quelque chose en philosophie qu'on appelle le paradoxe du suivi de règles. Il y a deux paradoxes du suivi de règles. L'un est de Kripke et l'autre est celui que je m'apprête à dire. Comment savoir quand on enseigne à un enfant qu'il a réellement suivi les règles de l'arithmétique ? On peut le tester sur 50 plus 80, etc.

Oui.

50 fois 200 et ils peuvent réussir à chaque fois. Ils peuvent même vous montrer leur raisonnement, mais alors vous ne savez pas si cela échoue en fait à 6 000 fois 51 et pour les nombres au-dessus de cela.

Intéressant.

On ne sait pas s'ils ont utilisé une méthode spéciale et alambiquée pour y arriver.

Exactement.

Tout ce qu'on peut faire, c'est dire que vous avez résolu ce cas, ce cas et ce cas. C'est en fait l'avantage que nous avons avec les ordinateurs, c'est que nous pouvons inspecter la façon dont ils comprennent.

En principe, mais quand on regarde sous le capot de quelque chose comme ChatGPT, on ne voit que des milliards de chiffres et on n'a souvent aucune idée de ce que font toutes ces multiplications de matrices et des choses comme ça. Mais l'interprétabilité mécaniste, bien sûr, est précisément la quête pour aller au-delà de cela et voir comment cela fonctionne réellement. Et pour en revenir à la compréhension et aux représentations, il existe cette idée connue sous le nom d'hypothèse de la représentation platonique selon laquelle si vous avez deux machines différentes ou deux personnes qui parviennent toutes deux à une compréhension profonde de quelque chose, il y a une chance qu'elles aient abouti à une représentation similaire. Dans le cas de Feynman, il y en avait deux différentes, mais il n'y en a probablement tout au plus que quelques-unes qui soient vraiment bonnes.

Cela semble être une thèse difficile à soutenir.

Mais il y a beaucoup de preuves qui sortent maintenant en ce sens, en fait. Il y a plusieurs années, il y avait cette équipe qui a simplement pris des jetons dans ChatGPT et d'autres systèmes d'IA, qui sont représentés sous forme de points dans un espace de grande dimension. Cette équipe a donc pris un système qui n'avait été entraîné que sur des livres anglais et un autre entraîné uniquement sur des contenus italiens. Et ils ont juste regardé ces deux nuages de points et ont découvert qu'il y avait un moyen de les faire pivoter pour les faire correspondre le mieux possible et cela leur a donné un dictionnaire anglais-italien assez décent. Ils avaient donc la même représentation. Et il y a beaucoup d'articles récents montrant qu'il semble que les représentations qu'un grand modèle de langage comme ChatGPT possède, par exemple, soient à bien des égards similaires à celles que d'autres possèdent. Nous avons fait un article, mon doctorant Zhaowan Beck et moi, où nous avons examiné des arbres généalogiques. Nous avons donc pris l'arbre généalogique des Kennedy, un tas d'arbres généalogiques de la royauté, etc. Et nous avons simplement entraîné l'IA à prédire correctement qui est le fils de qui, qui est l'oncle de qui, si tel ou tel est la sœur de qui. Nous avons posé toutes ces questions et nous avons également incité le grand modèle de langage à l'apprendre de la manière la plus simple possible en limitant les ressources dont il disposait. Et puis, quand nous avons regardé à l'intérieur, nous avons découvert quelque chose d'incroyable. Nous avons découvert que tout d'abord, tout un tas de systèmes indépendants avaient appris la même représentation. On pouvait donc réellement prendre la représentation de l'un et littéralement la faire pivoter et l'étirer un petit peu et la mettre dans l'autre et cela fonctionnerait. Et puis quand nous avons regardé ce que c'était, c'étaient des arbres. Nous ne lui avons jamais rien dit sur les arbres généalogiques, mais il dessinait par exemple voici ce roi untel et puis voici les fils. Il pouvait utiliser cela pour savoir que si quelqu'un se trouve plus bas, c'est un descendant. C'est encore un autre exemple à l'appui de cette hypothèse de la représentation platonique, l'idée que la compréhension a probablement quelque chose à voir avec la capture de motifs d'une belle manière géométrique, en fait.

Je voulais donc terminer sur le conseil que vous avez reçu de vos parents, qui était de ne pas trop se soucier de ce que les autres pensent. Je voulais aussi parler de quelles sont les idées fausses sur votre travail que d'autres collègues ont même et que vous devez constamment dissiper, et un autre sujet dont je voulais parler était l'univers mathématique.

Oh, les trucs faciles.

Il y en a donc trois, mais nous n'avons pas le temps pour les trois. Si vous pouviez trouver un moyen de les lier tous ensemble, n'hésitez pas comme un jongleur, mais sinon je voudrais terminer sur le conseil de vos parents.

La raison pour laquelle j'ai passé tant d'années à me demander si nous faisons tous partie d'une structure mathématique et si notre univers est réellement mathématique plutôt que simplement décrit par les mathématiques, c'est parce que j'ai écouté mes parents car on m'a tellement critiqué pour cela. Et j'ai juste senti que j'allais le faire quand même parce que pour moi cela a un sens logique. Je vais proposer ces idées. Et en ce qui concerne les idées fausses à mon sujet, je pense qu'une idée fausse est que d'une manière ou d'une autre je ne crois pas que le fait d'être falsifiable soit important pour la science. Comme nous l'avons dit plus tôt, je suis tout à fait d'accord avec cela et je soutiens en fait que si l'on a une théorie prédictive sur n'importe quoi, la gravité, la conscience, etc., cela signifie qu'on peut la falsifier. Donc voilà pour la première. Une autre, probablement celle que je reçois le plus maintenant parce que je me suis un peu exposé sur l'IA et sur l'idée qu'en fait le cerveau est un ordinateur biologique et qu'en fait nous sommes susceptibles de pouvoir construire des machines sur lesquelles nous pourrions totalement perdre le contrôle, c'est que certaines personnes aiment m'appeler un "doomer" (alarmiste), ce qui n'est bien sûr que ce qu'elles disent quand elles sont à court d'arguments. Je me sens en fait assez optimiste. Je ne suis pas une personne pessimiste. Je pense qu'il y a beaucoup trop de pessimisme ambiant sur le potentiel de l'humanité. L'un d'eux est que les gens pensent que nous ne pourrons jamais comprendre et faire plus de progrès sur la conscience. Nous le pouvons tout à fait si nous cessons de nous dire que c'est impossible et que nous travaillons dur. Certaines personnes disent que nous ne pourrons jamais en savoir plus sur la nature du temps et ainsi de suite à moins de pouvoir détecter les gravitons. Nous le pouvons tout à fait. Il y a tellement de progrès que nous pouvons faire si nous voulons vraiment travailler dur. Et en particulier, je pense que le type de pessimisme le plus pernicieux dont nous souffrons aujourd'hui est ce mème selon lequel il est inévitable que nous construisions une superintelligence et que nous devenions hors de propos. Ce n'est absolument pas inévitable, mais si vous vous dites que quelque chose est inévitable, c'est une prophétie auto-réalisatrice. C'est comme convaincre un pays qui vient d'être envahi qu'il est inévitable qu'il perde la guerre s'il se bat. C'est le plus vieux jeu d'opération psychologique qui soit. Donc bien sûr, s'il y a quelqu'un qui a une entreprise et qu'il veut construire des trucs et qu'il ne veut pas que vous ayez de lois qui le rendent responsable, il a intérêt à dire à tout le monde qu'il est inévitable que cela soit construit, alors ne luttez pas. Ce n'est absolument pas inévitable. Les gens disent que c'est inévitable parce qu'ils disent que les gens construiront toujours une technologie capable de donner de l'argent et du pouvoir. C'est tout simplement factuellement incorrect. Vous êtes un gars vraiment intelligent. Si je pouvais faire du clonage de vous et que je pouvais commencer à vendre un million de copies de vous sur le marché noir, je pourrais gagner une tonne d'argent. Nous avons décidé de ne pas faire cela, n'est-ce pas ? Ils disent oh, si nous ne le faisons pas, la Chine va le faire. Eh bien, il y a un gars qui a fait du clonage humain en Chine et vous savez ce qui lui est arrivé ?

Non.

Il a été envoyé en prison par le gouvernement chinois. Les gens ne voulaient tout simplement pas de cela. Ils pensaient que nous pourrions perdre le contrôle de la lignée germinale humaine et de notre espèce, ne le faisons pas, il n'y a donc pas de clonage humain en cours actuellement. Nous aurions pu obtenir beaucoup de puissance militaire avec des armes biologiques. Puis le professeur de mathématiques Matthew Meselson à Harvard a dit à Richard Nixon, vous savez, nous ne voulons pas qu'il y ait une arme de destruction massive si peu coûteuse que tous nos adversaires puissent se l'offrir. Et Nixon s'est dit, hein, ça a du sens, en fait. Et puis Nixon a utilisé cet argument avec Brejnev et cela a fonctionné et nous avons obtenu une interdiction des armes biologiques et maintenant les gens associent la biologie surtout à la guérison des maladies, pas à la construction d'armes biologiques. C'est donc de l'absurdité totale cette idée que nous allons toujours construire n'importe quelle technologie capable de donner du pouvoir ou de l'argent à certaines personnes.

Nous avons beaucoup plus de contrôle sur nos vies et notre avenir.

Nous avons bien plus de contrôle sur notre avenir que ce que certaines personnes aiment nous dire. Nous sommes bien plus puissants que nous ne le pensions. Si nous vivions dans une grotte il y a 30 000 ans, nous aurions pu commettre la même erreur et penser que nous étions condamnés à être toujours exposés au risque de nous faire dévorer par des tigres et de mourir de faim. C'était trop pessimiste. Nous avions le pouvoir, par notre pensée, de développer une société et une technologie merveilleuses où nous pourrions prospérer. Et c'est exactement la même chose aujourd'hui. Nous avons un pouvoir énorme. Ce que la plupart des gens veulent en fait pour gagner de l'argent avec l'IA, ce n'est pas une sorte de dieu de sable que nous ne savons pas comment contrôler, ce sont des outils d'IA. Les gens veulent guérir le cancer. Les gens veulent rendre leur entreprise plus efficace. Certaines personnes veulent renforcer leurs armées et ainsi de suite. On peut faire toutes ces choses avec une IA-outil que nous pouvons contrôler et c'est une chose sur laquelle nous travaillons dans mon groupe, d'ailleurs. Et c'est ce que les gens veulent vraiment et il y a beaucoup de gens qui ne veulent pas se dire, d'accord, oui, c'était une belle aventure, mais maintenant jetons les clés de la Terre à des esprits extraterrestres dont nous ne comprenons même pas quels sont les buts. La plupart des Américains dans les sondages pensent que c'est une idée terrible, républicains comme démocrates. Il y a eu une lettre ouverte d'évangéliques aux États-Unis à Donald Trump disant que nous voulons des outils d'IA, nous ne voulons pas d'une sorte de superintelligence incontrôlable. Le Pape Léon a récemment déclaré qu'il voulait que l'IA soit un outil, pas une sorte de maître. Des gens de Bernie Sanders à Marjorie Taylor Greene se sont exprimés sur Twitter en disant que nous ne voulons pas de Skynet, nous ne voulons pas simplement rendre les humains économiquement obsolètes. Ce n'est donc pas du tout inévitable. Et si nous pouvons simplement nous rappeler que nous avons un tel pouvoir d'action dans ce que nous faisons, dans le genre d'avenir que nous allons construire. Si nous pouvons être optimistes et simplement réfléchir à ce qu'est une vision inspirante et globalement partagée, non seulement pour guérir le cancer mais pour toutes les autres choses géniales que nous pouvons faire, alors nous pourrons totalement collaborer et construire cet avenir.

Le membre du public écoute maintenant, il est chercheur, il a quelque chose qu'il aimerait accomplir qui est extrêmement improbable, qui est critiqué par ses collègues pour le simple fait qu'il le propose, et ce n'est rien de néfaste, c'est quelque chose qu'il trouve intéressant et peut-être bénéfique pour l'humanité. Quel est votre conseil ?

Deux conseils. Tout d'abord, la moitié de toutes les plus grandes percées scientifiques ont été dénigrées à l'époque. Donc, ce n'est pas parce que quelqu'un dit que votre idée est stupide qu'elle l'est vraiment. Vous devriez être prêt à abandonner vos propres idées si vous pouvez en voir le défaut et vous devriez écouter les critiques constructives, mais si vous sentez que vous comprenez vraiment la logique de votre idée mieux que quiconque et qu'elle a du sens pour vous, alors continuez à la faire avancer. Et le deuxième conseil que j'ai est que vous pourriez vous inquiéter, comme je l'ai fait quand j'étais en doctorat, que si je travaillais seulement sur des choses que mes collègues considéraient comme des foutaises, comme réfléchir à l'interprétation des mondes multiples de la mécanique quantique ou aux multivers, alors mon prochain emploi serait chez McDonald's. Mon conseil est alors de simplement assurer vos arrières. Passez suffisamment de temps à travailler sur des choses qui sont appréciées par vos pairs aujourd'hui pour pouvoir payer vos factures, mais réservez une part importante de votre temps pour faire ce qui vous passionne vraiment en parallèle. Si les gens ne comprennent pas, eh bien, ne leur en parlez pas sur le moment. De cette façon, vous faites de la science pour la seule bonne raison, qui est que vous en êtes passionné, et c'est un contrat équitable avec la société que de faire alors un peu de corvées pour la société afin de payer vos factures aussi. Et il a été assez choquant pour moi de voir en fait combien de choses pour lesquelles j'ai été le plus critiqué ou dont j'avais le plus peur de parler ouvertement quand j'étais doctorant ont plus tard été vraiment adoptées et je sens en fait que certaines choses qui, selon moi, ont eu le plus d'impact appartenaient généralement à cette catégorie. Vous ne serez jamais le premier à faire quelque chose d'important si vous vous contentez de suivre tout le monde.

Max, merci.

Merci.