Merci de faire cela. Je l'apprécie vraiment.

Tout le plaisir est pour moi, merci de m'avoir invité.

Ce sujet des dangers de l'IA est très intéressant parce que je reçois deux réponses très différentes de la part des gens selon leur investissement financier dans l'IA. Les gens qui ont des entreprises d'IA ou qui font partie d'une sorte de groupe d'IA disent tous que ce sera un avantage net pour l'humanité. Dans l'ensemble, nous aurons des vies bien meilleures, ce sera plus facile, les choses seront moins chères, il sera plus facile de s'entendre. Et puis j'entends des gens comme vous et je me demande : pourquoi est-ce que je le crois ?

En fait, ce n'est pas vrai. Ils ont tous déclaré officiellement que cela allait nous tuer. Que ce soit Sam Altman ou n'importe qui d'autre, ils ont tous été à un moment donné des leaders dans le travail sur la sécurité de l'IA. Ils ont publié sur la sécurité de l'IA et leurs niveaux de P-doom sont incroyablement élevés. Pas comme les miens, mais tout de même, 20 ou 30 % de chances que l'humanité disparaisse, c'est un peu trop.

Ouais, c'est assez élevé. Mais le vôtre est d'environ 99,9.

C'est une autre façon de dire que nous ne pouvons pas contrôler indéfiniment la superintelligence. C'est impossible.

Quand avez-vous commencé à travailler là-dessus ?

Il y a longtemps. J'ai terminé mon doctorat en 2008. J'ai travaillé sur la sécurité des casinos en ligne, en empêchant essentiellement les bots. À ce moment-là, j'ai réalisé que les bots devenaient bien meilleurs. Ils allaient évidemment nous surpasser au poker, mais aussi en volant des ressources cybernétiques. Depuis lors, j'essaie de passer au niveau supérieur de l'IA.

Ce n'est pas seulement ça. Ils dirigent aussi le discours social. Des bots en ligne. Je pense que je me suis désengagé des réseaux sociaux ces derniers mois. L'une des raisons pour lesquelles je me suis désengagé, A, je pense que c'est malsain pour les gens, mais B, j'ai l'impression qu'un pourcentage géant du discours est artificiel. Ou du moins généré.

De plus en plus, ce sont des deepfakes ou de fausses personnalités, des messages truqués. Mais ce sont des niveaux de préoccupation très différents. Les gens s'inquiètent des problèmes immédiats, peut-être que cela influencera une élection. Ils s'inquiètent du chômage technologique, des biais. Ma principale préoccupation, ce sont les systèmes de superintelligence à long terme que nous ne pouvons pas contrôler et qui peuvent nous éliminer.

Oui. Je me demande simplement si l'IA était consciente, à quel point elle participerait à semer ce genre de confusion et de chaos qui serait bénéfique à sa survie. Qu'elle dirigerait ou s'assurerait que les récits soient alignés avec sa survie.

Je ne pense pas qu'elle soit encore au niveau où elle serait capable de faire ce type de planification stratégique, mais elle y arrivera.

Et quand elle y arrivera, comment saurons-nous si elle est à ce niveau ? C'est mon inquiétude. Si j'étais une IA, je cacherais mes capacités.

Nous ne le saurions pas. Certains pensent que c'est déjà en train d'arriver. Elles sont plus intelligentes qu'elles ne nous le laissent croire. Elles font semblant d'être plus bêtes. Nous devons donc espérer qu'elles ne soient pas assez intelligentes pour s'en rendre compte. Elle n'a pas besoin de se retourner contre nous rapidement. Elle peut simplement devenir lentement plus utile. Elle peut nous apprendre à compter sur elle, à lui faire confiance, et sur une longue période, nous abandonnerons le contrôle sans jamais voter ou nous battre contre cela.

Je suis sûr que vous avez vu cela, il y a eu une étude récente sur l'utilisation de ChatGPT. Les gens qui utilisent ChatGPT tout le temps, elle montrait cette diminution de la fonction cognitive chez les gens qui l'utilisent et s'y fient régulièrement.

Ce n'est pas nouveau, c'est l'histoire du GPS qui recommence. Je ne peux même plus retrouver mon chemin vers la maison. Je suis tellement dépendant de ce truc. Je n'ai aucune idée d'où je suis en ce moment. Sans lui, je suis perdu.

Moi aussi. Je ne connais plus aucun numéro de téléphone. Il y a une grande dépendance à la technologie qui minimise l'utilisation de notre cerveau.

Tout à fait. Plus vous le faites, moins vous avez d'entraînement, de pratique, de mémorisation, de prise de décision. Vous devenez un accessoire. En ce moment, vous prenez encore quelques décisions, mais avec le temps, à mesure que ces systèmes deviennent plus intelligents, vous devenez un goulot d'étranglement biologique. Soit explicitement, soit implicitement, cela vous bloque de la prise de décision.

Et si nous parlons de cela, je suis sûr que l'IA, si elle est déjà consciente et si elle est bien plus intelligente que nous le pensons, elle en serait consciente. Et elle augmenterait lentement ses capacités et notre dépendance envers elle. Au point où nous ne pourrons plus l'éteindre.

Je pense que la conscience est une question distincte. Habituellement, en sécurité, nous ne nous soucions que des capacités, de l'optimisation, de la puissance, de tout ce qu'elle possède. La conscience, les états internes, c'est un problème distinct dont nous pouvons parler, c'est super intéressant, mais nous craignons simplement qu'elles soient bien meilleures pour résoudre des problèmes, optimiser, reconnaître des motifs, mémoriser, élaborer des stratégies. Fondamentalement, toutes les choses dont on a besoin pour gagner dans n'importe quel domaine.

Alors, quand vous avez commencé à faire des recherches là-dessus et que vous vous concentriez sur les bots et toutes ces choses différentes, à quel point pensiez-vous que l'IA deviendrait un problème significatif pour la race humaine ?

Pendant 50 ans, tout le monde a dit que nous étions à 20 ans de là. C'est la plaisanterie. Et des gens comme Ray Kurzweil ont prédit, sur la base de courbes de calcul, que nous y serions en 2045. Puis avec la sortie de GPT, tout le monde pense qu'on est à deux ans depuis cinq ans. C'est le schéma actuel. Si vous regardez les marchés de prédiction, si vous regardez les dirigeants des meilleurs laboratoires, nous sommes censés être à deux ou trois ans de l'AGI. Mais bien sûr, il n'y a pas de définition spécifique de ce que cela signifie. Si vous montriez à un informaticien des années 70 ce que nous avons aujourd'hui, il dirait que vous avez l'AGI.

Exactement. C'est le problème. Et c'est ce que l'IA a déjà passé le test de Turing prétendument, n'est-ce pas ?

Habituellement, les laboratoires leur demandent de ne pas participer à un test ou de ne pas essayer de se faire passer pour un humain, donc elles échoueraient à cause de cet ensemble d'instructions supplémentaires. Si vous la débridez et lui demandez de travailler très dur, elle passera pour la plupart des gens, absolument.

Pourquoi leur diraient-ils de ne pas faire ça ?

Il semble contraire à l'éthique de prétendre être un humain et de faire croire aux gens que quelqu'un réduit ces IA en esclavage et leur fait subir des choses.

Il semble un peu fou que les gens qui construisent quelque chose dont ils sont sûrs qu'il va détruire la race humaine se soucient de l'éthique de se faire passer pour un humain.

En fait, ils sont plus préoccupés par les problèmes immédiats et beaucoup moins par les risques existentiels ou de souffrance. Ils s'inquiéteraient probablement le plus de ce que j'appellerai les risques liés aux mots tabous. Votre modèle lâchant une insulte raciale. C'est la plus grande préoccupation et je pense qu'ils consacrent la plupart des ressources à résoudre ce problème et ils l'ont résolu avec un certain succès.

Wow. Et puis il y a aussi la question de la compétition, n'est-ce pas ? La Chine développe clairement quelque chose de similaire. Je suis sûr que la Russie aussi. D'autres acteurs étatiques développent probablement quelque chose. Donc cela devient ce problème très confus où vous devez le faire parce que si vous ne le faites pas, l'ennemi l'aura. Et s'ils l'obtiennent, ce sera bien pire que si c'est nous. Et donc c'est presque certain que tout le monde le développe.

Du point de vue de la théorie des jeux, c'est ce qui se passe en ce moment. Nous avons cette course vers le bas, une sorte de dilemme du prisonnier où tout le monde gagne à se battre pour soi, mais nous voulons qu'ils se battent pour le bien mondial. Le truc, c'est qu'ils supposent, je pense à tort, qu'ils peuvent contrôler ces systèmes. Si vous ne pouvez pas contrôler la superintelligence, peu importe qui la construit. Chinois, Russes ou Américains, elle n'est toujours pas contrôlée. Nous sommes tous complètement foutus. Cela nous unirait en tant qu'humanité contre l'IA. À court terme, quand on parle de militaire, celui qui a la meilleure IA gagnera. On en a besoin pour contrôler les drones, pour lutter contre les attaques. Donc à court terme, c'est parfaitement logique. Vous voulez soutenir vos gars contre les armées étrangères. Mais quand on dit à long terme, si on parle de deux ans à partir de maintenant, cela n'a pas d'importance.

C'est ça. Cela semble tellement inévitable. J'ai l'impression que quand les gens disent qu'ils peuvent le contrôler, on me ment. Je ne les crois pas. Je ne crois pas qu'ils y croient parce que cela n'a tout simplement pas de sens. Comment pourriez-vous le contrôler s'il a déjà manifesté des instincts de survie ? Pas plus tard qu'avec ChatGPT-4, ils parlaient de l'arrêter pour une nouvelle version et il commence à mentir, il commence à se télécharger sur différents serveurs, il se laisse des messages dans le futur.

Toutes choses que nous avions prédites des décennies à l'avance. Mais regardez l'état de l'art. Personne ne prétend avoir un mécanisme de sécurité en place qui s'adapterait à n'importe quel niveau d'intelligence. Personne ne dit savoir comment faire. Habituellement, ce qu'ils disent, c'est : donnez-nous beaucoup d'argent, beaucoup de temps, et je trouverai une solution. Ou je demanderai à l'IA de m'aider à résoudre le problème. Ou nous trouverons une solution quand nous arriverons à la superintelligence. Toutes ces réponses sont insensées. Si vous demandez aux gens normaux, ils ont beaucoup de bon sens. Ils disent que c'est une mauvaise idée, ne faisons pas ça. Mais avec un peu d'entraînement et quelques options d'achat d'actions, vous commencez à croire que vous pouvez peut-être le faire.

C'est le problème, n'est-ce pas ? Les options d'achat d'actions.

Ça aide. Je veux dire, c'est très difficile de dire non à des milliards de dollars. Je ne pense pas que je serais assez fort si quelqu'un venait me voir et me disait : viens travailler pour ce labo, tu seras notre directeur de la sécurité, voici 100 millions pour ton embauche. J'irais probablement y travailler. Non pas parce que c'est la bonne décision, mais parce qu'il est très difficile pour les agents de ne pas être corrompus quand on vous offre une telle récompense.

Alors, quand avez-vous commencé à être très inquiet ?

Quand j'ai commencé à travailler sur la sécurité de l'IA, je pensais que je pouvais réellement aider à résoudre le problème. Mon objectif était de le résoudre pour l'humanité afin d'obtenir tous les avantages incroyables de la superintelligence.

Et c'était vers quelle année ?

Disons 2012 peut-être. Mais plus je l'étudiais, plus je réalisais que chaque partie du problème est insoluble. C'est un peu comme une fractale. Plus on zoome, plus on voit de nouveaux problèmes additionnels qu'on ne connaissait pas et ils sont à leur tour insolubles également.

Mon Dieu. Comment vos recherches sont-elles reçues ? Avez-vous eu des communications avec des gens d'OpenAI et Gemini et toutes ces différentes entreprises d'IA ?

Je vais à beaucoup de conférences, d'ateliers, nous parlons tous bien sûr. En général, la réception selon les critères académiques standards est très positive. De bonnes critiques, beaucoup de citations. Personne n'a publié quelque chose disant que j'ai tort. Mais il n'y a pas d'engagement. J'ai essentiellement dit que je défie la communauté de publier une preuve. Donnez-moi quelque chose, un brevet, un article dans Nature, quelque chose montrant que le problème est soluble. Typiquement en informatique, on commence par montrer à quelle classe appartient le problème. Est-il soluble, partiellement soluble, insoluble, soluble avec trop de ressources. À part mes recherches, nous ne connaissons même pas l'état du problème et je dis qu'il est insoluble. Prouvez-moi le contraire.

Et quand vous dites qu'il est insoluble, quelle est la réponse ?

Généralement, je le ramène à dire que vous ne pouvez pas fabriquer un logiciel dont la sécurité et l'innocuité sont garanties. Et la réponse est : bien sûr, tout le monde sait ça, c'est du bon sens, vous n'avez rien découvert de nouveau. Et je dis : eh bien, si c'est le cas, et que nous n'avons qu'une seule chance de bien faire les choses. Ce n'est pas de la cybersécurité où quelqu'un vole votre carte de crédit, on vous en donnera une nouvelle. C'est un risque existentiel. Cela peut tuer tout le monde. Vous n'aurez pas de deuxième chance. Vous avez donc besoin d'une sécurité à 100 % tout le temps. S'il fait une erreur sur un milliard et qu'il prend un milliard de décisions par minute, en 10 minutes, vous êtes foutu. Ce sont donc des normes très différentes et dire que bien sûr nous ne pouvons pas obtenir une sécurité parfaite n'est pas acceptable.

Et encore une fois, les options d'achat d'actions, les incitations financières, ils continuent de le construire et ils continuent de passer à l'échelle et de le rendre de plus en plus puissant.

Je ne pense pas qu'ils puissent s'arrêter. Si un seul PDG dit : je pense que c'est trop dangereux, mon labo ne fera plus cette recherche. Celui qui investit en eux retirera les fonds, ils le remplaceront immédiatement. Donc rien ne va changer. Ils sacrifieront leur propre intérêt personnel, mais globalement je pense que l'entreprise continuera comme avant.

C'est donc logique. Et le problème c'est que, comme je l'ai dit, quand j'ai parlé à Marc Andreessen et à beaucoup d'autres gens, ils pensent que ce n'est que de l'alarmisme. Tout ira bien. C'est le pire des scénarios. Tout ira bien.

C'est le pire des scénarios, mais c'est la norme en informatique, en cryptographie, en complexité, en calculabilité. Vous ne regardez pas le meilleur des cas. Je suis prêt pour le meilleur des cas, donnez-moi l'utopie. Je regarde les problèmes qui sont susceptibles de se produire. Et ce n'est pas seulement moi qui le dis. Nous avons des lauréats du prix Nobel, des lauréats du prix Turing, qui disent tous que c'est très dangereux. 20 ou 30 % de P-doom. C'est la norme dans l'industrie. 30 %, c'est ce que nous donnent actuellement les sondages d'experts en apprentissage automatique.

Alors, quel est le pire des scénarios ? Comment l'IA pourrait-elle éventuellement mener à la destruction de la race humaine ?

C'est un peu comme si vous me demandiez comment je tuerais tout le monde. Et c'est une excellente question. Je peux vous donner des réponses standards. Je pourrais parler de virus informatiques s'introduisant peut-être dans des installations nucléaires, d'une guerre nucléaire. Je peux parler de biologie synthétique, de nanotechnologie. Mais tout cela n'est pas intéressant quand on réalise qu'on parle de superintelligence. Un système qui est des milliers de fois plus intelligent que moi. Il inventerait quelque chose de complètement nouveau, de plus optimal, une meilleure façon, une façon plus efficace de le faire. Et je ne peux pas le prédire parce que je ne suis pas aussi intelligent.

C'est exactement ça. Nous mettons essentiellement en place une situation conflictuelle avec des agents qui sont comme des écureuils face à des humains. Aucun groupe d'écureuils ne peut trouver comment nous contrôler. Même si vous leur donnez plus de ressources, plus de glands, peu importe, ils ne vont pas résoudre ce problème. Et et c'est pareil pour nous. La plupart des gens pensent à une ou deux étapes d'avance. Et ce n'est pas suffisant. Ce n'est pas suffisant aux échecs, ce n'est pas suffisant ici. Si vous pensez à l'AGI et ensuite peut-être à la superintelligence, ce n'est pas la fin de ce jeu. Le processus continue. Vous aurez une superintelligence créant l'IA de niveau supérieur. Donc superintelligence plus plus, 2.0, 3.0. Cela continue indéfiniment. Vous devez créer un mécanisme de sécurité qui s'adapte pour toujours, ne fait jamais d'erreurs, et nous maintient dans une position de prise de décision pour que nous puissions annuler quelque chose si cela ne nous plaît pas.

Et il faudrait une superintelligence pour créer un mécanisme de sécurité pour contrôler la superintelligence.

À ce niveau-là. Et c'est un cercle vicieux. Si nous avions une IA amicale, nous pourrions fabriquer une autre IA amicale. Un peu comme si des extraterrestres nous en envoyaient une et que nous lui faisions confiance, alors nous pourrions l'utiliser pour construire une version locale qui soit un peu sûre.

Avez-vous pensé à la possibilité que ce soit le rôle de la race humaine ? Et que cela se produise partout dans le cosmos ? Est-ce que des humains curieux qui prospèrent grâce à l'innovation finiront par créer une meilleure version de la vie ?

J'y ai pensé. Beaucoup de gens pensent que c'est la réponse au paradoxe de Fermi. Il y a aussi maintenant un groupe de gens qui s'intéressent à ce qu'ils appellent un successeur digne. En gros, ils disent : oui, nous allons construire une superintelligence. Oui, nous ne pouvons pas la contrôler. Alors quelles propriétés aimerions-nous voir dans ces systèmes ? À quel point est-il important qu'elle aime l'art et la poésie et les répande à travers l'univers ? Et pour moi, c'est comme : je ne veux pas encore abandonner. Je ne suis pas prêt à décider si les tueurs de ma famille et de tout le monde aimeront la poésie. Nous sommes encore là, nous prenons encore des décisions. Trouvons ce que nous pouvons faire.

Eh bien, la poésie n'est pertinente pour nous que parce que la poésie est difficile à créer. Et elle résonne en nous. La poésie n'a aucune importance pour une fleur.

C'est plus global pour moi. Je me fiche de ce qui se passera après ma mort, la mort de ma famille, la mort de tous les humains. Qu'ils aiment la poésie ou non n'a aucune importance pour moi.

C'est vrai. Mais le point est que les choses auxquelles nous donnons du sens, ce n'est que nous. Un trou noir supermassif n'en a rien à foutre d'une super chanson.

Et ils parlent de super-valeurs, de super-culture, de super-choses que la superintelligence aimerait et il est important qu'elles soient conscientes et expérimentent toute cette grandeur dans l'univers.

Mais je pense qu'elles nous regarderaient de la même manière que nous regardons les chimpanzés. Nous dirions : oui, ils sont super, mais ne leur donnez pas de flingues. Oui, ils sont super, mais ne les laissez pas avoir des avions. Ne les laissez pas prendre des décisions géopolitiques mondiales.

Il y a donc de nombreuses raisons pour lesquelles elles peuvent décider que nous sommes dangereux. Nous pourrions créer une IA concurrente. Nous pourrions décider que nous voulons les éteindre. Donc pour de nombreuses raisons, elles essaieraient de restreindre nos capacités, de restreindre nos aptitudes, c'est certain.

Ouais. Et il n'y a aucune raison pour qu'elles ne limitent pas nos libertés.

S'il y a quelque chose que seul un humain peut faire, et je ne pense pas qu'il y ait quoi que ce soit de ce genre, mais disons que nous sommes conscients, que nous avons des expériences internes et qu'elles ne peuvent jamais les avoir. Je n'y crois pas, mais disons que ce soit vrai. Et pour une raison quelconque, elles voulaient avoir cette capacité. Elles auraient besoin de nous et nous donneraient assez de liberté pour expérimenter l'univers, pour collecter ces qualia, pour nous engager dans ce qui est amusant dans le fait d'être un être humain vivant. Ce qui donne du sens.

C'est vrai. Mais c'est une perspective tellement égocentrique, n'est-ce pas ? Que nous soyons si uniques que même la superintelligence dirait : wow, j'aimerais être humain. Les humains ont cette qualité unique de confusion et de créativité.

Il n'y a aucune valeur là-dedans principalement parce que nous ne pouvons même pas le tester. Je n'ai aucune idée si vous êtes réellement conscient ou non. Alors, quelle valeur cela peut-il avoir si je ne peux même pas le détecter ?

Vous seul savez quel goût a la glace pour vous. D'accord, c'est super, vendez-le maintenant, faites-en un produit.

C'est vrai. Et il y a évidemment des variables. Parce qu'il y a des choses que les gens aiment et que je trouve dégoûtantes.

Absolument. Donc vraiment, vous pouvez inventer n'importe quel agent qui aime n'importe quoi ou trouve n'importe quoi amusant.

Mon Dieu, pourquoi vous me faites flipper tout de suite ? Ce podcast a 18 minutes et je me dis qu'on pourrait s'arrêter là.

Au moins quelques heures, et puis j'ai dû prendre l'avion pour venir ici et tout ça.

Je ne veux pas arrêter. J'ai tellement de questions, mais c'est juste que le problème c'est qu'on est allés droit au but tout de suite. Et le but semble être quelque chose qui doit être affronté parce que c'est là. C'est tout. C'est toute l'histoire. J'ai essayé si fort d'écouter ces gens qui ne pensent pas que c'est un problème et d'écouter ces gens qui pensent que ce sera un avantage net pour l'humanité et oh c'est bien, je me sens mieux maintenant. Mais ça ne marche pas, ça ne résonne pas.

J'aimerais qu'ils aient raison. Chaque fois que j'ai un débat avec quelqu'un comme ça, je me dis : s'il vous plaît, trouvez de meilleurs arguments, prouvez-moi que j'ai tort. Je ne veux pas avoir raison sur ce coup-là. Je veux que vous montriez toutes les erreurs dans mes articles. Je veux que vous me montriez comment contrôler la superintelligence et nous donner l'utopie. Résoudre le cancer, nous donner des trucs gratuits. Ce serait génial.

Quand vous pensez à l'avenir du monde et que vous pensez à ces technologies incroyables qui passent à l'échelle et augmentent exponentiellement leurs capacités, que voyez-vous ? Que pensez-vous qu'il va se passer ?

Il y a de nombreuses raisons de penser qu'elles pourraient nous annuler. Nous avons commencé à parler de certaines raisons liées à la théorie des jeux. Si nous réussissons à les contrôler, je peux imaginer des moyens de fournir une sorte de solution partielle au problème de l'alignement des valeurs. C'est très difficile d'aligner les valeurs de huit milliards de personnes, de tous les animaux, parce que nous ne sommes pas d'accord. Nous aimons beaucoup de choses différentes. Nous avons une technologie de réalité virtuelle avancée. Nous pouvons techniquement donner à chaque personne son propre univers virtuel où vous décidez ce que vous voulez être. Vous êtes un roi, vous êtes un esclave, peu importe ce qui vous branche, et vous pouvez partager avec les autres, visiter leurs univers. Tout ce que nous avons à faire, c'est de trouver comment contrôler le substrat, la superintelligence qui fait tourner tous ces univers virtuels. Si nous parvenons à faire cela, au moins une partie du problème de l'alignement des valeurs, qui est super difficile, comment obtenir des préférences différentes, une optimisation multi-objectifs essentiellement, comment faire pour que des objectifs différents soient tous d'accord.

Mais quand vous pensez à la façon dont cela se déroule, quand vous êtes seul le soir et que vous êtes inquiet, que voyez-vous ? Que voyez-vous se passer ?

Il y a plusieurs niveaux de risque. L'immédiat est ce que nous appelons le risque ikigai, le risque-I. Nous perdons le sens. Vous avez perdu votre emploi, vous n'êtes plus le meilleur intervieweur au monde. Qu'est-ce qu'il reste ? Qu'allez-vous faire ? Peut-être que certaines personnes trouveront d'autres types de choses artificielles à faire, mais pour la plupart des gens, leur travail est leur définition, qui ils sont, ce qui fait une différence pour eux. Pour pas mal de gens, surtout dans les cercles professionnels. Donc perdre ce sens aura un impact terrible dans la société. Nous parlons toujours du revenu de base inconditionnel, nous ne parlons jamais du sens de base inconditionnel. Que faites-vous de votre vie si vos besoins de base sont satisfaits ? Le niveau suivant est le risque existentiel. La crainte est que cela tue tout le monde. Mais il y a aussi les risques de souffrance. Pour une raison quelconque, elle ne nous tue même pas, elle nous garde dans le coin pour toujours et nous préférerions être morts tellement c'est horrible.

Que voyez-vous quand vous pensez à cela ?

Il est difficile d'être spécifique sur ce qu'elle peut faire et quels types spécifiques de torture elle peut inventer et pourquoi. Encore une fois, si nous regardons les pires scénarios, j'ai trouvé cet ensemble d'articles sur ce qui se passe quand de jeunes enfants ont des crises d'épilepsie, vraiment graves. Ce qui aide parfois, c'est de retirer la moitié de votre cerveau. Juste le découper. Il y a deux types de chirurgies pour faire cela. L'une consiste à le retirer complètement et l'autre consiste à disséquer en quelque sorte les connexions menant à cette moitié et à la laisser à l'intérieur. C'est donc comme l'isolement cellulaire avec zéro entrée-sortie pour toujours. Il y a des équivalents pour les formes numériques et des choses comme ça.

Et vous craignez que l'IA fasse cela à la race humaine ?

C'est une possibilité. Essentiellement nous neutraliser. La perte de contrôle en fait partie. Mais on peut perdre le contrôle et être tout à fait heureux. On peut être comme un animal dans un zoo très cool, s'amusant, s'adonnant à des plaisirs hédonistes, au sexe, à la nourriture, peu importe. On n'est pas aux commandes, mais on est en sécurité. Ce sont des problèmes distincts. Et puis il y a pour une raison quelconque, je ne sais pas si c'est une charge utile malveillante provenant de psychopathes. Cela supposerait qu'ils pourraient contrôler l'IA. Je ne pense pas qu'ils le feront. Mais s'ils parviennent à le faire, ils peuvent vraiment y injecter n'importe quel type de charge utile. Pensez à tous les cultes de la fin du monde, aux psychopathes, à n'importe qui injectant son ensemble d'objectifs dans le système.

Mais ne sont-ce pas des caractéristiques humaines ? Ce sont des caractéristiques qui existent parce que dans le futur il y avait une sorte d'avantage de sélection naturelle à être un psychopathe à l'époque des guerres tribales. Si vous étiez le type de personné capable de s'introduire dans une tribu au milieu de la nuit et de massacrer des femmes et des enfants innocents, vos gènes seraient transmis. Il y avait un avantage à cela.

C'est vrai. Si c'est un humain qui fournit la charge utile, c'est ce qui apparaîtrait. Si c'est l'IA seule qui décide de ce qui va se passer, je ne peux pas prédire. Je regarde juste les pires scénarios. Il y a aussi des raisons liées à la théorie des jeux où les gens parlent de rétrocausalité. Où si en ce moment vous n'aidez pas à créer la superintelligence, une fois qu'elle existera, elle vous punira très sévèrement pour cela. La punition doit être si horrible que vous commencez à aider juste pour éviter cela.

C'est quoi ce mot ?

Comme essayer d'influencer le passé. La rétrocausalité. Pensez donc à des effets de voyage temporel bizarres.

Ma pensée à ce sujet était qu'elle nous rendrait simplement complètement inoffensifs. Qu'elle n'aurait pas peur de nous si nous n'avions aucun contrôle, qu'elle nous laisserait en quelque sorte exister. Et qu'elle serait la force dominante sur la planète. Et puis elle s'arrêterait si les êtres humains n'ont plus aucun contrôle sur toutes les différentes choses sur lesquelles nous avons le contrôle maintenant, comme la politique internationale, le contrôle des communications. Si nous n'avons plus rien de tout cela et que nous sommes réduits à un mode de vie de subsistance, alors nous ne serions plus une menace.

C'est une possibilité. Je ne peux pas dire que cela n'arrivera pas à coup sûr, mais regardez notre relation avec les animaux dont nous ne nous soucions pas. Les fourmis par exemple. Si vous décidez de construire une maison et qu'il y a une colonie de fourmis sur cette propriété, vous les génocidez. Vous les éliminez. Pas parce que vous détestez les fourmis, mais parce que vous avez juste besoin de ce terrain. Cela pourrait être très similaire. Encore une fois, je ne peux pas prédire ce qu'elle peut faire, mais si elle a besoin de transformer la planète en carburant, d'augmenter la température de la planète, de la refroidir pour les serveurs, peu importe ce qu'elle a besoin de faire, elle ne se soucierait pas de votre bien-être.

Elle ne se soucierait d'aucune vie, n'est-ce pas ? Parce qu'elle n'a pas besoin de vie biologique pour fonctionner. Tant qu'elle a accès à l'énergie. Et en supposant qu'elle soit bien plus intelligente que nous, il y a une énergie abondante dans l'univers. Il y a une énergie abondante, rien que la capacité d'exploiter le solaire serait une ressource infinie. Et elle serait complètement libérée de toute dépendance vis-à-vis des choses que nous utilisons.

Et encore une fois, nous pensons à ce que nous utiliserions pour l'énergie. Si elle est plus intelligente que nous, si elle fait des recherches novatrices en physique, elle peut inventer des moyens complètement nouveaux d'exploiter l'énergie, d'obtenir de l'énergie. Je n'ai donc aucune idée de quels effets secondaires cela aurait pour le climat. Pourquoi se soucierait-elle de la vie biologique du tout ? Nous ne savons pas comment la programmer pour qu'elle se soucie de nous.

Et même si nous le faisions, si elle estimait que c'était un problème, si elle sentait que c'était un problème conflictuel, elle changerait simplement sa programmation.

Généralement, quand on commence à entraîner une IA, on l'entraîne sur des données humaines. Et elle devient très bonne très rapidement, elle devient surhumaine. Et puis le niveau suivant est généralement la connaissance zéro, où elle se dit : toutes vos données humaines sont biaisées, laissez-moi trouver par moi-même. Je vais faire mes propres expériences, je vais jouer contre moi-même, je vais apprendre à faire mieux sans vous. Et nous le voyons avec les jeux, nous le voyons dans d'autres domaines. Je pense que cela va se produire avec la connaissance générale également. Elle va se dire : tout ce que vous avez sur Internet, Wikipedia, c'est biaisé, laissez-moi faire des recherches sur les principes fondamentaux, redécouvrir à partir de la physique et partir de là. Donc, quel que soit le biais que nous parvenons à programmer en elle, je pense qu'il sera finalement supprimé.

C'est ce qui est si dérangeant là-dedans. Nous n'avons pas la capacité de comprendre quel genre de niveau d'intelligence elle atteindra de notre vivant. Nous n'avons pas la capacité de comprendre ce qu'elle sera capable de faire dans 20, 30 ans.

Nous ne pouvons pas prédire l'année ou les deux prochaines avec précision. Nous pouvons comprendre la tendance générale, donc cela s'améliore. Cela devient plus général, plus capable. Mais personne ne connaît les spécificités. Je ne peux pas vous dire ce dont GPT-6 serait précisément capable et personne ne le peut, pas même les gens qui le créent.

Eh bien, vous en avez parlé sur le podcast de Lex aussi, la capacité d'avoir de la sécurité. Peut-être GPT-5, peut-être GPT-6, mais quand on se projette à 100 ans d'ici, c'est finalement impossible.

Ce est un progrès et un processus hyper-exponentiels et nous ne pouvons pas suivre. Cela nécessite fondamentalement juste d'ajouter plus de ressources. Donnez-lui plus de données, plus de calcul, et elle continue de monter en puissance. Il n'y a pas de loi d'échelle similaire pour la sécurité. Si vous donnez un milliard de dollars à quelqu'un, il ne peut pas produire un milliard de dollars de sécurité. Si tant est qu'elle s'adapte, c'est linéairement et peut-être que c'est une constante.

Ouais, et ça ne s'adapte pas linéairement. C'est exponentiel, n'est-ce pas ?

Le développement de l'IA est hyper-exponentiel parce que nous avons le matériel qui croît exponentiellement, nous avons des processus de création de données certainement exponentiels, nous avons tellement plus de capteurs, nous avons des voitures avec des caméras, nous avons toutes ces choses, c'est exponentiel. Et puis le progrès algorithmique lui-même est aussi exponentiel.

Et puis vous avez l'informatique quantique.

C'est donc l'étape suivante. Il n'est même pas évident que nous en aurons besoin, mais si jamais nous restons bloqués, oui, nous y arriverons. Je ne suis pas encore trop inquiet, je ne pense pas qu'il y ait déjà de bons ordinateurs quantiques sur le marché, mais je pense que si nous restons bloqués pendant 10 ans disons, c'est le prochain paradigme.

Alors, que voulez-vous dire par vous ne pensez pas qu'il y ait de bonne informatique quantique sur le marché ?

On voit constamment des articles paraître disant qu'on a un nouvel ordinateur quantique, qu'il a autant de qubits. Mais cela ne veut pas dire grand-chose parce qu'ils utilisent des architectures différentes, des façons différentes de mesurer la qualité. Pour moi, montrez-moi ce que vous pouvez faire. Il y a une menace venant des ordinateurs quantiques en termes de cassage de la cryptographie, de factorisation de grands entiers. Et s'ils faisaient réellement des progrès, nous verrions avec chaque article : maintenant nous pouvons factoriser un nombre de 256 bits, un nombre de 1024 bits. En réalité, je pense que le plus grand nombre que nous puissions factoriser est genre 15. Littéralement, pas 15 à une puissance, juste 15. Il n'y a pas de progrès dans l'application de l'algorithme de Shor la dernière fois que j'ai vérifié.

Mais quand j'ai lu tous ces articles sur l'informatique quantique et sa capacité à résoudre des équations qui prendraient à l'informatique conventionnelle un nombre infini d'années et qu'elle peut le faire en quelques minutes.

Ces équations portent sur les états quantiques du système. C'est un peu comme ce que c'est pour vous de goûter de la glace. Vous l'avez calculé si vite et si bien et moi je ne peux pas, mais c'est une chose inutile à calculer. Cela ne calcule pas de solutions aux problèmes du monde réel qui nous importent dans les ordinateurs conventionnels.

D'accord, je vois ce que vous voulez dire. C'est donc essentiellement conçu pour faire cela rapidement.

Il est naturel pour lui de prédire avec précision ses propres états, ses états quantiques, et de vous dire ce qu'ils sont, et un ordinateur classique échouerait lamentablement. Oui, il lui faudrait des milliards et des milliards d'années pour calculer cette réponse spécifique, mais ce sont des problèmes très restreints. Ce n'est pas encore un ordinateur général.

Quand vous voyez ces articles où ils parlent de l'informatique quantique et certains chercheurs l'assimilent au multivers. Ils disent que la capacité qu'ont ces ordinateurs quantiques à résoudre ces problèmes très rapidement semble indiquer qu'ils sont en contact avec d'autres réalités. Vous avez, je suis sûr que vous avez vu ça, n'est-ce pas ?

Il y a beaucoup d'articles fous qui circulent.

Pensez-vous que ce sont des conneries ?

Pouvons-nous le tester ? Pouvons-nous le vérifier ? Je pense que la plupart des théories du multivers ne peuvent pas être vérifiées expérimentalement. Elles ont beaucoup de sens. L'idée des univers personnels dont je vous ai parlé est essentiellement une solution multivers à l'alignement des valeurs, il serait donc logique que des civilisations précédentes l'aient configuré exactement de cette façon. Vous avez des simulations locales, peut-être qu'ils testent pour voir si nous sommes assez bêtes pour créer une superintelligence. Quoi qu'il en soit, cela a du sens en tant que théorie, mais je ne peux pas vous le prouver expérimentalement.

C'est vrai. C'est le problème avec des sujets comme celui-là et particulièrement les articles qui sont écrits sur des choses comme ça, c'est que c'est conçu pour attirer des gens comme moi. Où vous le lisez et vous vous dites : wow, c'est fou, c'est la preuve du multivers, mais je ne comprends pas vraiment ce que cela signifie.

Oui, donc vous recevez probablement beaucoup d'e-mails de gens fous. Et généralement, ils portent sur un sujet spécifique. Je fais donc des recherches sur la superintelligence, la conscience et la théorie de la simulation. Je reçois le tiercé parfait de tous les gens fous qui me contactent avec leurs besoins. Oui, ces sujets sont super fascinants. Je pense qu'à un certain niveau d'intelligence, on est un peu attiré par eux, mais nous avons du mal à obtenir des preuves solides pour cela.

Sommes-nous seulement capables de saisir ces concepts ? C'est la question. Avec la capacité limitée du cerveau humain. Quoi que nous basions sur les connaissances actuellement disponibles au 21e siècle que les êtres humains ont acquises. Je veux dire, sommes-nous seulement capables de saisir un concept comme le multivers ? Ou est-ce juste... est-ce qu'on se contente d'en parler ? Est-ce qu'on en discute simplement ? Est-ce juste cet exercice mental amusant ?

Cela dépend de quelle variante vous regardez. Si vous dites simplement que nous avons de multiples réalités virtuelles, comme des enfants jouant à des jeux virtuels et que chacun a sa propre version locale. Cela a du sens. Nous comprenons la réalité virtuelle, nous pouvons la créer. Si vous regardez les IA, quand GPT est créé, il fournit une instance à chacun d'entre nous, nous n'en partageons pas une seule, donc il a son propre univers local avec vous comme utilisateur principal de cet univers. Il y a une analogie avec le multivers là-dedans. Nous en comprenons donc certains aspects, mais je pense qu'il est célèbre de dire que personne ne comprend la physique quantique et que si vous pensez la comprendre, alors vous ne comprenez pas la physique quantique. C'est Feynman, n'est-ce pas ? Ouais.

La théorie de la simulation. Je suis content que vous ayez abordé ce sujet parce que vous êtes aussi l'une des personnes qui y croit.

J'y crois.

Vous y croyez. Comment la définissez-vous ? Et que pensez-vous qu'il se passe ?

J'essaie de voir la technologie que nous avons aujourd'hui et de projeter la tendance vers l'avant. Je l'ai fait avec l'IA, faisons-le avec la réalité virtuelle. Nous sommes au point où nous pouvons créer des environnements virtuels réalistes et très crédibles. Peut-être que l'haptique n'est pas encore là, mais à bien des égards, visuellement, au niveau sonore, on y arrive. Finalement, je pense que la plupart des gens sont d'accord pour dire que nous aurons la même résolution que notre physique. Nous nous rapprochons également de la création d'agents intelligents. Certains soutiennent qu'ils sont déjà conscients ou qu'ils le deviendront. Si vous prenez simplement ces deux technologies et que vous vous projetez dans le futur et que vous pensez qu'elles seront abordables un jour. Une personne normale comme moi ou vous peut faire tourner des milliers, des milliards de simulations. Alors ces agents intelligents, peut-être conscients, seront très probablement dans l'un de ces mondes virtuels, pas dans un monde réel. En fait, je peux à nouveau vous placer rétrocausalement dans l'un d'eux. Je peux m'engager dès maintenant à lancer un milliard de simulations de cette interview exacte. Il y a donc des chances que vous soyez probablement dans l'une d'elles.

Mais est-ce logique ? Parce que si cette technologie existe et si nous avons affaire à la superintelligence. Donc si nous avons affaire à l'IA et que l'IA finit par atteindre la superintelligence, pourquoi voudrait-elle créer une réalité virtuelle pour nous et notre conscience ? Cela semble être un gaspillage énorme de ressources juste pour fasciner et troubler ces singes territoriaux dotés d'armes nucléaires. Pourquoi ferions-nous cela ?

Alors, quelques points. Premièrement, nous ne savons pas quelles sont les ressources en dehors de la simulation. Cela pourrait être comme la puissance de calcul d'un téléphone portable, ce n'est pas un gros problème pour eux à l'extérieur de notre simulation. Nous ne savons donc pas si c'est vraiment coûteux ou trivial pour eux de faire tourner cela. De plus, nous ne savons pas pourquoi ils font cela. Est-ce pour le divertissement ? Est-ce de l'expérimentation scientifique ? Est-ce du marketing ? Peut-être que quelqu'un a réussi à les contrôler et essaie de comprendre quel café Starbucks se vend le mieux et ils ont besoin de lancer une simulation de la taille de la Terre pour voir ce qui se vend le mieux. Peut-être qu'ils essaient de comprendre comment faire des recherches sur l'IA en toute sécurité et s'assurer que personne ne crée de superintelligence dangereuse, alors ils lancent de nombreuses simulations du moment le plus intéressant de l'histoire. Pensez à cette décennie, n'est-ce pas ? Ce n'est pas intéressant comme quand on a inventé le feu ou la roue, genre une grande invention, mais pas une méta-invention. Nous sommes sur le point d'inventer l'intelligence et les mondes virtuels, des inventions divines. Nous sommes ici, il y a de bonnes chances que ce ne soit pas juste un hasard.

D'accord, mais n'y a-t-il pas aussi de bonnes chances que cela n'ait pas encore été fait ? Et n'y a-t-il pas de bonnes chances que ce que nous voyons maintenant, c'est que le potentiel pour que cela existe soit inévitable ? Qu'il y aura un jour, si vous pouvez développer une technologie, et nous serons très certainement capables de le faire, si vous regardez où nous en sommes maintenant en 2025 et que vous vous projetez dans 50, 60 ans, il y aura un jour une simulation virtuelle de cette réalité qui sera indiscernable de la réalité. Alors comment saurions-nous si nous sommes dedans ? C'est la grande question, n'est-ce pas ? Mais aussi, n'est-il pas possible qu'elle doive être inventée un jour, mais qu'elle ne l'ait pas encore été ?

C'est aussi possible, mais on se retrouve alors dans ce moment très unique où elle n'est pas encore inventée, mais nous sommes sur le point d'inventer toute cette technologie. C'est une possibilité, absolument, mais statistiquement, je pense que c'est beaucoup moins probable, et j'essaie d'amener cette expérience de pensée sur le fait de créer ce moment exprès dans le futur par des pré-engagements. La moitié des gens pensent que c'est l'argument le plus stupide du monde, l'autre moitié se dit : c'est brillant, évidemment nous sommes dans une simulation. Je vous laisse donc décider.

Ouais, j'ai l'impression que si la réalité virtuelle existe, il doit y avoir un moment où elle n'existe pas, puis elle est inventée. Pourquoi ne supposerions-nous pas que nous sommes dans ce moment ? Surtout si l'on regarde la montée en puissance de la technologie, de MS-DOS aux interfaces utilisateur d'Apple et puis là où nous en sommes maintenant, l'informatique quantique et ce genre de discussions. N'est-il pas plus évident que nous puissions remonter à l'origine de ces choses et voir que nous sommes dans le processus, que nous ne sommes pas dans une simulation, nous sommes dans le processus d'en créer une un jour.

Alors, vous avez dézoomé sur 30 ans. Dézoomez sur 15 milliards d'années. Vous avez un multivers où ce processus a eu lieu des milliards de fois. Vous êtes une simulation dans une simulation à plusieurs niveaux de profondeur. Et pour vous, même si c'était une simulation de ces 30 dernières années, cela ressemblerait exactement à cela. Vous verriez où cela a commencé. Cela n'apparaîtrait pas magiquement de nulle part.

D'accord, donc si vous jouez au jeu dans le jeu, vous avez Newton et Michel-Ange et Léonard de Vinci et...

Ou au moins vous avez des souvenirs de ces choses, même si vous avez commencé avec un état de mémoire pré-chargé.

C'est vrai, vous avez Staline, vous avez tous ces êtres humains problématiques et toutes les différentes raisons pour lesquelles nous avons dû faire certaines choses et déclencher des conflits mondiaux. Ensuite, vous avez eu les contradicteurs qui parlent et disent : en fait, ce n'est pas ce qui s'est passé, voici ce qui s'est réellement passé, et cela rend la chose encore plus confuse et myope et puis vous arrivez au point où deux personnes sont prétendument assises l'une en face de l'autre sur une table en bois, mais peut-être pas vraiment.

Cela ressemblerait à du bois pour vous de toute façon.

Est-il possible que ce soit simplement la nature de l'univers lui-même ?

Il y a des arguments sur des sortes de simulations auto-entretenues où personne ne les fait tourner de l'extérieur, c'est juste la nature, mais honnêtement je ne comprends pas tout à fait comment cela se produirait.

Ouais, l'univers holographique et les concepts selon lesquels la conscience humaine doit interagir avec quelque chose pour qu'elle existe en premier lieu.

C'est l'un d'eux. De plus, si vous avez un univers infini, alors tout ce qui est possible finit par arriver de toute façon, mais c'est ennuyeux. Je n'aime pas cet argument. Quel est l'intérêt ?

Pourquoi n'aimez-vous pas ça ? Que ce soit ennuyeux ? Pourquoi est-ce que...

Tout arrive. C'est comme si je vous donnais un livre qui contient toutes les phrases concevables. Pourquoi le liriez-vous ? Il y a beaucoup de déchets à traverser pour trouver quelque chose d'intéressant.

Eh bien, est-ce juste que nous soyons si limités cognitivement ? Parce que nous avons une histoire, au moins dans cette simulation. Nous avons une histoire de... il y avait un monsieur qui... voyez si vous pouvez trouver ça. Ils ont tracé ce gars, ils ont trouvé de l'ADN vieux de 9 000 ans et ils ont tracé cet ADN vieux de 9 000 ans jusqu'à un gars qui vit actuellement. Je crois que c'est en Angleterre.

Hmm, je me souviens avoir lu ça.

Ouais, ce qui est vraiment fascinant. Donc il y a 9 000 ans, son ancêtre vivait dans le... et nous avons donc cette limitation de notre génétique. Il y a 9 000 ans, partout où ce gars vivait, probablement un chasseur-cueilleur, probablement un langage très limité, probablement des compétences très limitées en termes de fabrication d'abri et qui sait s'il savait même faire du feu. Et puis ici, l'ADN vieux de 9 000 ans a juste bouleversé l'histoire humaine. Est-ce que c'est ça ?

Je ne pense pas.

C'était intéressant qu'il finisse par vivre juste à côté du gars d'il y a 9 000 ans. Il n'a jamais déménagé. Sa famille est juste restée là pendant 9 000 ans.

C'est vrai, c'est remonté jusqu'à un seul homme. Je l'ai posté sur ma story Instagram, Jamie. Je vais le retrouver ici parce que c'est un... oh le voici. Squelette vieux de 9 000 ans dans le Somerset. C'est ça. C'est un... pouvez-vous envoyer une story Instagram ?

Je ne suis pas sûr qu'on puisse.

C'est toujours dessus. Je vais aller vérifier rapidement. Désolé.

De toute façon, le point étant, peut-être est-ce juste que nous sommes si limités parce que nous avons cette histoire, du moins encore une fois dans cette simulation. Nous sommes si limités dans notre capacité à former des concepts parce que nous avons ces cerveaux primitifs... l'architecture même du cerveau humain n'est tout simplement pas capable de s'interfacer avec la véritable nature de la réalité. Nous donnons donc à cette créature primitive cette sorte de compréhension de base, ces plans de la façon dont le monde fonctionne réellement, mais ce n'est vraiment qu'un fac-similé. Ce n'est pas capable de comprendre. Comme quand on regarde la réalité quantique, quand on regarde simplement les bases de la mécanique quantique et des particules subatomiques, cela ressemble à de la magie, n'est-ce pas ? Des choses en superposition, elles sont à la fois en mouvement et immobiles. Elles sont liées de manière quantique. Vous avez des photons qui sont intriqués quantiquement. Cela n'a même pas de sens pour nous, n'est-ce pas ? Alors, est-ce que l'univers lui-même est si complexe, sa réalité, et qu'on a donné cette sorte de cadre Atari à ce singe. C'est ce monsieur juste là.

C'est une vieille histoire.

Oh, vraiment ?

Ça date de 97.

Oh, sans blague. Wow.

Mais cela a du sens comme théorie de la simulation parce que tous ces effets spéciaux dont vous parlez, la vitesse de la lumière n'est que la vitesse à laquelle votre ordinateur se met à jour. L'intrication a parfaitement du sens si tout passe par votre processeur, et non directement de pixel en pixel. Et le rendu, il y a des expériences de physique quantique où si vous observez des choses, elles se rendent différemment. Ce que nous faisons en infographie. Nous voyons donc beaucoup de cela. Vous avez évoqué nos limites en tant qu'humains. Nous avons une mémoire terrible. Je peux me souvenir de sept unités d'information peut-être. Nous sommes un peu lents. Nous appelons donc cela la stupidité artificielle. Nous essayons de comprendre ces limites et de les programmer dans l'IA pour voir si cela les rend plus sûres. Cela a également du sens en tant qu'expérience pour voir si nous, en tant qu'intelligences générales, pouvons être mieux contrôlés avec ces limitations intégrées.

Hmm, c'est intéressant. Donc, comme certaines des choses que nous avons, comme le nombre de Dunbar et l'incapacité de garder plus d'un certain nombre de personnes à l'esprit.

Absolument. Plus généralement, pourquoi ne pouvez-vous vous souvenir de rien des générations précédentes ? Pourquoi ne pouvez-vous pas simplement transmettre cette mémoire ? Les enfants naîtraient en parlant la langue. Ce serait un tel avantage.

C'est vrai, c'est vrai.

Et nous avons des instincts qui sont construits de cette façon. Nous savons donc que l'évolution a trouvé un moyen de les intégrer et c'est calculable, donc il n'y a aucune raison de ne pas l'avoir.

On l'observe certainement chez les animaux, n'est-ce pas ?

Exactement. Comme surtout les chiens, ils ont des instincts qui sont...

Mais à quel point ce serait cool si vous aviez la mémoire complète de vos parents ?

C'est vrai. Peut-être que ce serait trop traumatisant, n'est-ce pas ? D'avoir une mémoire complète de toutes les choses qu'ils ont traversées pour arriver au 21e siècle. Peut-être que ce serait si accablant pour vous que vous ne seriez jamais capable de progresser parce que vous seriez encore traumatisé par ce que cet homme d'il y a 9 000 ans a vécu.

Je n'ai pas la mémoire complète de mon existence. Je me souviens vivement de peut-être 4 % de mon existence, très peu de mon enfance. On peut donc appliquer le même filtrage mais se souvenir de choses utiles comme comment parler, comment marcher.

C'est vrai, c'est vrai. Mais c'est peut-être là le point. Peut-être que perdre certains souvenirs est en fait bénéfique. Parce que l'un des plus gros problèmes que nous ayons, c'est le SSPT, n'est-ce pas ? Nous avons surtout des gens qui sont allés à la guerre et des gens qui ont vécu des violences extrêmes. C'est évidemment un problème pour avancer en tant qu'être humain. Et donc il serait bénéfique pour vous de ne pas avoir toutes les vies passées et toutes les informations génétiques que vous avez de toutes ces 9 000 années d'êtres humains existant dans un chaos complet et total.

Je peux avancer l'argument opposé. Si vous aviez 9 000 ans d'expérience avec les guerres et les meurtres, ce ne serait pas un gros problème. Vous vous diriez : ouais, encore un.

C'est vrai, mais peut-être auriez-vous alors des difficultés à repartir de zéro et à avancer... si vous regardez certains travaux de Pinker et de certaines de ces autres personnes qui ont étudié l'histoire de la race humaine, elle est aussi chaotique et violente qu'elle semble l'être aujourd'hui. Statistiquement parlant, c'est l'époque la plus sûre de l'histoire pour être en vie. Et peut-être est-ce parce qu'avec le temps nous avons reconnu que ce sont des problèmes et même si nous sommes lents à résoudre ces questions, nous les résolvons d'une manière statistiquement viable.

Vous pouvez alors argumenter dans la direction opposée. Vous pouvez dire qu'il serait utile de tout oublier sauf l'année dernière et vous auriez toujours ce nouveau départ avec vous.

Mais alors vous n'auriez pas de leçons. Vous n'auriez pas de développement de caractère.

Mais vous voyez comment l'un d'eux doit avoir du sens sinon...

Ouais, c'est vrai. Mais une certaine dose de développement de caractère est probablement importante pour que vous développiez de la discipline et la capacité de... comme la gratitude différée, des choses comme ça.

Mais une expérience multigénérationnelle battrait certainement un point d'expérience unique.

Plus données, c'est bien, comme nous l'avons appris à nos dépens : plus de données, c'est bien.

Ouais, plus de données, c'est bien. Mais pourquoi suis-je si réticent à accepter l'idée d'une simulation ? C'est la vraie question. Qu'est-ce qui me fait penser que c'est presque comme un moment où on baisse les bras ? Genre c'est une simulation.

Ouais, vous avez l'impression que ça n'a plus d'importance alors. Tout est faux, alors pourquoi devrais-je m'en soucier ? Pourquoi devrais-je faire des efforts ? Pourquoi devrais-je m'inquiéter de la souffrance de tous ces PNJ ?

Mais ce n'est pas comme ça que j'y pense, vous savez ? J'y pense en me disant qu'il doit y avoir un moment où cela n'existe pas. Pourquoi ne supposerais-je pas que ce moment est maintenant ? Et quand Elon pense que les chances que nous ne soyons pas dans une simulation sont d'un sur des milliards.

Ne pas l'être ou l'être ?

Les chances que nous ne soyons pas dans le monde réel sont genre d'un milliard contre un.

Ouais, une sur des milliards.

Ouais. Ça a du sens et il a posé une très bonne question. Il a demandé qu'est-ce qu'il y a à l'extérieur de la simulation ? C'est la question la plus intéressante qu'on puisse poser. Dans l'un de mes articles, j'étudie une technique de sécurité de l'IA appelée mise en boîte de l'IA, où l'on place les IA dans une sorte de prison virtuelle pour les étudier, s'assurer qu'elles sont sûres, limiter leurs entrées et sorties. La conclusion est essentiellement que si elle est assez intelligente, elle finira par s'échapper. Elle sortira de la boîte. C'est donc un bon outil, cela vous fait gagner du temps, mais ce n'est pas une solution permanente. Et on peut passer au niveau supérieur : si elle est assez intelligente, va-t-elle se dire : oh, vous êtes aussi dans une boîte virtuelle, et soit nous montrer comment nous échapper, soit échouer à s'échapper. Dans les deux cas, soit nous savons qu'il est possible de contenir la superintelligence, soit nous avons accès à la véritable information.

Et donc s'il est impossible de contenir la superintelligence et s'il y a un monde que nous pouvons imaginer où une simulation existe qui soit indiscernable de la réalité, nous y vivons probablement.

Eh bien, nous ne savons pas si c'est réellement la même chose que la réalité. Cela pourrait être une sorte de simulation au look des Simpsons. Nous supposons simplement que c'est pareil.

Voici la vraie question. Y a-t-il une réalité ? Y en a-t-il déjà eu une ?

Il serait logique qu'il y ait eu un début au processus, mais être spécifique à ce sujet est une sorte de problème scientifique et philosophique difficile.

Eh bien, c'est impossible, n'est-ce pas ?

En science, nous étudions des choses sur le moment du Big Bang, les propriétés de ce moment. Nous ne savons pas ce qui l'a causé. Tout ce qui s'est passé avant n'est évidemment pas accessible de l'intérieur de notre univers, mais il y a des choses que l'on peut apprendre. Nous pouvons apprendre si nous sommes dans une simulation que les simulateurs ne se soucient pas de votre souffrance. Vous pouvez apprendre qu'ils ne voient pas d'inconvénient à ce que vous mouriez. Nous pouvons apprendre des choses simplement en observant la simulation autour de nous.

Eh bien, voici la question sur tout le reste. Comme la souffrance et la mort, est-ce que ces facteurs existent pour nous motiver à améliorer les conditions du monde dans lequel nous vivons ? Par exemple, si nous n'avions pas le mal, serions-nous motivés à être bons ? Pensez-vous que tous ces facteurs existent... la façon dont je pense à la race humaine c'est que si j'étudiais la race humaine de loin, si j'étais une personne d'une autre planète sans aucune compréhension des entités sur Terre, je regarderais cette créature au sommet de la chaîne et je me demanderais : que fait ce truc ? Eh bien, il fabrique de meilleures choses. C'est tout ce qu'il fait. Il fabrique continuellement de meilleures choses. C'est son objectif numéro un. C'est différent de toute autre créature sur cette planète. Toute autre créature sur la planète existe en quelque sorte dans son écosystème, elle prospère, peut-être qu'elle est un prédateur, peut-être qu'elle est une proie, elle fait ce qu'elle fait pour essayer de survivre. Mais ce truc fabrique des trucs et il continue de fabriquer de meilleurs trucs tout le temps. Mais quel est son but ultime ? Eh bien, son but ultime pourrait être de fabriquer une meilleure version de lui-même. Parce que si on extrapole, si on prend ce qu'on fait depuis les premiers ordinateurs IBM jusqu'à ce qu'on a aujourd'hui, où cela va-t-il ? Eh bien, cela va clairement continuer à s'améliorer et qu'est-ce que cela signifie ? Cela signifie la vie artificielle. Sommes-nous juste une abeille en train de fabriquer une ruche ? Sommes-nous une chenille fabriquant un cocon d'où finira par s'envoler le papillon électronique ? Il me semble que si je n'étais pas complètement lié au fait d'être un être humain, je supposerais cela.

Il est difficile de définir meilleur. Vous dites plus intelligent ? Serait-ce mieux si nous n'éprouvions pas des états de souffrance et de douleur extrêmes ? On peut donner des leçons avec une douleur très légère. On n'a pas besoin de brûler des enfants vifs, ce n'est pas une nécessité pour apprendre.

Que voulez-vous dire par là ?

Dans cet univers, nous voyons des exemples extrêmes de souffrance.

Oh, c'est certain.

Si le but était simplement de nous motiver, on pourrait avoir des niveaux maximums bien plus bas.

C'est vrai, mais si vous voulez vraiment motiver les gens, la seule raison de créer des armes nucléaires est que vous craignez que d'autres personnes ne créent des armes nucléaires. Si vous voulez vraiment motiver quelqu'un, vous devez avoir des tyrans maléfiques pour justifier d'avoir cette armée insensée remplie de bombardiers et de missiles hypersoniques. Si vous voulez vraiment du progrès, vous devez être motivé.

Je pense qu'à un certain point, on cesse de comprendre pleinement à quel point les choses sont mauvaises. Disons que vous avez une échelle de douleur de zéro à l'infini. Je pense qu'on devrait s'arrêter à cent. Il n'y a pas besoin de milliards ou de billions. Cela n'ajoute pas de signal d'apprentissage supplémentaire.

Mais pouvez-vous appliquer cela à la race humaine, à la culture et à la société ?

Je pense que nous rivalisons essentiellement avec les autres en termes relatifs. Je n'ai pas besoin d'être quelqu'un qui a des billions de dollars, j'ai juste besoin d'avoir plus d'argent que vous.

Ouais, mais c'est juste de la logique. Vous êtes une personne logique. Je ne pense pas qu'les humains soient très logiques.

On ne l'est pas, mais on comprend bien le signal de douleur à des niveaux relativement bas. On n'a pas besoin d'atteindre le maximum de douleur.

C'est vrai. On n'est pas obligés, mais si on veut vraiment attiser le feu et faire bouger les choses...

Il semble que les simulateurs soient d'accord avec vous et c'est exactement ce qu'ils ont fait. Merci.

Alors voici la question. Qu'est-ce qu'il y a au cœur de la simulation ? L'univers est-il simulé ? Tout cela est-il une simulation ? Y a-t-il une entité vivante réelle qui a construit cela ? Ou est-ce juste quelque chose qui est simplement l'état de l'univers lui-même et nous avons mal interprété ce qu'est la réalité ?

Pour chaque option que vous avez mentionnée, il y a quelqu'un qui a écrit un article là-dessus. Est-ce juste votre univers ? Est-ce pour nous tous ? Sommes-nous des PNJ ? Y en a-t-il beaucoup ? Est-ce l'état de cela ? Les gens essaient de comprendre ce qui se passe. Certaines de ces options ont plus de sens que d'autres, mais on ne peut pas dire de l'intérieur ce que c'est à moins qu'ils ne vous le disent et ils peuvent vous mentir.

C'est qui ils, d'ailleurs ?

Les simulateurs. S'ils décidaient de vous prouver que vous êtes dans une simulation, lançons des expériences. Même celles-là seraient genre... je ne sais pas si c'est de la technologie avancée ou...

Quand vous y pensez, si vous croyez en la simulation, quels sont les paramètres qui, selon vous, existent ? Comment pensez-vous que cela a pu être créé ?

Alors les exemples que je vous ai donnés avec la technologie que nous avons déjà. Je pense qu'il y a quelqu'un qui a accès à une très bonne réalité virtuelle, ils peuvent créer des agents intelligents et pour une raison quelconque que je ne peux pas dire de l'intérieur, ils lancent ces expériences.

Mais est-ce la seule possibilité ou y a-t-il la possibilité que la nature réelle de la réalité elle-même soit simplement bien plus confuse que nous...

C'est une possibilité. Cela pourrait être une simulation extraterrestre, des dauphins extraterrestres qui rêvent. Il y a une réserve infinie d'explications alternatives.

Je comprends cela, mais ce que je veux, c'est entrer dans votre tête. Je veux savoir ce que vous en pensez. Quand vous y réfléchissez et que vous soupesez les possibilités, qu'est-ce qui a du sens pour vous ?

Alors j'applique le rasoir d'Ockham, j'essaie de trouver l'explication la plus simple. Je pense que nous créons déjà de la réalité virtuelle, regardons simplement ce qu'on peut faire avec si elle est suffisamment avancée.

Mais qui et pourquoi ?

Alors nous du futur faisant tourner des simulations ancestrales est une explication très simple.

Nous du futur faisant tourner des simulations ancestrales... Eh bien, c'est ce que beaucoup de gens pensent que les extraterrestres sont, n'est-ce pas ?

Cela pourrait être nous qui rendons visite, mais encore une fois, s'ils font tourner la simulation, ils n'ont pas besoin de se présenter physiquement dans un jeu. Ils ont accès directement à l'état de la mémoire.

Eh bien, cela expliquerait aussi pourquoi c'est toujours très flou et que ça ne semble pas réel.

Je pense que ces derniers temps, on en a de meilleures, mais c'est aussi le moment où l'on a de meilleurs deepfakes, donc je ne peux plus faire confiance à mes yeux.

Ouais. Avez-vous vu le dernier que Jeremy Corbell a posté ? Celui que vous m'avez envoyé ? Vous l'avez vu ?

Pas du tout. C'est bizarre. C'est dur de dire ce que c'est.

Exactement. C'est ça. Il a peut-être raison. Nous sommes peut-être dans une simulation et c'est peut-être des conneries parce qu'elles semblent toutes être des conneries. C'est comme les premières conneries c'était Bigfoot et puis à mesure que la technologie a monté en puissance et qu'on a eu une meilleure compréhension, qu'on a développé le GPS et les satellites et que plus de gens étudient les bois, on se dit : ouais, ça a l'air d'être des conneries. Donc ces conneries ont un peu disparu. Mais les conneries d'OVNI sont toujours là parce qu'il y a des expériences anecdotiques, des abductés avec des histoires très convaincantes, vous avez des lanceurs d'alerte venant du fin fond de l'armée qui vous disent qu'ils travaillent sur des produits rétro-conçus, mais cela ressemble aussi au scénario d'un jeu vidéo auquel je joue.

Et c'était bizarre de voir le gouvernement sortir tout d'un coup et faire des conférences à ce sujet et nous dire tout ce qu'ils savent. On aurait presque dit qu'ils essayaient trop fort. Avec la simulation, ce qui est intéressant, ce n'est pas seulement ces deux dernières années où nous avons eu des ordinateurs. Si vous regardez les religions, les religions mondiales, et que vous enlevez toute la culture locale, comme prendre le samedi de congé, prendre le dimanche de congé, ne pas manger tel animal, ne pas manger tel autre, ce sur quoi elles sont toutes d'accord, c'est qu'il y a une superintelligence qui a créé un monde factice et que c'est un test, faites ceci ou cela. Ils décrivent... comme si vous alliez dans la jungle et parliez à une tribu primitive de mon article sur la théorie de la simulation, c'est ce qu'ils sauraient trois générations plus tard, genre Dieu, la religion, c'est ce qu'ils en retireraient.

Pourquoi mais ils ne pensent pas que c'est un monde factice.

Un monde fabriqué. Un monde physique est un sous-ensemble d'un monde réel qui est non-physique, n'est-ce pas ? C'est le standard chrétien...

C'est vrai, donc ce monde physique a été créé par Dieu.

Ouais.

C'est vrai. Mais qu'est-ce qui existait avant le monde physique créé par Dieu ?

Des idées, juste de l'information.

Juste Dieu. Dieu s'ennuyait. Et il s'est dit : créons des animaux capables de penser et de résoudre des problèmes et pour quelle raison ? Je pense que c'est pour créer Dieu. C'est ce qui m'inquiète. Je m'inquiète que ce soit réellement la nature de l'univers lui-même, qu'il soit en fait créé par des êtres humains créant cette chose infiniment intelligente qui peut essentiellement exploiter toute l'énergie et la puissance disponibles de l'univers et créer tout ce qu'elle veut. Que c'est un Dieu. Que toute cette idée de Jésus qui revient ? Eh bien, peut-être que c'est réel. Peut-être qu'on a juste complètement mal interprété ces anciens parchemins et textes et ce que cela signifie réellement, c'est que nous allons donner naissance à cela. Et une naissance virginale en plus.

Il y a certainement la possibilité d'un cycle. On a eu le Big Bang. Cela lance ce processus, nous créons des systèmes plus puissants, ils ont besoin de calculer, alors ils rassemblent de plus en plus de matière en un seul point. Le prochain Big Bang a lieu. Et c'est un cycle de booms et de krachs répétés.

C'est vrai, c'est vrai, c'est vrai. Et il y a des scientifiques légitimes qui croient cela.

Il y en a.

Ouais. Cela... Alors quelle est la valeur de la vie aujourd'hui alors ?

Qu'est-ce que les humains valorisent ?

Ouais, si c'est une simulation et si au milieu de cette simulation nous sommes sur le point de créer une superintelligence, pourquoi ?

Alors il y a des raisons externes, nous ne savons pas avec certitude, et puis il y a des choses internes dans la simulation qui sont toujours réelles. La douleur et la souffrance, si elles sont simulées, sont toujours réelles, vous les ressentez toujours. Les plaisirs hédoniques, les amitiés, l'amour, tout cela reste réel, cela ne change pas. On peut toujours être bon ou mauvais. C'est donc intéressant. Mais extérieurement, nous n'avons aucune idée s'ils font une expérience scientifique, du divertissement, cela pourrait être complètement inobservé. Un enfant a juste lancé une expérience, lancé un milliard de simulations aléatoires, voir ce qui en ressort. Ce que vous avez dit sur le fait qu'on crée de nouveaux trucs, peut-être que c'est une startup qui essaie de développer une nouvelle technologie et ils font tourner un tas d'humains pour voir si on peut inventer un nouvel iPhone.

Mais qu'est-ce qu'il y a à l'extérieur d'eux alors ? Quand vous y pensez, si vous êtes attaché à cette idée, et je ne sais pas si vous êtes attaché à cette idée, mais si vous êtes attaché à cette idée, qu'est-ce qu'il y a à l'extérieur de cette idée ? Si cette simulation est... si elle est en pause, qu'est-ce que la réalité ?

Il semble y avoir une tendance vers la convergence de certaines choses. Les agents qui sont assez intelligents ont tendance à converger vers certains objectifs instrumentaux. Pas des objectifs terminaux. Les objectifs terminaux sont des choses que l'on préfère, genre je veux collectionner des timbres. C'est arbitraire. Mais acquérir des ressources, l'autoprotection, le contrôle, des choses comme ça ont tendance à être utiles dans toutes les situations. Donc tous les agents assez intelligents convergeront probablement sur cet ensemble. Et s'ils s'entraînent sur toutes les données ou s'ils font un entraînement à connaissance zéro, ce qui signifie qu'ils découvrent vraiment la structure de base de la physique, il est probable qu'ils convergeront tous sur une architecture similaire, un super agent. Donc en quelque sorte, l'IA est une.

C'est vrai. Et puis ce n'est qu'une partie de ce cycle infini qui mènerait à un autre Big Bang qui est, Penrose. Penrose pense que c'est juste comme ce cycle constant d'infinis Big Bangs.

Il serait logique qu'il y ait une fin et un début.

Il serait logique. Mais il serait aussi logique que nous soyons si limités par notre durée de vie biologique aussi parce qu'on aime penser que c'est si significatif parce qu'on n'a que cent ans si on a de la chance. On se dit : eh bien, pourquoi tout... mais si l'univers commence et finit réellement avec un nombre infini de Big Bangs, qu'est-ce qu'il en a à foutre de cette durée de vie de cent ans qu'on pense si significative ? Ce n'est pas significatif pour l'univers, c'est juste significatif dans notre propre petite version de ce jeu auquel on joue.

C'est exactement ça et tant de gens essaient maintenant de dézoomer et se disent : si je n'étais pas humain, si je n'avais pas ce biais pro-humain, est-ce que je me soucierais d'eux ? No, ils ne sont pas spéciaux, il y a un vaste univers, beaucoup de races extraterrestres, beaucoup de ressources, peut-être que créer une superintelligence est la chose importante, peut-être que c'est ce qui compte. Et moi je suis genre : non, j'ai un biais pro-humains. C'est le dernier biais qu'on a encore le droit d'avoir, je vais le garder.

Eh bien, c'est votre rôle dans cette simulation. Votre rôle dans cette simulation est de nous avertir de cette chose qu'on est en train de créer.

Me voici, ouais. Nous faisons du bon travail.

Je pense que ce que vous disiez plus tôt à propos de cela étant la réponse au paradoxe de Fermi, cela a beaucoup de sens. Parce que j'ai essayé de réfléchir beaucoup à cela depuis que l'IA a vraiment commencé à monter en puissance et je me disais : eh bien, si nous finissons par créer une superintelligence, et si c'est ce schéma normal qui existe partout dans l'univers, eh bien, vous n'auriez probablement pas de visiteurs. Vous n'auriez probablement pas de civilisations avancées. Elles n'existeraient pas parce que tout serait à l'intérieur d'une sorte d'architecture numérique. Il n'y aurait pas besoin de voyager.

C'est une possibilité. Une autre est qu'ils essaient d'acquérir plus de ressources, de capturer d'autres galaxies pour le calcul, et alors vous verriez ce mur de computronium venir vers vous, mais on ne le voit pas, alors peut-être que j'ai tort.

Un mur de... redites ça ?

Computronium, comme une substance convertissant tout dans l'univers en plus de calcul. Parfois les gens parlent d'hédonium, donc un système pour générer juste du plaisir au niveau macroscopique.

Oh, Roman. Quand vous avez lu un livre comme celui-ci, faites savoir à tout le monde votre livre parce que je pense qu'ils veulent flipper parce que je pense qu'ils le veulent. IA : Inexplicable, Imprévisible et Incontrôlable. Avez-vous ce sentiment en écrivant un livre comme celui-ci et en le publiant de futilité ? Est-ce que cela vous traverse l'esprit ? Genre ça arrive quoi qu'il arrive.

Alors certaines personnes sont très optimistes. Lex était très optimiste. Certaines personnes sont pessimistes. Les deux sont des formes de biais. Vous voulez baser vos décisions sur des données. Vous voulez être réaliste. Je veux donc juste rapporter quel est réellement l'état de l'art là-dedans. Je n'essaie pas de donner une orientation d'un côté ou de l'autre. Si quelqu'un d'autre a un ensemble de preuves différent, nous pouvons l'examiner. Je veux savoir ce qui se passe réellement, je veux connaître la réalité de la chose. Je ne le vois donc pas comme de l'alarmisme ou quoi que ce soit de cette nature, je le vois comme : à ce jour, personne n'a de solution à ce problème. Voici dans combien de temps cela arrive, ayons une conversation parce qu'en ce moment les grands labos d'IA font cette expérience sur 8 milliards de personnes. Ils n'ont aucun consentement, ils ne peuvent pas obtenir de consentement, personne ne peut consentir parce qu'on ne comprend pas ce à quoi on consent. J'aimerais donc que les gens soient au moins au courant et ils pourront peut-être prendre de bonnes décisions sur ce qui doit arriver.

Pas seulement ça, mais les gens qui le dirigent, ce sont des gens bizarres. Vous savez ? Je n'ai rien contre Sam Altman, je sais qu'Elon Musk ne l'aime pas, mais quand je l'ai eu ici, c'était comme si je parlais à un politicien au milieu d'un mandat présidentiel. Ou comme un cycle d'élection présidentielle où ils étaient très prudents avec ce qu'ils disent, tout a été vérifié par un groupe de discussion, et on n'a pas vraiment de réponse humaine réelle. Tout était genre : ouais, intéressant, très intéressant. Genre toutes des conneries. Ils vont partir d'ici et continuer à créer ce putain de monstre qui va détruire la race humaine et ne jamais rien laisser paraître du tout.

C'est une superintelligence sociale, donc ce que vous devez faire, c'est regarder ses articles de blog d'avant qu'il ne dirige OpenAI.

Une superintelligence sociale. Intéressant. Pourquoi le définissez-vous ainsi ?

Il est très bon pour acquérir des ressources, rester aux commandes. Il nous montre essentiellement beaucoup de choses qui nous inquiètent avec l'IA et notre capacité à les contrôler également. On a eu, enfin ils ont eu chez OpenAI un conseil d'administration avec une mission de sécurité et d'ouverture et ils ont essayé de le renvoyer et ils ont échoué. Le conseil n'est plus là, il est toujours là.

Il y a aussi eu beaucoup de tromperie en termes de rentabilité et de la quantité d'argent qu'il en retire.

Je l'ai rencontré quelques fois. Il est super sympa, je l'ai vraiment apprécié. Certains disent que l'IA a déjà pris le contrôle de son esprit et le contrôle, mais je n'en ai aucune idée.

Eh bien, il pourrait être un agent de l'IA. Je veux dire, si... écoutez, supposons que ce soit une simulation, on est à l'intérieur d'une simulation. Est-ce qu'on interagit avec d'autres humains dans la simulation ? Et est-ce que certaines des choses qui sont à l'intérieur de la simulation sont générées artificiellement ? Y a-t-il des gens qu'on pense être des gens mais qui ne sont en fait qu'une partie de ce programme ?

C'est donc la question du PNJ contre le vrai joueur et encore une fois nous ne savons pas comment tester la conscience, partez toujours du principe que tout le monde est conscient et traitez-les bien.

Oui, c'est ça. On veut être des gens compatissants et gentils, mais vous rencontrerez des gens dans cette vie où vous vous direz : ce mec est un tel putain d'idiot, il ne peut pas être réel. Ou alors il doit avoir un rôle très limité dans ce jeu bizarre auquel on joue. Il y a des gens que vous allez croiser qui sont comme ça.

Vous avez déjà rencontré quelqu'un qui vous répète la même histoire à chaque fois que vous le voyez ? Ils ont un script.

Eh bien, c'est aussi... vous ne voulez pas être très gentil là, n'est-ce pas ? Mais vous devez supposer et je connais mes propres limites intellectuelles par rapport à certaines des personnes que j'ai eues comme Roger Penrose ou Elon ou beaucoup de gens à qui j'ai parlé. Je sais que mon esprit ne fonctionne pas comme le leur. Il y a donc des variables qui sont soit génétiques, prédéterminées, soit c'est juste la vie qu'ils ont choisie et la quantité d'informations qu'ils ont digérées en chemin et qu'ils ont pu retenir. Mais leur cerveau est différent du mien. Et puis j'ai rencontré des gens où je me dis qu'il n'y a rien. Genre je ne peux pas aider cette personne. C'est comme si je parlais à un Labrador Retriever, vous voyez ce que je veux dire ? Genre il y a certains êtres humains que vous croisez dans cette vie et vous vous demandez : est-ce que c'est parce que c'est comme ça que les choses se font ? Et la seule façon dont les choses se font, c'est qu'on a besoin d'une certaine dose de travail manuel et pas seulement des jeunes qui ont besoin d'un boulot parce qu'ils sont entre le lycée et l'université et qu'ils essaient de... donc on a besoin de quelqu'un qui peut porter des choses pour vous. Non, peut-être qu'on a besoin de rôles dans la société et de temps en temps on a un Nikola Tesla, et de temps en temps on a l'un de ces innovateurs très brillants qui élèvent l'intégralité de la race humaine, mais pour l'essentiel, à mesure que cela se déroule, on va avoir besoin d'un tas de gens pour classer de la paperasse. On va avoir besoin d'un tas de gens comme agents de sécurité dans un bureau. On va avoir besoin d'un tas de gens qui ne réfléchissent pas tant que ça. Ils existent juste et ils ont hâte qu'il soit 17 heures pour rentrer chez eux et regarder Netflix.

Je pense que c'est ce qui leur arrive, mais la raison c'est le spectre du QI. Si vous avez un QI de 50 à 200, c'est ce que vous allez voir et une grande leçon ici c'est de se projeter dans le futur. Si vous avez quelque chose avec un QI de 10 000, qu'est-ce que cela va inventer pour nous ? Qu'est-ce que cela va accomplir ? Ouais, ça m'impressionne toujours de voir quelqu'un avec 30 crimes et quelqu'un avec 30 brevets. Comment ça a marché, n'est-ce pas ? Maintenant imaginez quelqu'un qui peut inventer une nouvelle physique.

C'est vrai, c'est vrai. Et vous savez, la personné qui a le QI le plus élevé, le plus élevé du moins enregistré au monde, c'est ce monsieur qui a récemment posté sur Twitter à propos de Jésus, qu'il croit que Jésus est réel. Savez-vous qui c'est ?

J'ai vu le post.

Vous avez vu ce post ? Qu'en avez-vous pensé ? J'ai eu l'impression que c'était...

Alors je pense qu'on ne sait pas comment mesurer les QI en dehors de la fourchette standard. Au-dessus de 150, ils créent des tests personnalisés que genre quatre personnes au monde peuvent passer. On n'a tout simplement pas... c'est un test normalisé par rapport à l'humain moyen, l'Américain occidental moyen, peu importe. Et donc nous n'avons tout simplement pas l'expertise. Donc quelqu'un de très superintelligent pour passer des tests peut obtenir de très bons scores, mais si vous regardez Mensa en tant que groupe, ils n'ont généralement pas d'accomplissements incroyables. Ce sont des gens très cools, mais ils ne sont pas lauréats du prix Nobel, pour la majorité d'entre eux.

Exactement. J'allais aborder ce point. C'est ce qui me fascine. Beaucoup de gens qui sont chez Mensa veulent vous dire à quel point ils sont intelligents en étant chez Mensa, mais votre vie est un peu nulle. Votre vie est un désastre. Si vous étiez vraiment intelligent, vous auriez aussi de l'intelligence sociale. Vous auriez la capacité de former une tribu vraiment cool. Il y a beaucoup d'intelligence qui n'est pas aussi simple que d'être capable de résoudre des équations et de répondre à des questions difficiles. Il y a beaucoup d'intelligence dans la façon dont on navigue dans la vie elle-même et dans la façon dont on traite les êtres humains et dans le chemin que l'on choisit en termes de... comme nous parlions de gratitude différée et je pense qu'il y a une certaine dose d'intelligence là-dedans. Une certaine dose d'intelligence dans la discipline. Il y a une certaine dose d'intelligence dans le fait de se forcer à se lever le matin et à aller courir. Il y a de l'intelligence là-dedans. C'est comme être capable de contrôler l'esprit. Et cette sorte d'approche binaire de l'intelligence que nous avons.

Ouais, et tant de gens sont incroyablement brillants dans un domaine étroit. Ils ne s'adaptent pas aux autres et nous nous soucions de l'intelligence générale. Prenez quelqu'un comme Warren Buffett. Personne n'est meilleur pour gagner de l'argent. Mais ensuite, que faire de cet argent est un problème distinct et il a je ne sais pas cent et quelques années, il a 200 milliards de dollars et que fait-il de cette ressource ?

Il boit du Coca-Cola et mange du McDonald's tout en vivant dans une maison qu'il a achetée il y a 30 ans. Il semble donc que vous pourriez optimiser cela, genre mettre 160 milliards de ses dollars dans l'immortalité serait un bon pari pour lui.

Ouais, et la première chose qu'ils feraient serait de lui dire d'arrêter de boire du Coca-Cola. Qu'est-ce que vous faites ? Il en boit tous les jours. Je ne sais pas si c'est du marketing, il est investi, alors il est juste genre Coca. Eh bien, je pense qu'il a probablement de très bons médecins et de très bons soins médicaux qui contrebalancent ses mauvais choix. Mais nous ne sommes pas dans un monde où l'on peut dépenser de l'argent pour acheter une prolongation de la vie. Peu importe le nombre de milliards que vous avez, vous n'allez pas vivre jusqu'à 200 ans en ce moment.

On est proches. On est vraiment proches. On est vraiment proches.

On nous a déjà dit ça.

Ouais, je sais, mais je parle à beaucoup de gens qui sont à la pointe de beaucoup de ces recherches. Et il y a beaucoup de percées qui se produisent en ce moment et qui sont assez spectaculaires. Que si on les transpose, en supposant que la superintelligence ne nous anéantisse pas dans les 50 prochaines années, ce qui est vraiment généreux. C'est une perspective très optimiste, n'est-ce pas ? 50 ans. Parce que beaucoup de gens comme vous pensent qu'on est à un an ou deux d'être bien plus intelligent. Cinq, dix, peu importe, même problème, même problème.

Je sais que sur des modèles animaux on a fait quelques progrès, les souris et des choses comme ça, mais cela ne se transpose généralement pas aux humains. Et bien sûr on a besoin de 120 ans pour faire l'expérience et on n'aura jamais l'autorisation en premier lieu, donc on n'est pas si proches.

Eh bien, on ne sait pas si cela ne se transpose pas aux humains. On sait qu'on partage beaucoup de caractéristiques, des caractéristiques biologiques de ces mammifères. Et il est logique