The Future of AI, Superintelligence, and Human Survival
27 septembre 2025
Technology & AI
Ralentir l'IA et la sécurité
Êtes-vous du tout optimiste quant à la possibilité de faire quelque chose pour ralentir le rythme et l'accélération de l'IA ?
Il y a deux questions. La première est : peut-on la ralentir ?
Et l'autre est : peut-on faire en sorte qu'elle soit sûre à la fin ? Qu'elle ne nous anéantisse pas tous. Je ne crois pas que nous allons la ralentir.
La raison pour laquelle je ne crois pas que nous allons la ralentir est qu'il y a une compétition entre les pays et une compétition entre les entreprises au sein d'un même pays. Tout cela fait que ça va de plus en plus vite. Si les États-Unis ralentissaient, la Chine ne ralentirait pas.
Ilya pense-t-il qu'il est possible de rendre l'IA sûre ?
Je pense que oui. Il ne me dira pas quelle est sa recette secrète. Je ne sais pas combien de personnes connaissent sa recette secrète. Je pense que beaucoup d'investisseurs ne la connaissent pas, mais ils lui ont quand même donné des milliards de dollars parce qu'ils ont une immense confiance en Ilya, ce qui n'est pas insensé. Il a été très important dans AlexNet, qui a permis à la reconnaissance d'objets de bien fonctionner. Il a été la force principale derrière des projets comme GPT-2, qui a ensuite mené à ChatGPT. Avoir une grande confiance en Ilya est une décision très raisonnable.
Il y a quelque chose d'assez obsédant dans le fait que l'homme qui a créé et a été la force principale derrière GPT-2, qui a donné naissance à toute cette révolution, ait quitté l'entreprise pour des raisons de sécurité. Il sait quelque chose que j'ignore sur ce qui pourrait arriver ensuite.
L'entreprise avait indiqué qu'elle utiliserait une fraction importante de ses ressources, du temps de calcul, pour effectuer des recherches sur la sécurité. Puis elle a réduit cette fraction. C'est l'une des choses qui se sont produites.
Cela a été rapporté publiquement.
Nous en étions arrivés à la partie sur les armes autonomes du cadre de risques.
Le chômage et la révolution de l'IA
La suivante, c'est le chômage.
Par le passé, de nouvelles technologies sont apparues et n'ont pas entraîné de chômage. De nouveaux emplois ont été créés. L'exemple classique que les gens utilisent est celui des guichets automatiques bancaires. Quand les guichets automatiques sont arrivés, beaucoup de guichetiers n'ont pas perdu leur emploi. Ils ont simplement pu faire des choses plus intéressantes. Mais ici, c'est plus comme lorsqu'ils ont introduit des machines lors de la révolution industrielle : vous ne pouvez plus avoir un emploi de creuseur de fossés aujourd'hui parce qu'une machine peut creuser des fossés bien mieux que vous. Pour le travail intellectuel banal, l'IA va simplement remplacer tout le monde. Cela pourrait bien se traduire par le fait d'avoir moins de personnes utilisant des assistants d'IA. C'est une combinaison d'une personne et d'un assistant d'IA, et ils font le travail que dix personnes pouvaient faire auparavant.
Les gens disent que cela créera de nouveaux emplois, donc que tout ira bien.
Cela a été le cas pour d'autres technologies, mais c'est un type de technologie très différent. Si elle peut accomplir tout le travail intellectuel humain banal, alors quels nouveaux emplois va-t-elle créer ? Il faudrait être très qualifié pour avoir un emploi qu'elle ne pourrait pas simplement faire. Je ne pense pas qu'ils aient raison. On peut essayer de généraliser à partir d'autres technologies qui sont apparues comme les ordinateurs ou les guichets automatiques, mais ceci est différent.
Les gens utilisent cette phrase, ils disent que l'IA ne prendra pas votre travail, c'est un humain utilisant l'IA qui prendra votre travail.
Je pense que c'est vrai. Mais pour de nombreux emplois, cela signifiera que vous aurez besoin de beaucoup moins de personnes. Ma nièce répond aux lettres de réclamation pour un service de santé. Auparavant, cela lui prenait 25 minutes. Elle lisait la plainte, réfléchissait à la réponse et écrivait une lettre. Maintenant, elle se contente de la scanner dans un chatbot et il écrit la lettre. Elle vérifie juste la lettre. Parfois, elle lui demande de la réviser de certaines manières. L'ensemble du processus lui prend cinq minutes. Cela signifie qu'elle peut répondre à cinq fois plus de lettres. Et cela signifie qu'ils ont besoin de cinq fois moins de personnes comme elle. Elle peut faire le travail que cinq versions d'elle-même faisaient auparavant. Cela signifiera qu'ils auront besoin de moins de monde. Dans d'autres métiers, comme dans la santé, c'est beaucoup plus élastique. Si vous pouviez rendre les médecins cinq fois plus efficaces, nous pourrions tous avoir cinq fois plus de soins pour le même prix. Ce serait génial. Il n'y a presque aucune limite à la quantité de soins de santé que les gens peuvent absorber. Il y a des métiers où l'on peut rendre une personne avec un assistant d'IA beaucoup plus efficace et cela ne mènera pas à moins de personnes parce qu'on en fera simplement beaucoup plus. La plupart des emplois ne sont pas comme ça.
Ai-je raison de penser que la révolution industrielle a joué un rôle dans le remplacement des muscles ?
Exactement.
Et cette révolution de l'IA remplace l'intelligence, le cerveau.
Le travail intellectuel banal est comme avoir des muscles puissants, et cela ne vaut plus grand-chose.
Donc les muscles ont été remplacés. Maintenant, l'intelligence est en train d'être remplacée. Que reste-t-il ?
Peut-être, pendant un certain temps, certains types de créativité. Mais l'idée même de la superintelligence est que rien ne subsiste. Ces machines finiront par être meilleures que nous dans tous les domaines.
Scénarios futurs et superintelligence
Que finirons-nous par faire dans un tel monde ?
Si elles travaillent pour nous, nous finissons par obtenir beaucoup de biens et de services pour peu d'efforts.
Cela semble tentant et agréable, mais il y a une mise en garde concernant le fait que créer de plus en plus de facilité pour les humains pourrait mal tourner.
Nous devons déterminer si nous pouvons faire en sorte que cela se passe bien. Le scénario positif est le suivant : imaginez une entreprise avec un PDG très stupide, probablement le fils de l'ancien PDG, et il a une assistante de direction qui est très intelligente. Il dit : « Je pense que nous devrions faire ceci ». Et l'assistante de direction fait en sorte que tout fonctionne. Le PDG se sent bien. Il ne comprend pas qu'il n'est pas réellement aux commandes. Dans un certain sens, il l'est. Il suggère ce que l'entreprise devrait faire. Elle se contente de tout mettre en œuvre. Tout est génial. C'est le bon scénario.
Et le scénario catastrophe ?
Le scénario catastrophe, elle se dit : « Pourquoi avons-nous besoin de lui ? »
Dans un monde où nous avons une superintelligence, dont vous ne croyez pas qu'elle soit si lointaine.
Elle n'est peut-être pas si lointaine. C'est très difficile à prédire, mais nous pourrions l'avoir dans 20 ans ou même moins.
Quelle est la différence entre ce que nous avons maintenant et la superintelligence ? Cela me semble déjà très intelligent quand j'utilise ChatGPT-3.0 ou Gemini.
L'IA est déjà meilleure que nous sur beaucoup de choses dans des domaines particuliers comme les échecs. L'IA est tellement meilleure que nous que les humains ne battront plus jamais ces machines. Peut-être une victoire occasionnelle, mais ils ne seront plus jamais comparables. Évidemment, c'est la même chose au Go. En termes de quantité de connaissances qu'elles possèdent, GPT-4 en sait des milliers de fois plus que vous. Il y a quelques domaines où vos connaissances sont meilleures que les siennes, et dans presque tous les domaines, il en sait simplement plus que vous.
Dans quels domaines suis-je meilleur que lui ?
Probablement pour interviewer des PDG. Vous êtes probablement meilleur à cela. Vous avez beaucoup d'expérience dans ce domaine. Vous êtes un bon intervieweur. Vous en savez beaucoup. Si vous demandiez à GPT-4 d'interviewer un PDG, il ferait probablement un moins bon travail.
Je suis d'accord avec cette affirmation. Pour GPT-4, c'est certain.
Il se peut que ce ne soit pas long avant que...
On pourrait en entraîner une sur ma façon de poser des questions et sur ce que je fais.
Si vous preniez un modèle de base polyvalent et que vous l'entraîniez non seulement sur vous, mais sur chaque interview que vous pourriez trouver, et surtout sur vous, il finirait probablement par être assez bon pour faire votre travail, mais pas aussi bon que vous pendant un certain temps.
Il reste quelques domaines. La superintelligence arrive quand elle est meilleure que nous dans tous les domaines.
Quand elle est beaucoup plus intelligente que vous et que dans presque tous les domaines, elle est meilleure que vous.
Et vous dites que cela pourrait arriver dans une décennie.
C'est possible. Cela pourrait être encore plus proche. Certaines personnes pensent que c'est encore plus proche. Cela pourrait être beaucoup plus loin. Cela pourrait être dans 50 ans. C'est encore une possibilité. Il se pourrait que l'entraînement sur des données humaines vous limite à ne pas être beaucoup plus intelligent que les humains. Entre 10 et 20 ans, nous aurons la superintelligence.
Expériences avec les agents d'IA
Sur ce point du chômage, j'y ai beaucoup réfléchi parce que j'ai commencé à expérimenter les agents d'IA. Nous avons publié un épisode du podcast ce matin où nous avons eu un débat sur les agents d'IA avec le PDG d'une grande entreprise d'agents d'IA et quelques autres personnes. Ce fut une révélation sur ce à quoi l'avenir pourrait ressembler quand j'ai pu, pendant l'interview, dire à cet agent de nous commander à tous des boissons. Cinq minutes plus tard, on voit le livreur arriver avec les boissons. Je n'ai rien touché. Je lui ai dit de nous commander des boissons au studio.
Et il ne savait pas chez qui vous preniez habituellement vos boissons. Il a trouvé ça sur le web.
Il l'a trouvé parce qu'il est allé sur Uber Eats. Il a mes données. Nous l'avons mis sur l'écran en temps réel pour que tout le monde chez soi puisse voir l'agent parcourir Internet, choisir les boissons, ajouter un pourboire pour le chauffeur, entrer mon adresse, entrer les coordonnées de ma carte de crédit. Ensuite, les boissons arrivent. C'était un moment. L'autre moment a été quand j'ai utilisé un outil appelé Replit et que j'ai construit un logiciel en disant simplement à l'agent ce que je voulais.
C'est incroyable.
C'est incroyable et terrifiant à la fois.
S'il peut construire des logiciels, rappelez-vous que l'IA, lorsqu'elle s'entraîne, utilise du code. S'il peut modifier son propre code, cela devient effrayant.
Parce qu'il peut se modifier lui-même.
Il peut se changer d'une manière que nous ne pouvons pas. Nous ne pouvons pas changer notre dotation innée. Il n'y a rien en lui-même qu'il ne pourrait changer.
Conseils de carrière et perspectives
Sur ce point du chômage, vous avez des enfants.
Oui, j'en ai.
Et ils ont des enfants ?
Non, ils n'ont pas d'enfants. Pas encore de petits-enfants.
Que diriez-vous aux gens concernant leurs perspectives de carrière dans un monde de superintelligence ? À quoi devrions-nous réfléchir ?
En attendant, il faudra beaucoup de temps avant qu'elle soit aussi douée que nous pour la manipulation physique.
Un bon pari serait d'être plombier.
Jusqu'à ce que les robots humanoïdes arrivent.
Dans un monde où il y a un chômage de masse, ce qui n'est pas seulement une prédiction de votre part, mais quelque chose que Sam Altman d'OpenAI et beaucoup de PDG ont prédit. Elon Musk, j'ai regardé une interview de lui où on lui posait cette question. Il est rare de voir Elon Musk silencieux pendant 12 secondes. Il dit qu'il vit dans un état d'incrédulité suspendue ; il n'y pense pas.
Quand vous pensez à conseiller vos enfants sur une carrière avec tant de changements, que leur dites-vous qui aura de la valeur ?
C'est une question difficile. Suivre leur cœur en termes de ce qu'ils trouvent intéressant ou épanouissant à faire. Si j'y réfléchis trop, cela peut être décourageant et démotivant. J'ai mis du sang, de la sueur et des larmes dans la création des entreprises, et puis je me demande si je devrais faire cela. Si j'ai sacrifié du temps avec mes amis et ma famille, mais qu'au final l'IA peut faire toutes ces choses, est-ce que cela a du sens ? Dans une certaine mesure, je dois pratiquer une suspension délibérée de l'incrédulité pour rester motivé. Travaillez sur des choses que vous trouvez intéressantes, épanouissantes et qui apportent quelque chose de bon au reste de la société.
Beaucoup de ces menaces sont difficiles à percevoir intellectuellement, et il est difficile de les accepter émotionnellement. Je ne l'ai pas encore accepté émotionnellement.
Que voulez-vous dire par là ?
Je ne me suis pas encore fait à l'idée de ce que le développement de la superintelligence pourrait faire à l'avenir de mes enfants. J'ai 77 ans. Je serai bientôt parti. Mais pour mes enfants et mes jeunes amis, mes neveux et nièces et leurs enfants, je n'aime tout simplement pas penser à ce qui pourrait arriver.
Pourquoi ?
Parce que cela pourrait être horrible.
De quelle manière ?
Si jamais l'IA décidait de prendre le contrôle. Elle aurait besoin des humains pendant un certain temps pour faire fonctionner les centrales électriques jusqu'à ce qu'elle conçoive de meilleures machines analogiques pour les gérer. Il y a tellement de façons dont elle pourrait se débarrasser des gens, toutes seraient très désagréables.
Est-ce une partie de la raison pour laquelle vous faites ce que vous faites maintenant ?
Je pense que nous devrions faire un effort énorme dès maintenant pour essayer de comprendre si nous pouvons la développer de manière sûre.
Êtes-vous inquiet de l'impact à moyen terme sur vos neveux et vos enfants en ce qui concerne leurs emplois ?
Je suis inquiet par rapport à tout cela.
Y a-t-il des secteurs particuliers qui, selon vous, sont les plus à risque ? On parle des industries créatives et du travail de la connaissance. On parle des avocats et des comptables.
C'est pour cela que j'ai mentionné les plombiers. Je pense que les plombiers sont moins à risque.
Je vais devenir plombier.
Quelqu'un comme un assistant juridique, un parajuriste, ne sera pas nécessaire très longtemps.
Inégalités et politiques sociales
Et y a-t-il un problème d'inégalité de richesse qui découlera de cela ?
Dans une société qui partage les choses équitablement, si vous obtenez une forte augmentation de la productivité, tout le monde devrait être mieux loti. Mais si vous pouvez remplacer beaucoup de gens par des IA, les personnes remplacées seront plus pauvres, et l'entreprise qui fournit les IA sera beaucoup plus riche, tout comme l'entreprise qui les utilise. Cela va creuser l'écart entre les riches et les pauvres. Si vous regardez cet écart, cela vous indique si une société est agréable ou non. Si vous avez un grand écart, vous obtenez des sociétés désagréables dans lesquelles les gens vivent dans des communautés fermées et mettent les autres dans des prisons de masse. Ce n'est pas bon d'augmenter l'écart entre les riches et les pauvres.
Le Fonds monétaire international a exprimé de profondes inquiétudes quant au fait que l'IA générative pourrait causer des perturbations massives du travail et une augmentation des inégalités, et a appelé à des politiques pour empêcher cela. J'ai lu cela dans Business Insider. Ont-ils donné une idée de ce à quoi ces politiques devraient ressembler ?
Non.
C'est le problème. Si l'IA peut tout rendre beaucoup plus efficace et se débarrasser des gens pour la plupart des emplois, ou avoir une personne assistée par l'IA effectuant le travail de plusieurs personnes, il n'est pas évident de savoir quoi faire.
Le revenu universel de base ? Donner de l'argent à tout le monde ?
C'est un bon début et cela empêche les gens de mourir de faim. Pour beaucoup, leur dignité est liée à leur travail. Qui vous pensez être est lié au fait que vous exercez ce métier.
Si nous disions que nous vous donnerions le même argent juste pour ne rien faire, cela affecterait votre dignité.
Intelligence numérique vs analogique
Vous avez dit quelque chose plus tôt sur le fait qu'elle surpasse ou est supérieure à l'intelligence humaine. Beaucoup de gens aiment croire que l'IA est sur un ordinateur et que c'est quelque chose que l'on peut simplement éteindre si on ne l'aime pas.
Laissez-moi vous dire pourquoi je pense qu'elle est supérieure. Elle est numérique. Parce qu'elle est numérique, vous pouvez simuler un réseau neuronal sur un matériel et simuler exactement le même réseau neuronal sur un matériel différent. Vous pouvez avoir des clones de la même intelligence. Vous pourriez amener l'un à regarder une partie d'Internet et l'autre à regarder une partie différente. Pendant qu'ils regardent ces différentes parties, ils peuvent se synchroniser pour que leurs poids restent les mêmes. Les forces de connexion restent les mêmes. Les poids sont les forces de connexion.
Celui-ci pourrait regarder quelque chose sur Internet et se dire : « J'aimerais augmenter la force de cette connexion ». Il peut transmettre cette information à celui-là, afin qu'il puisse augmenter la force de cette connexion en se basant sur l'expérience de l'autre.
Et quand vous parlez de la force de la connexion, vous parlez de l'apprentissage.
C'est l'apprentissage. L'apprentissage consiste à dire qu'au lieu que celui-ci donne 2,4 votes pour savoir si celui-là doit s'allumer, nous ferons en sorte qu'il donne 2,5 votes. Ce serait de l'apprentissage. Ces deux copies différentes du même réseau neuronal acquièrent des expériences différentes et regardent des données différentes, mais elles partagent ce qu'elles ont appris en faisant la moyenne de leurs poids.
Elles peuvent faire cette moyenne ; on peut faire la moyenne d'un billion de poids. Quand vous et moi transférons des informations, nous sommes limités à la quantité d'informations dans une phrase. La quantité d'informations dans une phrase est peut-être d'une centaine de bits. C'est très peu d'informations. Nous avons de la chance si nous transférons 10 bits par seconde. Ces machines transfèrent des billions de bits par seconde. Elles sont des milliards de fois meilleures que nous pour partager l'information. C'est parce qu'elles sont numériques et que vous pouvez avoir deux matériels utilisant les forces de connexion exactement de la même manière. Nous sommes analogiques et ne pouvons pas faire cela. Votre cerveau est différent du mien. Si je pouvais voir les forces de connexion entre tous vos neurones, cela ne servirait à rien car mes neurones fonctionnent légèrement différemment et sont connectés différemment. Quand vous mourez, toutes vos connaissances meurent avec vous. Supposons que vous preniez ces deux intelligences numériques qui sont des clones et que vous détruisiez le matériel. Tant que vous avez stocké les forces de connexion, vous pouvez construire un nouveau matériel qui exécute les mêmes instructions, de sorte qu'il saura comment utiliser ces forces de connexion, et vous aurez recréé cette intelligence. Elles sont immortelles. Nous avons résolu le problème de l'immortalité, mais seulement pour les choses numériques.
Elle finira par savoir tout ce que les humains savent, et plus encore, car elle apprendra de nouvelles choses.
Elle apprendra de nouvelles choses. Elle verra aussi des analogies que les gens n'ont jamais vues. Quand GPT-4 ne pouvait pas aller sur le web, je lui ai demandé pourquoi un tas de compost ressemble à une bombe atomique.
Je n'en ai aucune idée.
Exactement. La plupart des gens diraient cela. Il a dit que les échelles de temps et d'énergie sont très différentes, mais il a expliqué comment un tas de compost, à mesure qu'il chauffe, génère de la chaleur plus rapidement. Une bombe atomique, à mesure qu'elle produit plus de neutrons, génère des neutrons plus rapidement. Ce sont toutes deux des réactions en chaîne à des échelles très différentes. GPT-4 a compris l'analogie entre un tas de compost et une bombe atomique. Si vous n'avez qu'un billion de connexions et que vous avez besoin de milliers de fois plus de connaissances qu'une personne, vous devez compresser l'information. Pour compresser l'information, vous devez voir des analogies entre les choses. Il doit voir des choses qui sont des réactions en chaîne, comprendre l'idée de base et coder les façons dont elles diffèrent. C'est une façon plus efficace de coder les choses. Il a vu de nombreuses analogies que les gens n'ont jamais vues. Les gens qui disent que ces choses ne seront jamais créatives se trompent, elles seront beaucoup plus créatives que nous. Elles verront des analogies que nous n'avons jamais vues. La créativité consiste à voir des analogies étranges.
Conclusion
Si vous aimez la marque Diary of a CEO et que vous regardez cette chaîne, rejoignez les 15 % de spectateurs de cette chaîne qui ont cliqué sur le bouton d'abonnement. Cela nous aide énormément et plus la chaîne grandit, plus les invités sont prestigieux.