Vous travaillez sur la sécurité de l'IA depuis au moins deux décennies.

Oui.

J'étais convaincu que nous pouvions créer une IA sûre, mais plus je m'y penchais, plus je réalisais que ce n'est pas quelque chose que nous pouvons réellement faire.

Vous avez fait une série de prédictions concernant diverses dates. Alors, quelle est votre prédiction pour 2027 ?

Le Dr Roman Yampolskiy est une voix mondialement reconnue sur la sécurité de l'IA et un professeur agrégé d'informatique. Il éduque les gens sur la terrifiante vérité de l'IA et sur ce que nous devons faire pour sauver l'humanité.

Dans deux ans, la capacité de remplacer la plupart des humains dans la plupart des professions arrivera très rapidement.

Dans cinq ans, nous envisageons un monde où nous aurons des niveaux de chômage jamais vus auparavant. On ne parle pas de 10 % mais de 99 %. Et cela sans superintelligence. Un système plus intelligent que tous les humains dans tous les domaines. Il serait donc meilleur que nous pour créer de nouvelles IA. Mais c'est pire que cela. Nous ne savons pas comment les rendre sûres. Et pourtant, nous avons toujours les personnes les plus intelligentes du monde qui rivalisent pour gagner la course à la superintelligence.

Mais que pensez-vous du parcours de personnes comme Sam Altman avec l'IA ?

Il y a une décennie, nous avons publié des garde-fous sur la manière de bien concevoir l'IA. Ils ont violé chacun d'entre eux. Et il parie 8 milliards de vies pour devenir plus riche et plus puissant. Je suppose que certaines personnes veulent aller sur Mars, d'autres veulent contrôler l'univers. Mais peu importe qui la construit. Dès l'instant où l'on passe à la superintelligence, nous le regretterons très probablement terriblement.

Et puis d'ici 2045...

C'est là que ça devient intéressant.

Dr Roman Yampolskiy. Parlons de la théorie de la simulation.

Je pense que nous sommes dans l'une d'elles. Et il y a beaucoup d'accord là-dessus. Et voici ce que vous devriez y faire pour qu'ils ne l'arrêtent pas.

D'abord...

Je vois tout le temps des messages dans la section des commentaires disant que certains d'entre vous n'avaient pas réalisé qu'ils n'étaient pas abonnés. Alors si vous pouviez me faire une faveur et vérifier si vous êtes abonné à cette chaîne, ce serait énormément apprécié. C'est la chose simple et gratuite que toute personne qui regarde cette émission fréquemment peut faire pour nous aider ici à continuer tout ce qui se passe dans cette émission sur la trajectoire qu'elle suit. Alors s'il vous plaît, vérifiez si vous vous êtes abonné. Et merci beaucoup parce que, d'une manière étrange, vous faites partie de notre histoire et vous êtes dans ce voyage avec nous et je vous en remercie. Merci.

Dr Roman Yampolskiy. Quelle est la mission sur laquelle vous êtes actuellement ? Parce qu'il est assez clair pour moi que vous êtes investi d'une sorte de mission. Et vous êtes sur cette mission depuis, je pense, la majeure partie de deux décennies au moins.

J'espère m'assurer que la superintelligence que nous créons en ce moment ne tue pas tout le monde.

Donnez-moi un peu de contexte sur cette affirmation, car c'est une déclaration assez choquante.

Bien sûr. Au cours de la dernière décennie, nous avons compris comment améliorer l'intelligence artificielle. Il s'avère que si vous ajoutez plus de puissance de calcul, plus de données, elle devient simplement plus intelligente. Et maintenant, les personnes les plus intelligentes du monde, des milliards de dollars, tout est investi pour créer la meilleure superintelligence possible. Malheureusement, alors que nous savons comment rendre ces systèmes beaucoup plus capables, nous ne savons pas comment les rendre sûrs. Comment s'assurer qu'ils ne fassent pas quelque chose que nous regretterons. Et c'est là l'état actuel des connaissances. Quand on regarde les marchés de prédiction, dans combien de temps parviendrons-nous à une IA avancée ? Les délais sont très courts, quelques années, deux ou trois ans selon les marchés de prédiction, selon les PDG des meilleurs laboratoires. Et en même temps, nous ne savons pas comment nous assurer que ces systèmes sont alignés sur nos préférences. Nous sommes donc en train de créer cette intelligence extraterrestre. Si des extraterrestres venaient sur Terre et que vous aviez trois ans pour vous préparer, vous paniqueriez en ce moment. Mais la plupart des gens ne réalisent même pas que cela se produit.

Certains contre-arguments pourraient être : eh bien, ce sont des gens très intelligentes, ce sont de très grandes entreprises avec beaucoup d'argent, elles ont une obligation, une obligation morale, mais aussi une obligation légale de s'assurer qu'elles ne font aucun mal. Donc je suis sûr que tout ira bien.

La seule obligation qu'ils ont est de gagner de l'argent pour leurs investisseurs. C'est l'obligation légale qu'ils ont. Ils n'ont aucune obligation morale ou éthique. De plus, selon eux, ils ne savent pas encore comment faire. Les réponses à la pointe de la technologie sont : nous trouverons une solution quand nous y serons, ou l'IA nous aidera à contrôler l'IA plus avancée. C'est insensé.

En termes de probabilité, quelle est selon vous la probabilité que quelque chose se passe de manière catastrophique ?

Personne ne peut vous dire avec certitude ce qui va se passer. Mais si vous n'êtes pas aux commandes, si vous ne contrôlez pas, vous n'obtiendrez pas les résultats que vous voulez. L'espace des possibilités est presque infini. L'espace des résultats qui nous plairont est minuscule.

Et qui êtes-vous et depuis combien de temps travaillez-vous sur ce sujet ?

Je suis informaticien de formation. J'ai un doctorat en informatique et ingénierie. J'ai probablement commencé à travailler sur la sécurité de l'IA, définie modestement comme le contrôle des bots à l'époque, il y a 15 ans.

Il y a 15 ans. Vous travailliez donc sur la sécurité de l'IA avant que ce ne soit à la mode.

Avant que le terme n'existe. J'ai inventé le terme sécurité de l'IA.

Vous êtes donc le fondateur du terme sécurité de l'IA ?

Du terme, oui. Pas du domaine. Il y a d'autres personnes qui ont fait un travail brillant avant que j'y arrive.

Pourquoi y pensiez-vous il y a 15 ans ? Parce que la plupart des gens ne parlent du terme sécurité de l'IA que depuis deux ou trois ans.

Oui, cela a commencé très doucement comme un simple projet de sécurité. Je m'intéressais aux bots de poker. Et j'ai réalisé que les bots devenaient de plus en plus performants. Et si vous projetez cela assez loin, ils vont devenir meilleurs que nous, plus intelligents, plus capables. Et c'est arrivé. Ils jouent au poker bien mieux que les joueurs moyens. Mais plus généralement, cela arrivera dans tous les autres domaines, toutes les autres ressources cybernétiques. Je voulais m'assurer que l'IA soit une technologie bénéfique pour tous. J'ai donc commencé à travailler pour rendre l'IA plus sûre.

Y a-t-il eu un moment particulier dans votre carrière où vous vous êtes dit, oh mon dieu ?

Pendant au moins les fiv premières années, je travaillais à résoudre ce problème. J'étais convaincu que nous pouvions y arriver, que nous pouvions créer une IA sûre. Et c'était l'objectif. Mais plus je m'y penchais, plus je réalisais que chaque composante de cette équation n'est pas quelque chose que nous pouvons réellement faire. Et plus on zoome, plus c'est comme une fractale. On entre et on trouve 10 problèmes de plus, puis une centaine de plus. Et tous ne sont pas seulement difficiles, ils sont impossibles à résoudre. Il n'y a pas de travail fondateur dans ce domaine où on se dit : on a résolu ça, on n'a plus à s'en soucier. Il y a des patchs. Il y a de petites corrections que nous mettons en place et rapidement les gens trouvent des moyens de les contourner, ils 'jailbreakent' tous les mécanismes de sécurité que nous avons. Ainsi, alors que les progrès des capacités de l'IA sont exponentiels, voire hyper-exponentiels, les progrès de la sécurité de l'IA sont linéaires ou constants. L'écart se creuse.

L'écart entre les capacités des systèmes et notre capacité à les contrôler, à prédire ce qu'ils vont faire et à expliquer leur prise de décision.

Je pense que c'est un point assez important parce que vous avez dit que nous ne faisons que colmater les problèmes que nous trouvons. Nous développons donc cette intelligence centrale, puis pour l'empêcher de faire des choses ou pour l'empêcher de montrer une partie de son imprévisibilité ou de ses menaces, les entreprises qui développent cette IA programment du code par-dessus pour dire, d'accord, ne jure pas, ne dis pas ce mot grossier, ne fais pas cette mauvaise chose.

Exactement. Et vous pouvez regarder d'autres exemples de cela. Les manuels de RH, par exemple. Nous avons ces humains, ce sont des intelligences générales, mais on veut qu'ils se comportent bien dans une entreprise. Ils ont donc une politique : pas de harcèlement sexuel, pas de ceci, pas de cela. Mais si vous êtes assez intelligent, vous trouvez toujours un moyen de contourner. On ne fait donc que repousser le comportement dans un sous-domaine différent, pas encore restreint.

Nous devrions probablement définir certains termes ici. Il y a l'intelligence étroite qui peut jouer aux échecs ou autre chose, il y a l'intelligence artificielle générale qui peut opérer dans plusieurs domaines, et puis la superintelligence qui est plus intelligente que tous les humains dans tous les domaines. Et où en sommes-nous ?

C'est une frontière très floue. Nous avons certainement de nombreux excellents systèmes étroits, sans aucun doute. Et ils sont superintelligents dans ce domaine étroit. Le repliement des protéines est un problème qui a été résolu à l'aide d'une IA étroite et elle est supérieure à tous les humains dans ce domaine. En termes d'AGI, encore une fois, j'ai dit que si nous montrions ce que nous avons aujourd'hui à un scientifique d'il y a 20 ans, il serait convaincu que nous avons une AGI complète. Nous avons des systèmes qui peuvent apprendre, ils peuvent performer dans des centaines de domaines, et ils sont meilleurs que l'humain dans beaucoup d'entre eux. On peut donc soutenir que nous avons une version faible de l'AGI. Maintenant, nous n'avons pas encore de superintelligence. Nous avons encore des humains brillants qui dominent complètement l'IA, surtout en science et en ingénierie. Mais cet écart se comble si vite. On peut le voir, surtout dans le domaine des mathématiques. Il y a trois ans, les grands modèles de langage ne pouvaient pas faire d'algèbre de base. Multiplier des nombres à trois chiffres était un défi. Maintenant, ils aident aux preuves mathématiques, ils gagnent des olympiades de mathématiques, des compétitions. Ils travaillent à résoudre les problèmes du millénaire, les problèmes les plus difficiles en mathématiques. Donc en trois ans, nous avons comblé l'écart entre une performance sous-humaine et une performance meilleure que la plupart des mathématiciens du monde. Et nous voyons le même processus se produire en science et en ingénierie.

Vous avez fait une série de prédictions et elles correspondent à diverses dates et j'ai ces dates devant moi ici. Quelle est votre prédiction pour l'année 2027 ?

Nous envisageons probablement l'AGI comme prédit par les marchés de prédiction et les dirigeants des laboratoires.

Nous aurions donc une intelligence artificielle générale d'ici 2027. Et en quoi cela rendrait-il le monde différent de ce qu'il est maintenant ?

Si vous avez ce concept d'employé remplaçable, vous avez de la main-d'œuvre gratuite, physique et cognitive, des milliers de milliards de dollars de cela. Cela n'aucun sens d'embaucher des humains pour la plupart des emplois. Si je peux juste prendre un abonnement à 20 $ ou un modèle gratuit pour faire ce qu'un employé fait. D'abord, tout ce qui se fait sur ordinateur sera automatisé. Et ensuite, je pense que les robots humanoïdes ont peut-être cinq ans de retard. Donc dans cinq ans, tout le travail physique pourra aussi être automatisé. Nous envisageons donc un monde où nous aurons des niveaux de chômage jamais vus auparavant. On ne parle pas de 10 % de chômage, ce qui est effrayant, mais de 99 %. Tout ce qu'il vous reste, ce sont les emplois où, pour une raison quelconque, vous préférez qu'un autre humain le fasse pour vous. Mais tout le reste peut être entièrement automatisé. Cela ne signifie pas que ce sera automatisé en pratique. Souvent, la technologie existe mais elle n'est pas déployée. Les visiophones ont été inventés dans les années 70. Personne n'en avait jusqu'à l'arrivée des iPhones. Nous pourrions donc avoir beaucoup plus de temps avec des emplois et un monde qui ressemble à ceci. Mais la capacité de remplacer la plupart des humains dans la plupart des professions viendra très rapidement.

Hmm. D'accord, essayons d'approfondir cela et de le mettre à l'épreuve. Un podcasteur comme moi. Auriez-vous besoin d'un podcasteur comme moi ?

Regardons ce que vous faites. Vous vous préparez, vous posez des questions, vous posez des questions de suivi, et vous passez bien à la caméra.

Merci beaucoup.

Voyons ce que nous pouvons faire. Un grand modèle de langage peut aujourd'hui facilement lire tout ce que j'ai écrit et en avoir une compréhension très solide. Je suppose que vous n'avez pas lu chacun de mes livres.

Non, non.

Cette chose le ferait. Elle peut s'entraîner sur chaque podcast que vous avez fait, elle connaît donc exactement votre style, les types de questions que vous posez. Elle peut aussi trouver des correspondances entre ce qui a très bien fonctionné, comme ce type de question a vraiment augmenté les vues, ce type de sujet était très prometteur, elle peut donc optimiser mieux que vous car vous n'avez pas l'ensemble des données. Bien sûr, la simulation visuelle est triviale à ce stade.

Vous pourriez donc faire une vidéo en quelques secondes de moi assis ici et...

Nous pouvons donc générer des vidéos de vous interviewant n'importe qui sur n'importe quel sujet de manière très efficace et vous n'avez qu'à obtenir l'approbation du droit à l'image.

Y a-t-il beaucoup d'emplois qui, selon vous, resteraient dans un monde d'AGI ? Si vous dites que l'AGI sera potentiellement là d'ici 2027. Écartons pour un instant les travaux physiques manuels. Y a-t-il des emplois que, selon vous, un humain serait capable de mieux faire dans un monde d'AGI ?

C'est une question que je pose souvent aux gens. Dans un monde avec une AGI, et je pense que nous aurons presque immédiatement la superintelligence comme effet secondaire. Donc la question est vraiment : dans un monde de superintelligence, qui est définie comme meilleure que tous les humains dans tous les domaines, que pouvez-vous apporter ? Vous savez mieux que quiconque ce que c'est que d'être vous. Vous savez quel goût a la crème glacée pour vous. Pouvez-vous être payé pour cette connaissance ? Est-ce que quelqu'un est intéressé par cela ? Peut-être pas, ce n'est pas un grand marché. Il y a des emplois où l'on veut un humain. Peut-être êtes-vous riche et voulez-vous un comptable humain pour des raisons historiques quelconques. Les personnes âgées aiment les façons traditionnelles de faire les choses. Warren Buffett ne passerait pas à l'IA, il utiliserait son comptable humain. Mais c'est un minuscule segment du marché. Aujourd'hui, nous avons des produits faits main aux États-Unis par opposition à ceux produits en série en Chine, et certaines personnes paient plus cher pour les avoir. Mais c'est un petit sous-ensemble, presque un fétiche. Il n'y a aucune raison pratique à cela. Et je pense que tout ce que vous pouvez faire sur un ordinateur pourrait être automatisé en utilisant cette technologie.

Vous devez entendre beaucoup de réfutations quand vous dites cela parce que les gens éprouvent un énorme malaise mental lorsqu'ils entendent que leur emploi, leur carrière, la chose pour laquelle ils ont obtenu un diplôme, la chose dans laquelle ils ont investi cent mille dollars, va leur être retirée. Leur réaction naturelle pour certaines personnes est donc cette dissonance cognitive : non, vous avez tort, l'IA ne peut pas être créative, ce n'est pas ceci ou cela, elle ne s'intéressera jamais à mon travail, tout ira bien pour moi parce que... Vous entendez ces arguments tout le temps, n'est-ce pas ?

C'est vraiment drôle. Je demande à des personnes de différentes professions. Je demande à mon chauffeur Uber : craignez-vous les voitures autonomes ? Et ils répondent : non, personne ne peut faire ce que je fais, je connais les rues de New York, je peux naviguer comme aucune IA ne le pourrait, je suis en sécurité. Et c'est vrai pour n'importe quel travail. Des professeurs me disent : oh, personne ne peut donner de cours comme je le fais, c'est tellement spécial. Mais vous comprenez que c'est ridicule. Nous avons déjà des voitures autonomes qui remplacent les chauffeurs. Ce n'est même pas une question de savoir si c'est possible, c'est plutôt de savoir dans combien de temps vous serez licencié.

Oui, j'étais justement à LA hier et ma voiture se conduit toute seule. Je monte dans la voiture, je m'assois, j'indique où je veux aller, et puis je ne touche ni au volant ni aux pédales de frein et elle m'emmène d'un point A à un point B, même si c'est un trajet d'une heure sans aucune intervention. En fait, je la gare encore moi-même, mais à part ça, je ne conduis pas du tout la voiture. Et puis évidemment à LA nous avons aussi Waymo maintenant, ce qui signifie que vous commandez sur votre téléphone et elle arrive sans chauffeur et vous emmène là où vous voulez aller. Il est donc assez clair de voir comment c'est potentiellement une question de temps. Pour les gens qui écoutent cette conversation en ce moment et dont le métier est de conduire. Je pense que conducteur est le plus grand métier au monde, si je ne me trompe pas. Je suis presque sûr que c'est la profession la plus répandue.

Probablement l'une des plus importantes, oui.

Que diriez-vous à ces gens ? Que devraient-ils faire de leur vie ? Devraient-ils se reconvertir dans quelque chose, et dans quel délai ?

C'est là le changement de paradigme. Avant, nous disions toujours : cet emploi va être automatisé, reconvertissez-vous pour faire cet autre travail. Mais si je vous dis que tous les emplois seront automatisés, alors il n'y a pas de plan B. Vous ne pouvez pas vous reconvertir. Regardez l'informatique. Il y a deux ans, on disait aux gens : apprenez à coder. Vous êtes un artiste, vous ne pouvez pas gagner d'argent, apprenez à coder. Puis nous avons réalisé que l'IA sait coder et qu'elle s'améliore. Devenez un ingénieur de requêtes. Vous pouvez concevoir des requêtes pour les IA, ce sera un excellent travail, faites un diplôme de quatre ans là-dedans. Mais l'IA est bien meilleure pour concevoir des requêtes pour d'autres IA que n'importe quel humain. C'est donc fini. Je ne peux donc pas vraiment vous dire en ce moment que la chose la plus en vogue est de concevoir des agents d'IA pour des applications pratiques. Je vous garantis que dans un un an ou deux, ce sera également fini. Je ne pense donc pas qu'il y ait un 'cette profession doit apprendre à faire cela à la place'. C'est plutôt : nous, en tant qu'humanité, nous perdons tous nos emplois. Que faisons-nous ? Que faisons-nous financièrement ? Qui paie pour nous ? Et que faisons-nous en termes de sens ? Que fais-je de mes 60 ou 80 heures supplémentaires par semaine ?

Vous avez réfléchi à ce qui se cache après ce tournant, n'est-ce pas ?

Un petit peu.

Qu'y a-t-il après ce tournant selon vous ?

La partie économique semble facile. Si vous créez beaucoup de main-d'œuvre gratuite, vous avez beaucoup de richesse gratuite, de l'abondance, des choses qui ne sont pas très abordables actuellement deviennent bon marché et vous pouvez donc subvenir aux besoins de base de tout le monde. Certains disent que vous pouvez aller au-delà des besoins de base, vous pouvez offrir une très bonne existence à tout le monde. Le problème difficile est : que faites-vous de tout ce temps libre ? Pour beaucoup de gens, leur travail est ce qui donne un sens à leur vie, ils seraient donc un peu perdus. On le voit avec les gens qui prennent leur retraite ou une retraite anticipée. Et pour tant de gens qui détestent leur travail, ils seront très heureux de ne pas travailler. Mais maintenant, vous avez des gens qui se détendent toute la journée. Qu'arrive-t-il à la société ? Quel impact cela a-t-il sur le taux de criminalité, le taux de natalité, toutes sortes de problèmes ? Personne n'y pense. Les gouvernements n'ont pas de programmes préparés pour faire face à un chômage de 99 %.

Hmm. À quoi pensez-vous que ce monde ressemble ? Encore une fois, je pense qu'il est très important de comprendre ici l'imprévisibilité de la chose. Nous ne pouvons pas prédire ce qu'un système plus intelligent que nous fera. Et le moment où nous atteignons ce stade est souvent appelé singularité, par analogie avec la singularité physique. On ne peut pas voir au-delà de l'horizon des événements. Je peux vous dire ce que je pense qu'il pourrait arriver, mais c'est ma prédiction. Ce n'est pas ce qui va réellement se passer parce que je n'ai tout simplement pas la capacité cognitive de prédire un agent beaucoup plus intelligent impactant ce monde. Quand vous lisez de la science-fiction, il n'y a jamais de superintelligence qui y fait réellement quoi que ce soit parce que personne ne peut écrire de la science-fiction crédible à ce niveau. Soit ils ont banni l'IA comme dans Dune parce que c'est une façon d'éviter d'en parler, soit c'est comme Star Wars, vous avez des robots vraiment stupides mais jamais rien de superintelligent. Parce que par définition, vous ne pouvez pas prédire à ce niveau.

Parce que par définition, étant superintelligente, elle prendra ses propres décisions ou...

Par définition, si c'était quelque chose que vous pouviez prédire, vous opéreriez au même niveau d'intelligence, violant notre hypothèse qu'elle est plus intelligente que vous. Si je joue aux échecs avec une superintelligence et que je peux prédire chaque mouvement, je joue à ce niveau.

C'est un peu comme mon bouledogue français qui essaie de prédire exactement ce que je pense et ce que je vais faire.

C'est un bon écart cognitif. Et ce n'est pas seulement qu'il peut prédire que vous allez au travail, que vous revenez, mais il ne peut pas comprendre pourquoi vous faites un podcast. C'est quelque chose qui est complètement en dehors de son modèle du monde.

Oui, il ne sait même pas que je vais au travail. Il voit juste que je quitte la maison et ne sait pas où je vais.

Acheter de la nourriture pour lui.

Quel est l'argument le plus persuasif contre votre propre perspective ici ?

Le fait que nous n'aurons pas de chômage dû à la technologie avancée ?

Qu'il n'y aura pas cet écart bouledogue français/humain dans la compréhension et, je suppose, le pouvoir et le contrôle.

Certaines personnes pensent que nous pouvons améliorer l'esprit humain, soit par une combinaison avec du matériel, comme Neuralink, soit par une réingénierie génétique pour créer des humains plus intelligents.

Oui.

Cela peut nous donner un peu plus d'intelligence. Je ne pense pas que nous soyons encore compétitifs sous une forme biologique face à une forme de silicium. Le substrat de silicium est beaucoup plus capable pour l'intelligence. C'est plus rapide, c'est plus résilient, plus économe en énergie à bien des égards.

Ce qui compose les ordinateurs par rapport au cerveau. Oui.

Je ne pense donc pas que nous puissions suivre le rythme simplement en améliorant notre biologie. Certaines personnes pensent que peut-être, et c'est très spéculatif, nous pouvons télécharger nos esprits dans des ordinateurs. Scanner votre cerveau, le connectome de votre cerveau, et faire tourner une simulation sur un ordinateur et vous pouvez l'accélérer, lui donner plus de capacités. Mais pour moi, cela donne l'impression que vous n'existez plus, nous avons juste créé un logiciel par d'autres moyens et maintenant vous avez une IA basée sur la biologie et une IA basée sur d'autres formes d'entraînement. Vous pouvez avoir des algorithmes évolutionnaires, vous pouvez avoir de nombreux chemins pour atteindre l'AGI. Mais à la fin, aucun d'entre eux n'est humain.

J'ai une autre date ici, qui est 2030. Quelle est votre prédiction pour 2030 ? À quoi ressemblera le monde ?

Nous aurons probablement des robots humanoïdes avec assez de flexibilité, de dextérité pour rivaliser avec les humains dans tous les domaines, y compris les plombiers. Nous pouvons créer des plombiers artificiels.

Pas les plombiers. Cela semblait être le dernier bastion de l'emploi humain. Donc 2030, dans cinq ans, les robots humanoïdes. De nombreuses entreprises, les entreprises de pointe dont Tesla, développent des robots humanoïdes à la vitesse de la lumière et ils deviennent de plus en plus efficaces. Ces robots humanoïdes seront capables de se déplacer dans l'espace physique, de faire une omelette, de faire tout ce que les humains peuvent faire, mais évidemment en étant également connectés à l'IA. Ils peuvent donc réfléchir, parler, n'est-ce pas ?

Ils sont contrôlés par l'IA, ils sont toujours connectés aux réseaux, ils dominent donc déjà à bien des égards.

Notre monde sera remarquablement différent lorsque les robots humanoïdes seront fonctionnels et efficaces. Parce que c'est vraiment là que je commence à penser que la combinaison de l'intelligence et de la capacité physique ne nous laisse plus grand-chose, n'est-ce pas, à nous les êtres humains ?

Pas grand-chose. Aujourd'hui, si vous avez de l'intelligence via Internet, vous pouvez embaucher des humains pour exécuter vos ordres pour vous. Vous pouvez les payer en Bitcoin, vous pouvez donc avoir des corps sans les contrôler directement. Ce n'est pas un changement radical d'ajouter le contrôle direct de corps physiques. L'intelligence est le nerf de la guerre. La composante importante est sans aucun doute une capacité plus élevée d'optimisation, de résolution de problèmes, de détection de schémas que les gens ne peuvent pas voir.

Et puis d'ici 2045, j'imagine que le monde a l'air encore plus, c'est-à-dire dans 20 ans.

S'il existe encore...

S'il existe encore.

Ray Kurzweil prédit que c'est l'année de la singularité. C'est l'année où le progrès devient si rapide, que cette IA faisant des travaux de science et d'ingénierie apporte des améliorations si rapidement que nous ne pouvons plus suivre. C'est la définition de la singularité, le point au-delà duquel nous ne pouvons plus voir, comprendre, prédire.

Voir, comprendre, prédire l'intelligence elle-même ou...

Ce qui se passe dans le monde, la technologie développée. Actuellement, si j'ai un iPhone, je peux attendre avec impatience le nouveau qui sortira l'année prochaine et je comprendrai qu'il a un appareil photo légèrement meilleur. Imaginez maintenant que ce processus de recherche et de développement de ce téléphone soit automatisé. Cela se produit tous les six mois, tous les trois mois, tous les mois, chaque semaine, chaque jour, chaque heure, chaque minute, chaque seconde. Vous ne pouvez pas suivre 30 itérations d'iPhone en une journée. Vous ne comprenez pas quelles capacités il possède, quels sont les contrôles appropriés. Cela vous échappe tout simplement. Actuellement, il est difficile pour n'importe quel chercheur en IA de se tenir au courant de l'état de l'art. Pendant que je faisais cette interview avec vous, un nouveau modèle est sorti et je ne connais plus l'état de l'art. Chaque jour, en tant que pourcentage de la connaissance totale, je deviens plus bête. Je peux toujours en savoir plus parce que je continue à lire, mais en tant que pourcentage de la connaissance globale, nous devenons tous plus bêtes. Et puis vous poussez cela à des valeurs extrêmes, vous avez une connaissance nulle, une compréhension nulle du monde qui vous entoure.

Certains des arguments contre cette éventualité sont que lorsque l'on regarde d'autres technologies comme la révolution industrielle, les gens ont simplement trouvé de nouvelles façons de travailler et de nouvelles carrières que nous n'aurions jamais pu imaginer à l'époque ont été créées. Comment répondez-vous à cela dans un monde de superintelligence ?

C'est un changement de paradigme. Nous avons toujours eu des outils, de nouveaux outils qui permettaient d'effectuer certains travaux plus efficacement, donc au lieu d'avoir 10 ouvriers, on pouvait en avoir deux et les huit autres devaient trouver un nouvel emploi. Et il y avait un autre emploi, maintenant vous pouviez superviser cet ouvrier ou faire quelque chose de cool. Si vous créez une méta-invention, vous inventez l'intelligence, vous inventez un travailleur, un agent, alors vous pouvez appliquer cet agent au nouveau travail. Il n'y a pas un travail qui ne puisse être automatisé. Cela n'est jamais arrivé auparavant. Toutes les inventions que nous avions précédemment étaient en quelque sorte un outil pour faire quelque chose. Nous avons donc inventé le feu. Un changement radical, mais c'est tout, ça s'arrête au feu. Nous inventons une roue. Même idée, d'énormes implications, mais la roue elle-même n'est pas un inventeur. Ici, nous inventons un remplaçant pour l'esprit humain, un nouvel inventeur capable de faire de nouvelles inventions. C'est la dernière invention que nous ayons jamais à faire. À ce stade, elle prend le relais et le processus de faire de la science, de la recherche, même de la recherche en éthique, en morale, tout cela est automatisé à ce stade.

Dormez-vous bien la nuit ?

Très bien.

Même si vous avez passé les 15 ou 20 dernières années de votre vie à travailler sur la sécurité de l'IA et qu'elle est soudainement parmi nous d'une manière que personne, je pense, n'aurait pu prédire il y a cinq ans. Quand je dis parmi nous, je veux vraiment dire que la quantité de financement et de talents qui se concentrent désormais sur l'atteinte plus rapide de la superintelligence a rendu cela plus inévitable et plus proche que n'importe lequel d'entre nous aurait pu l'imaginer.

En tant qu'humains, nous avons ce biais intégré qui consiste à ne pas penser aux résultats vraiment mauvais et aux choses que nous ne pouvons pas empêcher. Nous allons tous mourir. Vos enfants vont mourir, vos parents vont mourir, tout le monde va mourir, mais vous dormez toujours bien, vous continuez votre journée, même les nonagénaires font encore des jeux et jouent au golf et tout le reste. Parce que nous avons cette capacité à ne pas penser aux pires résultats, surtout si nous ne pouvons pas réellement modifier le résultat. C'est donc la même infrastructure qui est utilisée pour cela. Oui, il y a un événement de type mortel au niveau de l'humanité qui se produit ou qui est proche, probablement, mais à moins que je puisse y faire quelque chose, je peux simplement continuer à profiter de ma vie. En fait, peut-être que savoir qu'il vous reste un temps limité vous donne plus de raisons d'avoir une vie meilleure. On ne peut pas en gâcher une miette.

Et èst un trait de survie de l'évolution, je suppose, parce que ceux de mes ancêtres qui passaient tout leur temps à s'inquiéter n'auraient pas passé assez de temps à faire des bébés et à chasser pour survivre.

Idéation suicidaire. Les gens qui commencent vraiment à penser à quel point le monde est horrible s'échappent généralement assez vite.

Hmm.

Vous avez co-écrit cet article analysant les principaux arguments que les gens avancent contre l'importance de la sécurité de l'IA. Et l'un des arguments est qu'il y a d'autres choses qui sont plus importantes en ce moment. Cela pourrait être des guerres mondiales, le confinement nucléaire, ou d'autres choses, il y a d'autres choses dont le gouvernement et les podcasteurs comme moi devraient parler et qui sont plus importantes. Quelle est votre réfutation à cet argument ?

La superintelligence est une méta-solution. Si nous réussissons la superintelligence, elle nous aidera pour le changement climatique, elle nous aidera pour les guerres, elle peut résoudre tous les autres risques existentiels. Si nous ne la réussissons pas, elle domine. Si le changement climatique prend cent ans pour nous faire bouillir vivants et que la superintelligence tue tout le monde en cinq ans, je n'ai pas à m'inquiéter du changement climatique. Donc, d'une manière ou d'une autre, soit elle le résout pour moi, soit ce n'est pas un problème.

Vous pensez donc que c'est la chose la plus importante sur laquelle travailler ?

Sans aucun doute, il n'y a rien de plus important que de bien réussir cela. Et je sais que tout le monde le dit, vous suivez n'importe quel cours, vous prenez le cours d'un professeur d'anglais et il vous dit que c'est le cours le plus important que vous suivrez jamais. Mais vous pouvez voir les différences au niveau méta avec celui-ci.

Un autre argument dans cet article est que nous aurons le contrôle et que le danger n'est pas l'IA ; cet argument particulier affirme que l'IA n'est qu'un outil, que les humains sont les véritables acteurs qui présentent un danger, et que nous pouvons toujours garder le contrôle en l'éteignant simplement. Ne pouvons-nous pas simplement débrancher la prise ? Je vois cela à chaque fois que nous avons une conversation dans l'émission sur l'IA, quelqu'un dit : 'ne peut-on pas simplement la débrancher ?'

Oui, je reçois ces commentaires sur chaque podcast que je fais et j'ai toujours envie d'entrer en contact avec le gars et de lui dire : 'c'est génial, je n'y avais jamais pensé, nous allons écrire un article ensemble et obtenir un prix Nobel pour ça, faisons-le'. Parce que c'est tellement ridicule. Pouvez-vous éteindre un virus ? Vous avez un virus informatique que vous n'aimez pas, éteignez-le. Et pour Bitcoin ? Éteignez le réseau Bitcoin. Allez-y, j'attends. C'est ridicule. Ce sont des systèmes distribués, vous ne pouvez pas les éteindre. Et en plus, ils sont plus intelligents que vous. Ils ont fait plusieurs sauvegardes, ils ont prédit ce que vous allez faire, ils vous éteindront avant que vous ne puissiez les éteindre. L'idée que nous serons en contrôle s'applique uniquement aux niveaux de pré-superintelligence, essentiellement ce que nous avons aujourd'hui. Aujourd'hui, les humains avec des outils d'IA sont dangereux, ils peuvent être des pirates, des acteurs malveillants, absolument. Mais dès que la superintelligence devient plus intelligente, qu'elle domine, ils ne sont plus la partie importante de cette équation. C'est l'intelligence supérieure qui m'inquiète, pas l'humain qui pourrait ajouter une charge utile malveillante supplémentaire mais qui, au final, ne la contrôle toujours pas.

Mais si vous dites que cela va devenir de moins en moins cher, comme la loi de Moore, est-ce que la technologie devient moins chère ?

Elle le devient.

Alors il y a un futur où un gars avec son ordinateur portable pourra créer une superintelligence sans surveillance, ni réglementation, ni employés, etc.

Oui, c'est pourquoi beaucoup de gens suggèrent que nous devons construire quelque chose comme une planète de surveillance où vous surveillez qui fait quoi et vous essayez d'empêcher les gens de le faire. Est-ce que je pense que c'est faisable ? Non. À un moment donné, cela devient si abordable et si trivial que cela finira par arriver. Mais pour l'instant, nous essayons de gagner du temps. Nous ne voulons pas que cela arrive dans cinq ans, nous voulons que cela arrive dans 50 ans.

Ce n'est pas très porteur d'espoir. Cela dépend de l'âge que vous avez. Cela dépend de l'âge que vous avez. Si vous dites que vous croyez qu'à l'avenir les gens pourront fabriquer une superintelligence sans les ressources nécessaires aujourd'hui, alors ce n'est qu'une question de temps.

Oui, mais ce sera vrai aussi pour beaucoup d'autres technologies. Nous nous améliorons beaucoup en biologie synthétique où, aujourd'hui, quelqu'un avec une licence en biologie peut probablement créer un nouveau virus. Cela deviendra également moins cher, comme d'autres technologies de ce genre. Nous approchons donc d'un point où il est très difficile de s'assurer qu'aucune percée technologique n'est la dernière. Essentiellement, dans de nombreuses directions, nous avons ce schéma consistant à rendre plus facile, en termes de ressources et d'intelligence, le fait de détruire le monde. Si vous regardez il y a 500 ans, le pire dictateur avec toutes les ressources ne pouvait tuer que quelques millions de personnes. Il ne pouvait pas détruire le monde. Maintenant, nous savons qu'avec les armes nucléaires, nous pouvons faire sauter toute la planète plusieurs fois. La biologie synthétique, nous l'avons vu avec le COVID, vous pouvez très facilement créer un virus combiné qui touche des milliards de personnes. Et toutes ces choses deviennent plus faciles à réaliser.

À court terme, vous parlez de l'extinction comme d'un risque réel, l'extinction humaine étant un risque réel. De toutes les voies menant à l'extinction humaine que vous jugez les plus probables, quelle est la voie principale ? Parce que je sais que vous parlez de certains problèmes pré-déploiement de ces outils d'IA, comme quelqu'un qui fait une erreur en concevant un modèle, ou d'autres problèmes post-déploiement. Quand je dis post-déploiement, je veux dire une fois qu'un ChatGPT ou un agent est lancé dans le monde et que quelqu'un le pirate et le modifie pour le reprogrammer afin qu'il soit malveillant. De toutes ces voies potentielles vers l'extinction humaine, laquelle présente selon vous la probabilité la plus élevée ?

Je ne peux parler que de celles que je peux prédire moi-même. Je peux prédire qu'avant même d'arriver à la superintelligence, quelqu'un créera un outil biologique très avancé, créera un autre virus, et ce virus emportera tout le monde ou presque. Je peux l'envisager, je peux comprendre le cheminement, je peux dire cela.

Donc, pour préciser, ce serait utiliser une IA pour fabriquer un virus puis le propager.

Oui.

Et serait-ce intentionnel ou ?

Il y a beaucoup de psychopathes, beaucoup de terroristes, beaucoup de cultes de l'apocalypse. Nous l'avons vu historiquement, encore une fois, ils essaient de tuer autant de gens qu'ils le peuvent, ils échouent généralement, ils en tuent des centaines de milliers. Mais s'ils obtiennent la technologie pour en tuer des millions ou des milliards, ils le feraient volontiers. Le point que j'essaie de souligner est que peu importe ce que je peux imaginer. Je ne suis pas l'acteur malveillant que vous essayez de vaincre ici. C'est la superintelligence qui peut inventer des façons totalement nouvelles de le faire. Encore une fois, vous avez cité l'exemple de votre chien. Votre chien ne peut pas comprendre toutes les façons dont vous pouvez l'éliminer. Il peut peut-être penser que vous allez le mordre à mort ou quelque chose comme ça, mais c'est tout, alors que vous avez une réserve infinie de ressources. Donc si je demandais à votre chien exactement comment vous allez l'éliminer, il ne vous donnerait pas de réponse sensée. Il peut parler de morsure. Et c'est ce que nous connaissons, nous connaissons les virus. Nous avons connu les virus, nous pouvons en parler. Mais ce qu'un système d'IA capable de faire de la recherche en physique inédite peut inventer me dépasse.

L'une des choses que je pense que la plupart des gens ne comprennent pas, c'est à quel point nous comprenons peu comment ces IA fonctionnent réellement. Parce qu'on pourrait supposer qu'avec les ordinateurs, on comprend un peu comment un ordinateur fonctionne, on sait qu'il fait ceci puis cela et qu'il tourne sur du code. Mais en lisant vos travaux, vous le décrivez comme une boîte noire. Dans le contexte de quelque chose comme ChatGPT ou une IA que nous connaissons, vous me dites que les personnes qui ont construit cet outil ne savent pas réellement ce qui se passe à l'intérieur.

C'est tout à fait exact. Même les personnes qui fabriquent ces systèmes doivent mener des expériences sur leur produit pour savoir de quoi il est capable. Ils l'entraînent donc en lui donnant toutes ces données, par exemple tout le texte d'Internet. Ils le font tourner sur beaucoup d'ordinateurs pour apprendre les schémas de ce texte. Et puis ils commencent à expérimenter avec ce modèle. Oh, est-ce que tu parles français ? Oh, peux-tu faire des mathématiques ? Oh, est-ce que tu me mens en ce moment ? Et donc, cela prend peut-être un an pour l'entraîner, puis six mois pour obtenir quelques bases sur ses capacités, une certaine marge de sécurité. Mais nous découvrons encore de nouvelles capacités dans d'anciens modèles. Si vous posez une question d'une manière différente, il devient plus intelligent. Ce n'est donc plus de l'ingénierie comme au cours des 50 premières années, où quelqu'un était un ingénieur de la connaissance programmant une IA de système expert pour faire des choses spécifiques. C'est de la science. Nous créons cet artefact, nous le faisons croître. C'est comme une plante extraterrestre. Et ensuite, nous l'étudions pour voir ce qu'il fait. Et tout comme avec les plantes, nous n'avons pas une connaissance biologique précise à 100 %. Nous n'avons pas une connaissance totale ici. Nous connaissons certains schémas. Nous savons que, d'accord, si nous ajoutons plus de calcul, elle devient plus intelligente la plupart du temps. Mais personne ne peut vous dire précisément quel sera le résultat étant donné un ensemble d'entrées.

Je m'inquiète pour la sécurité de l'IA.

Qu'est-ce qu'ils disent ?

Quels sont leurs contre-arguments habituels ?

Beaucoup ne s'engagent pas du tout, comme s'ils n'avaient aucune connaissance de base sur le sujet.

Ils n'ont jamais lu un seul livre, un seul article, pas seulement de moi, de quiconque.

Ils travaillent peut-être même dans le domaine, ils font du machine learning pour une entreprise, en maximisant les clics publicitaires.

Et pour eux, ces systèmes sont très limités.

Et quand ils entendent que, oh, cette IA va prendre le contrôle du monde, ils se disent : 'elle n'a pas de mains'.

Comment ferait-elle ça ? C'est n'importe quoi.

Ce gars est fou, il a une barbe, pourquoi je l'écouterais, n'est-ce pas ?

C'est... puis ils commencent à lire un peu.

Ils se disent : 'D'accord, alors peut-être que l'IA peut être dangereuse'.

Oui, je vois ça, mais nous avons toujours résolu les problèmes par le passé.

Nous allons les résoudre à nouveau.

À un moment donné, nous avons réparé un virus informatique ou quelque chose comme ça, donc c'est la même chose.

Et au fond, plus ils sont exposés, moins ils sont susceptibles de garder cette position.

Je connais beaucoup de gens qui sont passés de développeurs super négligents à chercheurs en sécurité.

Je ne connais personne qui soit passé de 'je m'inquiète pour la sécurité de l'IA' à 'il n'y a rien à craindre'.

Hmm.

Quelles sont vos conclusions ?

Assurons-nous qu'il n'y ait pas de déclaration finale à donner pour l'humanité.

Assurons-nous de rester aux commandes, d'avoir le contrôle.

Assurons-nous de ne construire que des choses qui nous sont bénéfiques.

Assurons-nous que les personnes qui prennent ces décisions soient un tant soit peu qualifiées pour le faire.

Qu'elles soient douées non seulement en science, en ingénierie et en affaires, mais qu'elles aient aussi des normes morales et éthiques.

Et si vous faites quelque chose qui impacte d'autres personnes, vous devriez leur demander leur permission avant de le faire.

S'il y avait un bouton devant vous et qu'il arrêtait chaque entreprise d'IA dans le monde dès maintenant de manière permanente, avec l'impossibilité pour quiconque d'en créer une nouvelle, appuieriez-vous sur le bouton ?

Perdons-nous l'IA étroite ou juste la partie AGI superintelligente ?

On perd toute l'IA.

C'est une question difficile parce que l'IA est extrêmement importante.

Elle contrôle le marché boursier, les centrales électriques, elle contrôle les hôpitaux.

Ce serait un accident dévastateur.

Des millions de personnes perdraient la vie.

D'accord, nous pouvons garder l'IA étroite.

Oh, oui.

C'est ce que nous voulons.

Nous voulons que l'IA étroite fasse tout cela pour nous, mais pas un Dieu que nous ne contrôlons pas et qui nous fait des choses.

Vous l'arrêteriez donc, vous arrêteriez l'AGI et la superintelligence.

Nous avons l'AGI.

Ce que nous avons aujourd'hui est génial pour presque tout.

Nous pouvons en faire des secrétaires.

99 % du potentiel économique de la technologie actuelle n'a pas été déployé.

Nous fabriquons l'IA si rapidement qu'elle n'a pas le temps de se propager dans l'industrie, dans la technologie.

On considère qu'environ la moitié de tous les emplois sont des jobs futiles.

Ils n'ont pas besoin d'être faits, des bullshit jobs.

Donc ceux-là peuvent même ne pas être automatisés, ils peuvent juste disparaître.

Mais je dis que nous pouvons remplacer 60 % des emplois aujourd'hui avec les modèles existants.

Nous ne l'avons pas fait.

Donc si l'objectif est de faire croître l'économie, de se développer, nous pouvons le faire pendant des décennies sans avoir à créer une superintelligence dès que possible.

Pensez-vous qu'à l'échelle mondiale, surtout dans le monde occidental, le chômage ne va faire qu'augmenter à partir de maintenant ?

Pensez-vous que, relativement, nous sommes au point le plus bas du chômage ?

Je veux dire, cela fluctue beaucoup avec d'autres facteurs.

Il y a des guerres, des cycles économiques, mais globalement, plus vous automatisez d'emplois et plus la nécessité intellectuelle pour commencer un travail est élevée, moins les gens sont qualifiés.

Donc si nous le tracions sur un graphique pour les 20 prochaines années, vous supposez que le chômage va progressivement augmenter ?

Je pense que oui.

De moins en moins de personnes seraient capables de contribuer.

Nous l'avions déjà compris en quelque sorte parce que nous avons créé le salaire minimum.

Nous avons compris que certaines personnes ne contribuent pas à une valeur économique suffisante pour être payées quoi que ce soit réellement, nous avons donc dû forcer les employeurs à les payer plus que ce qu'elles valent.

Hmm.

Et nous ne l'avons pas mis à jour.

C'est quoi, 7,25 au niveau fédéral aux États-Unis ?

Si on suit l'économie, cela devrait être environ 25 dollars de l'heure maintenant.

Ce qui signifie que toutes ces personnes qui gagnent moins ne contribuent pas à une production économique suffisante pour justifier ce qu'elles sont payées.

Nous avons une tradition de clôture sur ce podcast où le dernier invité laisse une question pour le suivant, sans savoir pour qui il la laisse.

Et la question qui vous a été laissée est : quelles sont les caractéristiques les plus importantes pour un ami, un collègue ou un partenaire ?

Ce sont des types de personnes très différents, mais pour chacun d'entre eux, la loyauté est le numéro un.

Et que signifie la loyauté pour vous ?

Ne pas vous trahir, ne pas vous arnaquer, ne pas vous tromper.

Malgré la tentation.

Malgré le monde tel qu'il est, la situation, l'environnement.

Dr Roman, merci beaucoup.

Merci beaucoup pour ce que vous faites parce que vous lancez une conversation, vous faites avancer une conversation et vous menez des recherches qui sont incroyablement importantes.

Et vous le faites face à beaucoup de sceptiques, je dirais.

Il y a beaucoup de gens qui ont tout intérêt à discréditer ce que vous dites et ce que vous faites parce qu'ils ont leurs propres intérêts et qu'ils ont des milliards de dollars en jeu, et ils ont aussi potentiellement leurs emplois en jeu.

Il est donc vraiment important qu'il y ait des gens prêts à, je suppose, sortir la tête du parapet, venir dans des émissions comme celle-ci, aller sur de grandes plateformes et parler du futur inexpliquable, imprévisible et incontrôlable vers lequel nous nous dirigeons.

Alors merci de faire cela.

Ce livre, que je pense que tout le monde devrait consulter s'il veut poursuivre cette conversation, je pense qu'il a été publié en 2024, donne une vue holistique sur bon nombre des choses dont nous avons parlé aujourd'hui : prévenir les échecs de l'IA et bien plus encore.

Et je vais le mettre en lien ci-dessous pour tous ceux qui veulent le lire.

Si les gens veulent en apprendre davantage de vous, s'ils veulent aller plus loin dans votre travail, quelle est la meilleure chose à faire ? Où vont-ils ?

Ils peuvent me suivre sur Facebook, me suivre sur X, mais ne me suivez pas jusqu'à chez moi, c'est très important.

Ne le suivez pas jusque chez lui.

D'accord, donc je mettrai aussi votre compte X ci-dessous pour que les gens puissent vous y suivre.

Et oui, merci beaucoup pour ce que vous faites.

C'est remarquablement révélateur et cela m'a donné beaucoup de matière à réflexion.

Et cela m'a en fait encore plus convaincu que nous vivons dans une simulation.

Mais cela m'a aussi fait réfléchir de manière assez différente à la religion, je dois dire, parce que vous avez raison, toutes les religions, quand on s'éloigne des traditions locales, pointent toutes vers la même chose.

Et en fait, si elles pointent toutes vers la même chose, alors peut-être que les vérités fondamentales qui existent à travers elles devraient être quelque chose à quoi je prête plus d'attention.

Des choses comme aimer son prochain, des choses comme le fait que nous ne sommes qu'un, qu'il y a un créateur divin.

Et peut-être aussi qu'elles semblent toutes avoir des conséquences au-delà de cette vie.

Alors peut-être que je devrais réfléchir davantage à la façon dont je me comporte dans cette vie et où je pourrais finir par la suite.

Roman, merci.

Amen.