L'impact de l'IA sur la géopolitique et la société : Une conversation avec Eric Schmidt
11 janvier 2023
Technologie et Géopolitique
Introduction et évolution technologique
Bonjour, je suis Tino Cuéllar, président de la Fondation Carnegie pour la paix internationale. À la Fondation Carnegie, nous existons depuis plus d'un siècle en tant que source d'analyse fiable, de recherche sur l'état du monde et son évolution, et de soutien à une diplomatie sensée sur une planète indisciplinée, remplie de risques et d'opportunités. Même à nos débuts, mes prédécesseurs comprenaient que l'évolution des technologies allait à la fois faire progresser et compliquer notre mission. À nos débuts, les scientifiques cartographiaient les gènes sur les chromosomes, ils théorisaient la relativité générale en arrière-plan pendant que nous travaillions. Ces découvertes et d'autres ont finalement aidé à catalyser un siècle d'une croissance économique et d'un développement énormes. En fait, un développement jamais vu dans l'histoire de notre espèce. La science et la technologie ont fini par faire chuter les taux d'extrême pauvreté de plus de 56 % au milieu du siècle à 9 % aujourd'hui. Mais elles expliquent aussi pourquoi la Fondation Carnegie, dans les années 50, 60 et 70, en est venue à se concentrer sur les armes nucléaires comme source majeure de risque mondial, et pourquoi nous nous concentrons aujourd'hui sur les technologies de pointe qui apportent des risques potentiels ainsi que des opportunités, et pourquoi nous sommes si préoccupés par le changement climatique. Aujourd'hui, nous faisons face à de grands changements tant technologiques que géopolitiques. De la bio-informatique aux grands modèles de langage avec des milliards de paramètres, en passant par des percées dans la compréhension du repliement des protéines. Les téléphones portables modernes contiennent aujourd'hui plus d'un million de fois plus de mémoire et de processeurs et une puissance de calcul environ 3 000 fois supérieure à celle des ordinateurs de guidage du module Apollo 11. En fait, les chargeurs de nos appareils contiennent des puces plus puissantes que celles utilisées pour Apollo 11. Le séquençage d'un génome humain coûte aujourd'hui environ 0,0014 % de ce qu'il coûtait en 2001, et prend des heures au lieu de plusieurs années. Pour cartographier la façon dont ces technologies de demain affecteront les États-Unis, la position des États-Unis et le monde entier, nous avons la chance d'avoir avec nous le Dr Eric Schmidt. Je pourrais dire beaucoup de choses sur la façon dont j'ai bénéficié des idées d'Eric dans divers contextes, notamment par le biais d'un conseil d'administration où nous siégeons, mais nous avons pensé qu'il serait approprié de laisser l'un des récents grands modèles de langage, en l'occurrence ChatGPT, préparer quelque chose. Voici donc ce qu'il a généré, et je cite : "Alors que le monde continue de lutter contre les impacts de ces technologies émergentes, il est plus important que jamais de réunir des experts et des leaders d'opinion pour discuter et aborder ces questions complexes. C'est dans cet esprit que nous sommes heureux d'accueillir le Dr Eric Schmidt, un dirigeant technologique de premier plan et un penseur innovant. En tant qu'ancien PDG de Google, le Dr Schmidt a joué un rôle pivot dans la croissance et le développement de l'entreprise, aidant à façonner le paysage technologique moderne tel que nous le connaissons aujourd'hui. En plus de son travail chez Google, le Dr Schmidt est également le cofondateur de Schmidt Futures, une organisation qui œuvre pour faire progresser l'utilisation de la technologie pour le bien public, et le fondateur du Special Competitive Studies Project, un projet de recherche axé sur l'intersection de la technologie, des affaires et de la politique. Nous sommes honorés de l'avoir parmi nous aujourd'hui pour partager ses idées et ses expériences sur ces sujets importants." Pas tout à fait du Shakespeare, et cela ne rend pas justice au travail qu'Eric a accompli avec Henry Kissinger et d'autres sur l'impact mondial imminent de l'IA, mais je lui donne un solide A- pour une rédaction qui a pris environ cinq secondes. Bienvenue Eric, nous avons beaucoup de choses à discuter et avant de terminer, nous prendrons quelques questions du public, mais je tiens simplement à dire que je suis ravi de vous revoir.
Eh bien, tout d'abord, merci. C'est la première introduction que j'ai eue par ChatGPT. Et je ne peux pas imaginer la quantité d'ingénierie des invites qu'il vous a fallu pour obtenir une si belle introduction.
Le niveau d'ingénierie des invites restera classifié pour le moment, mais je le partagerai peut-être à la fin.
On pourra en discuter à la lumière. J'ai toujours soutenu la Fondation Carnegie au fil des ans, et maintenant que vous en êtes à la tête, nous travaillons très étroitement avec vous sur les questions de sécurité nationale et de technologie, et nous continuerons à le faire pendant très longtemps. Alors merci de m'avoir invité.
Équilibre entre risques et opportunités
Merci Eric, c'est un plaisir. Commençons par les phases du développement technologique et la situation du monde aujourd'hui par rapport à l'époque où vous étiez au milieu de votre mandat de PDG de Google. Le monde a beaucoup changé depuis le milieu des années 2000. À l'époque, nous avions environ 450 millions d'utilisateurs d'Internet, aujourd'hui nous en avons environ 5,5 milliards. Nous avons ces progrès massifs sur le front de l'IA grâce à ces grands modèles de langage de plusieurs milliards de paramètres. La science quantique progresse, nous avons eu une session à ce sujet ici à Carnegie plus tôt aujourd'hui avec Ben Lev de Stanford. J'aimerais avoir votre avis sur l'équilibre entre risques et opportunités à l'époque et aujourd'hui. Où voyez-vous les risques différer par rapport à ce qu'ils étaient alors et où voyez-vous les opportunités différer ?
Eh bien, il est intéressant que vous ayez utilisé les statistiques sur la mission Apollo dans votre introduction. J'ai calculé que l'ordinateur que j'utilise, un Android ou un iPhone par exemple, est cent millions de fois plus performant que les ordinateurs que j'utilisais quand j'étais à l'université. Et comment arrive-t-on à cent millions ? La réponse est la loi de Moore. Ce que vous voyez est l'extrapolation naturelle de la puissance lorsque la puissance de calcul, la puissance numérique, double environ tous les deux ans. Et grâce à l'extraordinaire ingéniosité de nombreux physiciens et scientifiques, nous continuons à un rythme un peu moins soutenu, mais proche de celui-ci. Par exemple aujourd'hui, nous avons ces énormes problèmes entre la Chine et les États-Unis concernant l'accès aux puces de moins de 10 nanomètres, à la conception de puces. Et le leader est une entreprise qui est un monopole unique en ce moment aux Pays-Bas, appelée ASML. Les administrations Trump et Biden ont compris que le contrôle de cette source unique avait un impact négatif énorme sur l'évolution du monde numérique, favorisant l'Occident par rapport à la Chine, et la Chine, bien sûr, riposte. Tout cela est parfaitement logique, mais laissez-moi vous donner les faits. Les faits sont qu'ils traitent des choses de la largeur d'un atome. C'est à quel point ces puces sont complexes. Littéralement, un nanomètre est à peu près la largeur d'un atome et elles ne peuvent pas aller beaucoup plus vite, et ils en sont à trois ou quatre nanomètres en ce moment. Le niveau de précision atteint par l'humanité dans l'ingénierie de ces systèmes est extraordinaire. Alors quand je repense à il y a 20 ans, j'avais l'habitude de faire ce discours à l'époque où nous étions tous optimistes. Nous étions tous des techno-optimistes et il y a 20 ans nous disions : "Oh, ça va être génial, tout le monde sera connecté" et ainsi de suite. Et même moi, qui sais compter, je ne pouvais pas comprendre ce qui se passe quand on a une informatique à l'échelle à ce niveau. Donc les résultats quantiques que vous décrivez, le quantique est incroyablement difficile à comprendre, est à un tel niveau de résolution que nous commençons à pouvoir comprendre comment le quantique fonctionne de manière mathématique et par simulation numérique. C'est extraordinaire. Personne ne comprend à quelle vitesse ces changements se produisent. Vous avez utilisé ChatGPT pour m'introduire. ChatGPT est basé sur GPT-3.5, qui a un an. OpenAI a déclaré qu'une nouvelle version de GPT allait sortir au début de l'année, je suppose dans un mois ou deux, qui est infiniment plus performante que celle que vous avez utilisée. Dieu sait ce qu'elle saura. En fait, la chose la plus intéressante à propos de ces modèles que les gens ont maintenant réalisée, ce qui est une percée majeure, est que vous les entraînez à partir des connaissances mondiales et que vous essayez ensuite de découvrir ce qu'ils savent. Et ils semblent savoir des choses que les humains ne savent pas. Et tout le monde en est gaga.
Un changement d'époque : De la raison à l'IA
C'est vrai. Je pense à la façon dont Derek Parfit, le philosophe, a été décrit un jour comme une machine à convertir le café en idées philosophiques, et cela rejoint bien sûr à la fois les analogies et les différences entre la science du cerveau et la façon dont ces modèles se développent. Et cela soulign l'aspect difficile, Eric, d'extrapoler à partir de l'état actuel de la technologie ce qui va se passer ensuite. Une partie de cela, comme dans le cas de la loi de Moore, nous avons développé un ensemble de connaissances qui nous porteront jusqu'à un certain point, mais en particulier ces grands modèles génératifs, les voyez-vous comme représentant un véritable changement de phase dans le développement de l'IA avec de très grandes implications pour la géopolitique et la politique, ou pensez-vous que dans 7 à 10 ans nous serons simplement à un point très différent où ce qui est passionnant dans l'IA sera un algorithme génératif de mille lignes de long que nous venons de découvrir et qui est si différent de ce que nous avons imaginé aujourd'hui qu'il nous emmènera dans une direction différente ?
Eh bien, nous avons été tellement préoccupés par cela que le Dr Kissinger, moi-même et Dan Huttenlocher (et vous avez interviewé le Dr Kissinger sur scène à ce sujet) avons écrit un livre là-dessus. Et le Dr Kissinger dit que si l'on regarde l'histoire (et c'est bien sûr le meilleur historien au monde ces temps-ci), si l'on regarde l'histoire, les Lumières ont été un véritable changement de pensée, un véritable changement dans la façon dont nous nous percevions. Nous sommes passés de l'âge de la religion ou de la croyance, c'est-à-dire que Dieu vous disait les choses, à l'âge de la raison. Il pense, et je suis d'accord avec lui, que nous sommes sur le point de vivre un changement d'époque similaire dans notre façon de fonctionner. Et laissez-moi vous expliquer pourquoi. Dès la naissance, chacun d'entre nous est organisé autour de ses sens, de ce qu'il voit et de ce qu'il entend. Et we sommes formés pour croire ce que nous voyons et entendons. C'est ainsi que nous sommes en sécurité, c'est ainsi que nous vivons, c'est ainsi que nous fonctionnons en tant qu'êtres humains. Dans un monde où les systèmes informatiques génèrent tout autour de vous, que pouvez-vous croire ? Que signifie être humain lorsque la source primaire de vos entrées visuelles, les choses que vous voyez, les choses que vous entendez et les choses auxquelles vous réagissez ne sont pas générées par des faits, des circonstances et des humains, mais plutôt par des ordinateurs optimisés pour un résultat ? Or, un système génératif présente de nombreux avantages ; nous pouvons générer des solutions spécifiques, de l'art, de l'éducation. Les systèmes génératifs nous permettent également de générer, pour diverses raisons techniques, de nouveaux médicaments, de nouvelles sciences, une nouvelle biologie, etc. Mais que se passe-t-il lorsque ces mêmes technologies sont appliquées au monde visuel dans lequel vous vivez ? L'information. Mon exemple préféré est que vous êtes une personne bien connue, vous avez une carrière juridique distinguée, vous avez été juge, juge à la Cour suprême, vous êtes quelqu'un d'important. Or, quelqu'un, sans votre permission, utilise votre image, votre voix, votre apparence, et fait de vous quelqu'un que vous n'êtes pas. Un raciste, un sexiste, une personne pleine de préjugés, un idiot. Quels droits avez-vous sur cette image ? Comment pouvez-vous protéger votre réputation, qui est au cœur de votre façon de fonctionner, de l'impact que vous avez, de votre crédibilité ? Et vous n'êtes même pas un politicien. Imaginez ce qui arrivera aux dirigeants politiques qui seront soumis à cette manipulation constante de leurs propos. Le moment clé pour moi a été il y a un mois lors de la sortie d'un podcast sur Podcast.ai, une interview entre Joe Rogan et Steve Jobs, décédé depuis une décennie. Steve Jobs était un ami très proche. Et quand j'ai entendu la voix de Steve synthétisée par un ordinateur comme s'il était vivant aujourd'hui, parlant avec son style et ses idées sur un fait, j'ai presque commencé à pleurer. Ce fut un tel choc pour mon existence, pour mon système. Je crois que chacune des personnes qui regardent ceci aura un tel choc, et ce sera personnel et déstabilisant.
Les défis de la désinformation et de la manipulation
Deux points à ce sujet, Eric. C'est un exemple très percutant. Le premier est que vous maîtrisez parfaitement toute la technologie nécessaire pour rendre cette conversation possible et vous avez tout de même eu une réaction émotionnelle viscérale, ce qui souligne que certaines parties de notre propre cerveau seront activées par ces technologies d'une manière qui défiera notre logique. Et l'autre point est que je suis tout à fait d'accord avec vous sur le caractère risqué et complexe de la gestion d'un ensemble de stimuli que nous pourrons désormais générer sur commande et qui agiront comme s'ils étaient de vraies personnes en somme. Et si, par hypothèse, nous parvenions à établir exactement les bonnes règles au niveau national, parfaitement appliquées aux États-Unis, imaginez le défi que représenterait l'élaboration d'un cadre s'appliquant dans l'Union européenne, en Chine, au Myanmar, en Inde, au Nigeria. Je réfléchis donc à tout ce que vous dites et j'essaie de passer au niveau supérieur en termes de géopolitique.
Laissez-moi vous donner un exemple de la première fois où j'ai vu cela. C'était il y a 10 ans. Des gens insensés ont créé une vidéo dénigrante pour les musulmans. Elle s'appelait "L'Innocence des musulmans". Elle avait été tournée avec des mécanismes traditionnels, pas avec l'IA. Elle a été diffusée et a provoqué des émeutes dans un certain nombre de pays musulmans, dont le Pakistan, où des gens sont morts. Elle était sur YouTube. C'était une situation d'urgence quand j'étais PDG de Google. Nous avons fini par la restreindre. J'ai demandé : "Est-ce que les gens regardent la vidéo ?" On m'a répondu : "Non, ce qui se passe, c'est que les chaînes de télévision regardent la vidéo et rapportent aux gens que cette vidéo existe." Des gens mouraient alors qu'ils n'avaient même pas vu la vidéo, pour une cause qui leur avait été promue par, à mon avis, ces horribles chaînes de télévision. Le problème ici est que vous et moi pouvons, avec un certain niveau de formation, gérer cela. Mais que se passe-t-il quand on a un acteur malveillant ? Le techno-optimiste que j'étais il y a 15 ans aurait dit : "Eh bien, il n'y aura pas d'acteurs malveillants." J'avais manifestement tort. Il y a des gens qui utiliseront cela pour des résultats terribles. Ils mentiront, tricheront, voleront et utiliseront l'existence de ces fausses informations pour causer du tort. Nous n'avons pas de solution sociétale pour cela. Vraiment pas. Et les pires endroits seront ceux qui sont les moins gouvernés. Les États défaillants, les États mal gérés. Pas les démocraties, ni même une autocratie comme la Chine, qui la contrôlera. Ce sont ceux qui ne sont ni des démocraties, ni des autocraties bien gérées.
Les trois dangers majeurs à court terme
Je crois comprendre qu'implicitement, Eric (et vous pouvez préciser ici), il y a l'idée que certaines technologies gourmandes en ressources actuellement, comme les grands modèles de langage ou l'équivalent pour le graphisme, seront décentralisées, déployables et suffisamment réduites pour être accessibles par des gouvernements sans ressources et par des acteurs non étatiques, vraisemblablement. Est-ce là votre pensée ?
C'est vrai. En fait, j'essayais de réfléchir pour notre public aujourd'hui aux trois dangers à court terme de tout cela. L'un est en fait beaucoup plus simple que celui dont nous discutons, facile à comprendre pour nous tous. C'est la création de virus tueurs. Les virus s'avèrent relativement simples à construire. Ainsi, un système d'IA utilisant les techniques de conception générative que je décris, plus une base de données sur le fonctionnement réel de la biologie, et une machine qui fabrique les virus (qui existent, on peut les faire construire en utilisant essentiellement des séquenceurs), peut commencer à construire des virus terribles. Comment allons-nous résoudre ce problème ? Je viens d'être nommé dans une commission nationale pour en discuter. Quelles lois, quelles restrictions ? D'accord, disons que les États-Unis fassent ce qu'il faut, que le système occidental fasse ce qu'il faut, que la Chine fasse ce qu'il faut. Mais qu'en est-il d'un État voyou ? Comment règlent-ils cela ? Le deuxième problème est celui dont nous discutons actuellement, à savoir la capacité d'utiliser ces techniques pour cibler des dommages, cibler une désinformation vraiment néfaste. C'est inacceptable ; cela mène à la violence, aux préjugés, à de mauvais résultats. Pourquoi ferait-on cela ? Peut-être êtes-vous un psychopathe. Nous en avons eu beaucoup dans notre histoire et certainement certains aujourd'hui. Mais vous pourriez aussi être une entreprise immorale qui essaie de vendre un mauvais produit et qui ment à son sujet. Il y a de nombreux exemples de cela. Ce sont donc deux exemples de ce problème. Et le troisième concerne les conflits. La façon dont on peut comprendre les conflits, c'est d'imaginer une cyber-guerre où les systèmes prennent leurs décisions plus rapidement que le temps de décision humain. Là encore, vous êtes une personne expérimentée, vous comprenez très bien la sécurité nationale. D'ailleurs, Carnegie travaille avec nous sur certains de ces sujets, donc merci pour cette aide. Que se passe-t-il lorsque le cycle de décision est plus rapide que ce que les humains peuvent décider ? Et n'oubliez pas que les systèmes que je décris ont la propriété intéressante de faire des erreurs. Vous ne voulez pas que ces systèmes pilotent l'avion. Vous voulez qu'ils conseillent les pilotes, c'est très bien. Vous ne voulez pas d'eux dans des domaines critiques pour la vie parce qu'ils font des erreurs. Mon exemple préféré, c'est un exemple ChatGPT : j'ai dit à ChatGPT : "Écris-moi un essai expliquant pourquoi tous les gratte-ciel de plus de 300 mètres devraient être en beurre." Et il a écrit un magnifique essai expliquant pourquoi le beurre était renouvelable, solide, savoureux, etc. J'ai fait la même requête deux jours plus tard et il a changé d'avis : "C'est une terrible idée, ce n'est pas assez solide." Ce que je ne sais pas, c'est comment ChatGPT a appris ce fait. Et l'un des problèmes des grands modèles de langage aujourd'hui est qu'ils hallucinent. Vous pouvez en fait lui poser une série de questions qui lui feront croire que le haut est le bas, que la gravité n'existe pas, que la gauche devient la droite, des choses absurdes pour n'importe quel être humain, pour lesquelles n'importe quel humain dirait : "C'est la chose la plus stupide qui soit." Nous ne comprenons pas totalement la nature du fonctionnement de ces grands modèles de langage et nous savons qu'ils font des erreurs.
L'IA dans la prise de décision et le problème des hallucinations
C'est un excellent point, Eric. Et je veux reprendre le lien que vous faites entre ces grands modèles de langage, cette hallucination et la prise de décision. Je soupçonne que l'un des grands défis que des gens comme vous et moi auront dans les trois à cinq prochaines années, alors que nous tentons d'appréhender les questions autour de l'IA et de la technologie, sera la façon dont ces systèmes infiltrent la prise de décision et quand cette infiltration est une chose positive pour la société. Par exemple, par rapport au type de diagnostic que vous pourriez obtenir d'un médecin humain, si vous essayez de fournir des soins médicaux à une très large population qui n'a normalement pas accès à un médecin, vous apportez une amélioration nette. Et quand est-ce que vous intégrez quelque chose de cohérent, qui semble logique, qui semble fluide dans la décision, mais qui est tout simplement susceptible d'être faux, parfois de manière imprévisible.
Il est intéressant que vous mentionniez la médecine. Il existe deux ou trois projets qui ont récemment, en utilisant ces grands modèles de langage, atteint à peu près le même niveau de précision de diagnostic que le médecin moyen, qui n'est pas un expert. En d'autres termes, les connaissances moyennes des médecins ont été atteintes. Disons que vous avez un médecin moyen et l'un de ces systèmes médicaux. Le médecin moyen fait certaines erreurs et le système médical fait des erreurs analogues. Quelle est notre tolérance pour cela ? Est-il acceptable de remplacer le médecin humain par le médecin IA moyen qui fait des erreurs ou le standard est-il plus élevé ? La plupart des gens pensent que le standard pour le système d'IA devrait être plus élevé. Mais si vous suivez ce raisonnement, vous n'aurez jamais de voiture autonome, car les voitures autonomes basées sur l'IA feront aussi des erreurs, mais une seule erreur fera la une des journaux nationaux. Alors qu'il y a, de manière intolérable, environ 90 à 100 personnes qui meurent chaque jour sur les routes des États-Unis dans des voitures, soit environ 35 000 décès par an. Nous devons donc vraiment réfléchir à cette question : comme vous l'avez si bien dit, où se trouve la ligne d'implémentation ? Aujourd'hui, ma réponse officielle est d'utiliser ces systèmes à titre consultatif, mais de laisser l'humain prendre la décision. Car pour cela, nous avons un concept juridique. Là encore, vous pouvez parler de la question de la responsabilité, la responsabilité du système. Ma plaisanterie préférée à ce sujet est que je conduis en Californie et que je fais l'un de ces arrêts glissés californiens. Peut-être faites-vous cela aussi puisque vous vivez en Californie.
Je ne peux pas l'admettre, mais...
Vous pouvez l'admettre, vous n'allez pas confesser. Alors le policier arrive et dit : "Vous avez fait un arrêt glissé" et je réponds : "Ce n'était pas moi." Et il demande : "Qui alors ?" et je réponds : "La voiture dit que c'est moi, officier." L'officier demande : "Pourquoi ?" et la voiture dit : "Je ne sais pas." À qui le policier donne-t-il la contravention ? Question. Cet exemple simple, ou un autre exemple comme l'art. Si vous prenez l'art constructiviste de quelqu'un comme entrée, une œuvre magnifique, et que vous la modifiez en quelque chose de différent, à qui appartient le droit d'auteur ? Qui reçoit l'argent ?
L'absence d'humanité partagée dans les systèmes d'IA
Et j'ajouterais peut-être, pour reprendre ce point précis : nous n'avons pas de réponses parfaites à cela dans le contexte humain, mais nous avons, selon la façon dont on compte, entre 500 et 100 000 ans d'expérience dans la gestion des litiges entre humains, des désaccords entre humains à mesure que nous sommes passés des tribus aux villages, puis aux cités-États, aux petits pays, aux grands pays, et enfin aux entités supranationales. Ce que nous n'avons pas, et c'est essentiel je pense, même pour quelqu'un comme vous qui n'est peut-être plus un techno-optimiste mais qui voit les possibilités d'améliorer le bien-être humain avec cette technologie, c'est de réaliser que les technologies peuvent paraître moins étrangères qu'elles ne le sont réellement. Vous pouvez présenter une diapositive ou poser une question à ChatGPT d'une manière qui vous donne une intuition sur son fonctionnement. Mais lorsqu'on parle de centaines de milliards de paramètres, je pense qu'une partie de la conclusion concernant votre point sur le rôle consultatif est que nous essayons de construire rapidement une expérience et un lien sur la façon dont nous interagissons avec les machines lorsque nous essayons de prendre les décisions les plus importantes au monde.
Laissez-moi insister un peu plus là-dessus. Je sais que vous êtes un être humain. Et je sais que vous pensez, je sais que vous êtes né, je sais que vous avez une famille, je sais que vous devez dormir, que vous devez manger, tout ça. Nous avons une humanité partagée, vous savez la même chose de moi. Or, je traite avec un système d'IA. Il n'a aucune humanité partagée avec moi. Il ne dort pas, il n'a pas besoin de manger, je suppose qu'il a besoin d'électricité pour fonctionner. Je ne sais pas ce qui l'inquiète au sens de l'anxiété. Je ne connais pas ses modes de défaillance. Je ne sais pas à quel point il est manipulable. Imaginez que vous ayez affaire au pire être humain du monde. Hitler ou quelqu'un comme ça. Vous savez toujours qu'il est humain, juste un être horriblement mauvais. Dans ces systèmes d'IA, nous ne savons pas où se situe la limite.
Éducation et risques dans le monde en développement
Exactement. En reprenant à la fois les risques et les possibilités, parlons un peu plus du monde en développement. Vous avez mentionné la conduite, la médecine comme des domaines où l'on voit clairement le côté IA, peut-être même sur le plan médical et biomédical, comme étant très fertile pour améliorer le bien-être humain. Nous traitons avec des gens qui ne sont plus, en première approximation, aussi extrêmement pauvres qu'il y a une génération, mais qui sont conscients, peut-être plus que jamais dans l'histoire, des inégalités auxquelles ils font face. Si vous regardez un jeune enfant qui grandit à Jakarta, dans une grande ville d'Afrique ou dans une zone rurale de l'Inde, incertain de son avenir économique, peu susceptible de faire partie de l'économie mondiale, mais plutôt de l'économie locale, mais qui possède un smartphone. Que pensez-vous de l'avenir de cet enfant et de ce que ces technologies peuvent lui offrir pour qu'il ait le sentiment d'avoir un intérêt dans cet avenir technologique ?
Mettons cela dans un contexte positif et négatif. La chose la plus importante que nous devrions faire en tant que civilisation mondiale est de développer davantage les capacités de nos humains. Plus de formation, plus d'opportunités, plus de tout. La force de l'humanité réside dans nos connaissances, notre sagesse, notre capacité de raisonnement, de communication, de travail sur toutes ces choses. Les gens se trompent, ils pensent que nous devrions construire plus de routes. Non, nous devrions d'abord construire plus d'écoles. Les routes viendront plus tard. Et ici, les écoles sont métaphoriques. Ces systèmes d'IA promettent de fournir une éducation individuelle de classe mondiale à chaque humain sur la planète, y compris au milliard de personnes les plus démunies. Et je pense que vous connaissez les chiffres : la classe moyenne mondiale est passée de la misère absolue à ce que nous considérerions comme la classe moyenne inférieure ; environ 2 milliards de personnes se sont élevées socialement au cours des 20 dernières années. C'est une réussite extraordinaire. D'ailleurs, nous entendons parler d'eux maintenant. Ils en veulent plus : de la réfrigération, de la sécurité, de l'éducation, les mêmes choses que nous. Et même les plus pauvres, ceux qui vivent avec un dollar par jour, en bénéficient. La bonne nouvelle est qu'avec cette capacité d'éducation directe en ligne, nous pouvons les atteindre dans leur langue et les emmener de zéro jusqu'au doctorat. Et nous pouvons le faire de la manière dont ils apprennent. C'est la promesse. Voici le problème. En faisant cela, nous les mettons aussi en ligne de toutes sortes de manières qui ne sont pas culturellement appropriées, pas adaptées à leur développement, et facilement manipulables. Mon exemple préféré est assez simple. Encore une fois, vous êtes un homme de loi. Vous comprenez la longue histoire du droit concernant les mineurs. Dans la plupart des cas, les mineurs de moins de 18 ou 16 ans sont protégés des responsabilités et des sanctions des adultes. Pourtant aujourd'hui, une fillette de 10 ans reçoit un téléphone qui lui donne accès à chaque aspect, bon ou mauvais, du monde des adultes. Idem pour un garçon de 10 ans. Nous menons cette expérience massive sur le développement des adolescents. Je suis plus inquiet pour les filles que pour les garçons pour toutes sortes de raisons factuelles, mais supposons que nous nous inquiétions pour les deux. Et pourtant, il n'y a pas de limite, pas de contrainte. La loi actuelle, la COPPA, impose de protéger les moins de 13 ans. Mais le reste de la société est âgé de 16 ou 18 ans. Nous lançons donc cette technologie sur des personnes qui ne sont probablement pas, du moins en termes d'âge, aptes à traiter du matériel pour adultes. Dieu sait pourquoi nous avons fait ça. Je n'ai aucune idée de ce qui va se passer. Mon exemple préféré : il y a une décennie, j'étais au Myanmar, en Birmanie. Il y avait une guerre ou un combat dans une ville proche d'où je me trouvais entre les Rohingyas et les bouddhistes. Je ne connaissais rien au pays à l'époque. Je me suis dit qu'Internet venait d'arriver et que ces gens allaient se parler, apprendre à se connaître. Au lieu de cela, ils ont utilisé Internet pour s'accuser mutuellement de violence et tuer encore plus de gens. Ce qui n'est précisément pas la raison pour laquelle nous avons créé Internet. Nous étions si naïfs.
Leçons de l'histoire et besoin de perspectives interdisciplinaires
Je pense que d'une certaine manière, l'un des thèmes de notre conversation, et j'apprécie votre franchise, est que la technologie est une affaire de conséquences imprévues, et que cela peut avoir un impact génératif sur le bien-être humain mais aussi des dommages réels. Et je me demande, parce que vous avez cette expérience particulière d'avoir été au cœur de tout cela, Eric, pendant si longtemps dans le secteur privé (même si aujourd'hui vous faites diverses choses, privées et publiques), comment voyez-vous ces années et avec la sagesse que vous avez maintenant, si vous pouviez remonter le temps, y a-t-il des choses que vous feriez différemment de l'époque où vous étiez PDG ?
Eh bien, il y a beaucoup de choses que je ferais différemment, mais l'explication la plus simple est que nous n'avons pas suivi tous ces cours de sociologie que vous avez suivis. Nous n'avons pas suivi ces cours de lettres, d'histoire. Nous étions ignorants. Encore une fois, mon ami Henry Kissinger, le vôtre aussi, je lui faisais ce discours et il me disait : "Eh bien, ce n'est pas ce que dit l'histoire. L'histoire dit que ce sont des cycles, que cela se répète encore et encore" et ainsi de suite. Il le disait gentiment, mais il voulait dire : "Espèce d'idiot". Comment as-tu pu être si naïf, Eric, pour ne pas comprendre les leçons de l'histoire et le fonctionnement de l'humanité ? Nous sommes donc collectivement convaincus aujourd'hui que ces outils sont bien plus puissants que ne le pensent les technologues. Et les technologues les construisent sans comprendre ce qu'ils feront à des gens qui ne leur ressemblent pas. Pour ma défense, rappelez-vous que je vis dans un monde de biais de confirmation. Presque toutes les personnes avec qui je travaille, tous mes amis, ont des niveaux d'éducation similaires, des biais culturels similaires, des valeurs politiques similaires, des valeurs morales et religieuses similaires. Et les nôtres ne sont pas universelles. En fait, nous sommes une minorité par rapport à la majorité du monde. Alors, comment un PDG aujourd'hui peut-il gérer une plateforme mondiale sans avoir un historien, un mondialiste, un philosophe et quelqu'un qui comprend la sociologie des pays dans lesquels il opère ? Les entreprises ne sont pas gérées de cette façon. Cela doit changer.
Compétition géopolitique entre les États-Unis et la Chine
Cela semble profondément important. Et j'entends dans vos propos qu'il s'agit de répondre à un test de marché où les lettres, l'historien et le sociologue aideraient déjà. Mais au-delà du marché, il y a l'aspect éthique. Et si l'on veut un engagement sérieux envers l'éthique et la moralité, ce que tout conseil d'administration souhaiterait, on devrait avoir accès à ce type de connaissances. En parlant de cycles historiques et du Dr Kissinger, ces jours-ci à Carnegie, il ne se passe pas un jour sans qu'une conversation ne porte sur les États-Unis et la Chine et la dynamique entre eux. C'est une question à laquelle vous avez beaucoup réfléchi et je me demande comment vous voyez la dynamique compétitive entre les États-Unis et la Chine dans ce domaine, tant pour les risques d'une course aux armements technologiques militaires que, plus généralement, sur la façon dont nous traitons les problèmes de réglementation et de gouvernance de la technologie dans ce nouveau moment d'histoire de tension entre grandes puissances.
Il devrait être possible pour l'Occident et l'Orient, ou la Chine et l'Occident, de parvenir à des accords de la même manière que nous avons accepté diverses formes de restrictions nucléaires parce que ces choses sont tout simplement trop dangereuses. Je pense que l'exemple le plus simple serait les systèmes de lancement sur alerte. Si vous repensez au film Dr Folamour, vous vous souviendrez qu'il y avait un dispositif, en l'occurrence en Union soviétique, qui décidait de lancer indépendamment de l'arrivée réelle de la menace. Il devait lancer avant que l'arme n'arrive. C'était automatique, on ne pouvait pas l'arrêter. Le film Dr Folamour se termine par une tragédie horrible parce que cela s'auto-entretient. Je suis très inquiet des systèmes d'armes automatiques où les ordinateurs prennent les décisions d'offensive et de défense. D'ailleurs, comment cela pourrait-il arriver ? En partie parce que les guerres peuvent se produire si rapidement. Cela va plus vite que le temps de raisonnement humain. Mais même si l'on accepte de ralentir, laisser des ordinateurs prendre des décisions aussi lourdes de conséquences, avec le genre d'erreurs qu'ils font, est horrible. Regardez dans le cas de l'Ukraine, nous avons une personne horrible en la personne du président Poutine qui initie ce genre de résultat extraordinairement mauvais pour son propre pays ainsi que pour les Ukrainiens et le reste du monde avec des pénuries alimentaires, etc. Je m'inquiète donc beaucoup de cela. Mais globalement, quand je regarde la Chine, la Chine s'efforce de construire des plateformes compétitives avec l'Occident. Il est très important que les valeurs occidentales imprègnent ces plateformes. L'exemple le plus simple est celui de la surveillance. Internet n'est globalement pas une plateforme de surveillance alors que la Chine est largement une plateforme de surveillance. Il est illégal, par exemple, en Chine d'avoir une connexion Internet non authentifiée. Chaque connexion est identifiée localement pour que la police puisse vous rendre visite. Ce serait une violation d'innombrables normes en Occident. Les questions fondamentales de liberté, de liberté d'expression, de parole politique et de mouvement sont violées dans le modèle chinois. Je ne peux pas régler leur problème, c'est leur pays, leurs lois. Mais je sais que je ne veux pas que notre plateforme reflète leurs valeurs, je veux qu'elle reflète les nôtres. Il y a donc une compétition dans l'IA, dans le quantique, dans la biologie, dans les nouvelles énergies. Si je fais les comptes, nous avons largement perdu dans les services financiers, la Chine a une ou deux générations d'avance. Nous perdons actuellement dans les nouvelles énergies, ils ont au moins quelques générations d'avance. Nous sommes légèrement en tête dans l'IA (j'ai présidé une commission qui est arrivée à cette conclusion), mais c'est serré. Dans le quantique, nous sommes légèrement en tête, mais ils font des choses très importantes dont nous pourrons parler. En biologie, nous sommes un peu en tête et ils ont un grand programme pour rattraper leur retard. Dans les semi-conducteurs, nous avons maintenant quelques générations d'avance. La Chine semble par exemple construire des puces de sept nanomètres (plus c'est bas, mieux c'est). Et l'état de l'art à Taïwan est d'environ quatre nanomètres. On dirait donc une ou deux générations d'écart (une génération dure quelques années). Ce n'est pas très loin derrière nous. Leur modèle, que je n'approuve pas, a ses forces et ses faiblesses, le nôtre aussi, nous devons rester en tête. C'est pourquoi quelque chose comme l'USICA, le CHIPS Act, était si important. En Occident, nous devons dépenser l'argent et nous organiser pour rester en tête sur ces plateformes mondiales. Je ne suis pas aussi inquiet des débats traditionnels sur Taïwan et l'incursion militaire, car la Chine a ses propres problèmes (zéro COVID, etc.), mais je crains beaucoup que les plateformes que nous construisons ne restent pas ouvertes par rapport à nos valeurs de liberté. C'est crucial, nous ne voulons pas renoncer à cela.
Vers un régime réglementaire responsable
Une question du public qui reprend certains de ces thèmes : laissons de côté un instant la complexité des relations USA-Chine et concentrons-nous sur ce que vous considérez comme un régime réglementaire responsable pour le développement de l'IA. Y a-t-il quelque chose que vous pourriez imaginer et que vous considérez comme sensé et valant la peine d'être poursuivi ? Je ne parle pas d'une règle brutale qui tenterait de limiter le nombre de paramètres d'un modèle, mais plutôt d'éthique de la recherche ou de l'utilisation de certains systèmes d'IA sur le marché lorsqu'ils ne sont pas prêts, ou quelque chose qui réponde à ces préoccupations de sécurité nationale.
L'Europe, qui est généralement en avance en matière de réglementation et en retard sur tout le reste, a élaboré un ensemble de réglementations sur l'IA stipulant qu'on ne pouvait pas déployer un système d'IA à moins qu'il ne puisse s'expliquer dans les systèmes critiques. Or, aucun système d'IA ne peut s'expliquer aujourd'hui, c'est donc un exemple de mauvaise réglementation. La Grande-Bretagne a proposé, mais finalement annulé, une liste de mots nuisibles mais légaux qui ne pourraient pas être utilisés dans les systèmes d'IA. Les gouvernements tâtonnent donc, mais nous n'avons pas vraiment de bonne réponse à votre question. Premièrement, je pense que c'est un domaine qui nécessite beaucoup de discussions et de recherches, mais ce qui m'inquiète, c'est que je ne veux pas freiner les avantages de l'IA en termes d'innovation, car la réglementation a tendance à la ralentir. Ma préoccupation première concerne cette question de l'automatisation. Je veux que les humains soient responsables. Ainsi, chaque fois qu'il y a une conception générative, chaque fois qu'il se passe quelque chose, je veux qu'il y ait un humain qui puisse être tenu responsable du résultat en utilisant nos systèmes juridiques habituels. Dans le cas de la Chine, il y a manifestement un certain nombre de choses sur lesquelles nous pourrions nous mettre d'accord, comme une règle de non-surprise. Nous avons cela, par exemple, pour les lancements. Nous ne nous surprenons pas en lançant des fusées au hasard les uns sur les autres. Nous donnons un avertissement. Il existe toutes sortes de règles concernant le nucléaire pour la même raison. Je pense qu'il est vraiment important de commencer cette conversation avec la Chine. Il n'y a effectivement aucune conversation gouvernementale ni de diplomatie parallèle à ce sujet, et c'est une erreur.
Science, économie et opportunités pour la classe moyenne
Nous devrions continuer à en parler. Je vais reprendre une autre question qui porte sur les horizons temporels. Je réfléchis beaucoup au temps dans cette fonction car une partie de ce que nous faisons à Carnegie concerne l'ici et maintenant (diplomatie parallèle, soutien à la recherche ou analyse pertinente pour une décision à prendre dans une semaine). Mais je m'attends à ce qu'une autre partie de notre travail ne porte ses fruits que dans 15 ou 20 ans. De la même manière, un membre du public demande : alors que nous continuons à investir dans l'IA, les biotechnologies, le quantique et d'autres technologies qui pourraient avoir un rendement à plus long terme, comment s'assurer que l'économie continue d'offrir des opportunités à la classe moyenne, aux gens à travers le pays qui ne sont peut-être pas encore en mesure de bénéficier de ces avancées scientifiques ?
Je pense que la diffusion de ces découvertes scientifiques peut être accélérée, mais dans la plupart des cas, elle s'applique fondamentalement à tout le monde. Les améliorations en biotechnologie aideront tout le monde pour les soins de santé. Ces systèmes d'IA, lorsqu'ils seront correctement packagés, aideront tout le monde pour l'éducation, les soins médicaux, la connaissance. Je reste donc le techno-optimiste convaincu que Google, qui est effectivement gratuit pour quiconque possède une connexion Internet, vous rend plus intelligent, et je suis très fier d'avoir joué un petit rôle pour que cela arrive. Internet lui-même vous donne cet accès, il rend votre vie plus riche, plus intéressante, plus divertissante. Je pense que ce sont de bonnes choses. Quand on regarde du point de vue d'une personne de la classe moyenne, comme vous avez posé la question, je pense que le plus important est de regarder là où les coûts ne baissent pas (ce qui, d'ailleurs, concerne largement le logement, pas ce dont nous discutons, ainsi que les impôts et d'autres choses comme les transferts sociaux). Mais l'arc central de la science est de bénéficier à tous. Il y a de nombreux exemples où une avancée scientifique commence par être coûteuse, mais si elle est utile, son coût baisse très rapidement. Nous le voyons sans cesse et je m'attends à ce que cela continue.
Innovation, éthique et responsabilités futures
Cela nous amène peut-être au point final et je voudrais souligner qu'un autre thème traverse toute notre conversation : la responsabilité. À plusieurs reprises, Eric, vous avez parlé de ce qu'un gouvernement responsable ferait, ce qu'un système juridique responsable ferait, ce qu'une entreprise responsable ferait, ce que nous pourrions attendre des gens de la science et de la technologie pour qu'ils collaborent avec ceux des sciences sociales et humaines, etc. Je voudrais revenir sur ce thème et vous demander de souligner quelles sont les choses les plus importantes que vous attendez dans les trois à cinq prochaines années de la part du gouvernement, des organisations de la société civile (think tanks, philanthropie, etc.) et du secteur privé si nous voulons prendre tous ces progrès possibles ainsi que tous ces risques et essayer de les orienter dans une direction qui profitera à l'humanité.
Je suggérerais une réponse en deux parties. La première réponse est : organisez-vous pour l'innovation. Je ne cherche pas à critiquer les catégories que vous venez de décrire, mais la plupart d'entre elles ne sont pas organisées autour de l'innovation, elles sont organisées autour de la stabilité et de la réglementation. Or, tout cela arrive et, si c'est bien fait, c'est majoritairement positif. Cela affecte les positions établies, et généralement pour le mieux ; cela réduit les coûts, crée plus d'accès, ce genre de choses. Je le crois vraiment. Ce que l'on voit au gouvernement, c'est qu'il est organisé autour des intérêts en place, et le lobbying, ainsi que diverses formes de dons, ont tendance à perpétuer le statu quo. Ces nouveautés, quand elles sont bien faites, ont un bénéfice sociétal énorme en termes de connectivité, d'éducation, de divertissement, de connaissances, et en valorisant la ressource humaine qui est la chose la plus précieuse que nous ayons. L'Amérique, c'est avant tout les humains. Nous en avons besoin de plus, ils doivent être mieux éduqués, plus motivés. Je parle des humains parce que c'est sur eux que je me concentre. Quelle est l'approche réglementaire ? Regarder les cas extrêmes. Après l'avènement du nucléaire, rappelez-vous qu'il y avait des règles sur la prolifération des connaissances nucléaires. Quand j'étais à l'université, un étudiant de premier cycle avait réussi, dans sa thèse, à concevoir le mécanisme de déclenchement d'une ogive atomique, ce qui montrait son intelligence, et il a été immédiatement classifié. Heureusement. Nous devons donc déterminer où se trouve cette limite et je pense que l'une des choses que je n'ai pas mentionnées et qui est importante, c'est que presque toutes les réussites logicielles ont eu lieu grâce à l'open source. Quand on construit un logiciel, dans notre industrie, il est courant de le diffuser pour tout le monde. Et devinez quoi ? Les méchants l'obtiennent en même temps que les gentils. Nous devons donc, dans notre industrie, avoir une véritable discussion avec nous-mêmes sur le moment où nous allons diffuser ces choses. Car vous les diffusez parce que vous voulez être célèbre, vous voulez vous sentir important, vous voulez vous dire : "Oh, regardez comme je suis génial". Mais imaginez si je vous disais : "Si tu diffuses ça, alors quelqu'un qui est Ouïghour perdra la vie parce que les Chinois l'adopteront de manière persécutrice". Que penseriez-vous de votre réussite ? Peut-être ne devriez-vous pas être si libéral quant à la distribution de ces connaissances. Dans notre industrie, et c'est un domaine de travail, nous n'avons pas encore déterminé où se trouve cette limite. Mon secteur a considéré que tout cela était simplement bon, qu'il fallait tout donner à tout le monde, que plus de parole est une bonne chose, plus de code est une bonne chose. Je ne pense plus que ce soit vrai. C'est devenu trop puissant.
J'apprécie le fait que, tout au long de notre conversation, vous ayez partagé des réflexions franches sur ce qui vous semble différent aujourd'hui par rapport à il y a 15 ou 20 ans. Mais aussi, pour revenir à votre dernier point sur l'innovation bien menée, qu'il n'y a pas de solution miracle unique. C'est vraiment une orientation et une approche qui exigeront beaucoup de nous tous. Et je pense, pour souligner l'un des points que vous avez soulevés, que la promesse de ce qui est disponible dans l'IA et les biosciences est énorme, mais qu'elle exigera une honnêteté quant aux erreurs possibles et à celles qui ont déjà été commises dans une certaine mesure. Nous avons hâte de travailler avec vous et d'autres pour nous assurer que l'humanité en profite au maximum et puisse limiter ces risques.
Et merci à la Fondation Carnegie et évidemment à vous pour votre leadership. Vous êtes bons et nous allons continuer à travailler là-dessus ensemble. C'est un ensemble de problèmes si riches et si nous réussissons, le monde sera tellement meilleur.
Merci, Eric. À suivre.
D'accord. Merci encore.
Je vous souhaite le meilleur.
Au revoir.