Je me mets très en colère quand les gens me traitent de doomer, quand quelqu'un dit : « Ce gars est un doomer, il veut ralentir les choses. » Vous avez entendu ce que je viens de dire ; mon père est mort à cause de remèdes qui auraient pu arriver quelques années plus tard. Je comprends l'avantage de cette technologie.

Je suis sûr que vous avez entendu les critiques de gens comme Jensen, qui disent que Dario pense être le seul à pouvoir construire cela en toute sécurité et qu'il veut donc contrôler toute l'industrie. Qu'en pensez-vous ?

Je n'ai jamais rien dit de tel. C'est un mensonge scandaleux. C'est le mensonge le plus scandaleux que j'aie jamais entendu.

Le PDG d'Anthropic, Dario Amodei, se joint à nous pour parler de la voie à suivre pour l'intelligence artificielle, pour savoir si l'IA générative est une bonne affaire et pour répondre à ceux qui le traitent de doomer. Et il est ici avec nous en studio, au siège d'Anthropic à San Francisco. Dario, c'est un plaisir de vous revoir. Bienvenue dans l'émission.

Merci de m'avoir invité.

Récapitulons les deux derniers mois pour vous. Vous avez dit que l'IA pourrait éliminer la moitié des emplois de bureau débutants. Vous avez coupé l'accès de Windsurf aux modèles de pointe d'Anthropic lorsque vous avez appris qu'OpenAI allait les acquérir. Vous avez demandé au gouvernement des contrôles à l'exportation et agacé le PDG de Nvidia, Jensen Huang. Qu'est-ce qui vous arrive ?

Anthropic, moi-même et Anthropic, nous nous concentrons toujours sur le fait d'essayer de faire et de dire les choses en lesquelles nous croyons. À mesure que nous nous sommes rapprochés de systèmes d'IA plus puissants, j'ai voulu dire ces choses avec plus de force, plus publiquement, pour rendre le point plus clair. Je dis depuis de nombreuses années que nous avons ces lois de passage à l'échelle. Les systèmes d'IA deviennent plus puissants. Il y a quelques années, ils étaient à peine cohérents. Il y a deux ans, ils étaient au niveau d'un lycéen brillant. Aujourd'hui, nous arrivons au niveau d'un étudiant d'université brillant, d'un doctorant, et ils commencent à s'appliquer à l'ensemble de l'économie. Ainsi, toutes les questions liées à l'IA, allant de la sécurité nationale aux enjeux économiques, commencent à devenir très proches du moment où nous allons réellement y être confrontés. À mesure que ces problèmes se sont rapprochés, même si, sous une forme ou une autre, Anthropic dit ces choses depuis un certain temps, l'urgence de ces choses a augmenté. Je veux m'assurer que nous disons ce que nous croyons et que nous avertissons le monde des inconvénients possibles, même si personne ne peut dire ce qui va se passer. Nous disons ce que nous pensons qu'il pourrait arriver, ce que nous pensons être susceptible de se produire. Nous l'étayons du mieux que nous pouvons, bien qu'il s'agisse souvent d'extrapolations sur l'avenir dont personne ne peut être sûr. Nous considérons qu'il est de notre devoir d'avertir le monde de ce qui va se passer. Cela ne veut pas dire qu'il n'y a pas un nombre incroyable d'applications positives de l'IA ; j'ai continué à en parler. J'ai écrit cet essai, « Machines of Loving Grace ». J'ai l'impression qu'en fait, moi et Anthropic avons souvent été capables de mieux articuler les avantages de l'IA que certaines des personnes qui se disent optimistes ou accélérationnistes. Nous apprécions probablement les avantages plus que quiconque. Mais pour la même raison, parce que nous pouvons avoir un monde si merveilleux si nous réussissons tout, je me feel obligé de mettre en garde contre les risques.

Tout cela vient donc de votre calendrier. En gros, il semble que vous ayez un calendrier plus court que la plupart des gens, et vous avez donc ressenti un sentiment d'urgence à vous exprimer parce que vous pensez que c'est imminent.

Oui. Je ne suis pas sûr. Il est très difficile de prédire, en particulier sur le plan sociétal. Si vous demandez quand les gens vont déployer l'IA, ou quand les entreprises vont dépenser X dollars, ou quand l'IA sera utilisée dans ces applications, ou quand elle permettra ces remèdes médicaux, c'est plus difficile à dire. Je pense que la technologie sous-jacente est plus prévisible, mais reste incertaine. Personne ne sait. Mais sur la technologie sous-jacente, j'ai commencé à devenir plus confiant. L'exponentielle sur laquelle nous nous trouvons pourrait encore totalement s'essouffler. Il y a peut-être 20 ou 25 % de chances qu'au cours des deux prochaines années, les modèles cessent de s'améliorer pour des raisons que nous ne comprenons pas, ou peut-être des raisons que nous comprenons, comme la disponibilité des données ou de la puissance de calcul. Alors tout ce que je dis semblera totalement ridicule, et tout le monde se moquera de moi pour tous les avertissements que j'ai lancés. Je n'ai aucun problème avec cela étant donné la distribution que je vois.

Et je devrais dire que cela fait partie, notre conversation fait partie d'un portrait que j'écris sur vous. J'ai parlé avec plus de deux douzaines de personnes qui ont travaillé avec vous, qui vous connaissent, qui ont été vos concurrents. Et je mettrai le lien dans les notes de l'émission si quelqu'un veut le lire. C'est gratuit. Mais l'un des thèmes qui est ressorti chez toutes les personnes avec qui j'ai parlé, c'est que vous avez à peu près le calendrier le plus court de tous les dirigeants de grands laboratoires. Et vous venez d'y faire référence. Alors, pourquoi avez-vous un calendrier si court et pourquoi devrions-nous croire au vôtre ?

Cela dépend vraiment de ce que vous entendez par calendrier. Il existe des termes dans le monde de l'IA comme l'AGI et la superintelligence. Vous entendrez des dirigeants d'entreprises dire : « Nous avons atteint l'AGI, nous passons à la superintelligence. » Je pense que ces termes sont totalement dénués de sens. Je ne sais pas ce qu'est l'AGI ; je ne sais pas ce qu'est la superintelligence. Cela ressemble à un terme marketing conçu pour activer la dopamine des gens. En public, je n'utilise jamais ces termes et je prends soin d'en critiquer l'usage. Malgré cela, je suis en effet l'un des plus optimistes quant à l'amélioration très rapide des capacités de l'IA. La chose qui me semble réelle, et que j'ai répétée maintes et maintes fois, c'est l'exponentielle. Tous les quelques mois, nous obtenons un modèle d'IA meilleur que le précédent en investissant plus de calcul, plus de données et de nouveaux types de modèles d'entraînement. Au départ, cela se faisait par le pré-entraînement, c'est-à-dire l'injection de données provenant d'Internet dans le modèle. Maintenant, nous avons une deuxième étape qui est l'apprentissage par renforcement, le calcul au moment du test ou le raisonnement. Je le vois comme une deuxième étape impliquant l'apprentissage par renforcement. Ces deux aspects montent en puissance ensemble, comme nous l'avons vu avec nos modèles et ceux d'autres entreprises. Je ne vois rien qui bloque la poursuite de ce passage à l'échelle. Du côté de l'apprentissage par renforcement, nous avons vu plus de progrès sur les mathématiques et le code, où les modèles se rapprochent d'un niveau professionnel, et nous avons vu moins de progrès sur des tâches plus subjectives. Mais je pense que c'est un obstacle temporaire. Quand je regarde cela, je vois cette exponentielle. Les gens ne sont pas très doués pour donner du sens aux exponentielles. Si quelque chose double tous les six mois, deux ans avant que cela n'arrive, on a l'impression d'être seulement à un seizième du chemin. Nous sommes ici à la mi-2025, et les modèles commencent à exploser en termes d'impact économique. Si vous regardez les capacités, elles commencent à saturer les tests de référence. Les revenus d'Anthropic ont été multipliés par 10 chaque année. Chaque année, nous sommes prudents et disons que ça ne peut pas croître de 10 fois cette fois-ci. Je ne présume jamais de rien et je reste prudent en disant que je pense que cela va ralentir sur le plan commercial. Mais nous sommes passés de zéro à 100 millions en 2023, de 100 millions à un milliard en 2024, et au cours de ce premier semestre, nous sommes passés d'un milliard à bien plus de quatre, peut-être 4,5. Supposons que cette exponentielle continue pendant deux ans. Vous arrivez bien au-delà des cent milliards. Je ne dis pas que cela arrivera, mais quand on est sur une exponentielle, on peut se faire piéger. À deux ans du moment où l'exponentielle devient folle, on a l'impression que c'est tout juste le début. C'est la dynamique fondamentale. Nous l'avons vu avec Internet dans les années 90, où les vitesses de réseau et d'ordinateur s'accéléraient. En quelques années, il est devenu possible de construire un réseau de communication numérique mondial alors que ce n'était pas possible quelques années plus tôt. Presque personne, à part quelques individus, n'a vraiment vu les implications et la rapidité avec laquelle cela arriverait. C'est de là que je viens. On ne peut pas être sûr des délais exacts ; si un tas de satellites s'écrasaient ou s'il y avait un krach économique, cela aurait pris plus de temps. Mais je pense que les gens se font piéger par l'exponentielle et ne réalisent pas à quel point cela pourrait être rapide.

Mais tant de gens dans l'industrie de l'IA parlent aujourd'hui de rendements décroissants du passage à l'échelle. Cela ne colle vraiment pas avec la vision que vous venez d'exposer. Ont-ils tort ?

D'après ce que nous avons vu chez Anthropic, le codage est un domaine où nos modèles ont progressé rapidement et où l'adoption a été rapide. Nous ne sommes pas seulement une entreprise de codage, mais dans ce domaine, nous avons sorti 3.5 Sonnet, 3.6 Sonnet, 3.7 Sonnet, puis 4.0 Sonnet et 4.0 Opus. Dans cette série de modèles, chacun est devenu substantiellement meilleur en codage. Le score SWE-bench est passé d'environ 3 % il y a 18 mois à 72 ou 80 % selon la façon dont on le mesure. L'utilisation réelle a également augmenté de manière exponentielle, s'orientant vers une utilisation autonome de ces modèles. La majorité du code écrit chez Anthropic est désormais écrit par ou avec l'aide des modèles Claude. Diverses autres entreprises ont dit des choses similaires. Nous constatons que les progrès sont très rapides, l'exponentielle se poursuit et nous ne voyons aucun rendement décroissant.

Mais il semble y avoir certains handicaps avec les grands modèles de langage. Par exemple, l'apprentissage continu. Nous avons reçu Dwarkesh il y a quelques semaines. Voici comment il l'a formulé dans sa newsletter Substack : « Le manque d'apprentissage continu est un problème énorme, énorme. Le niveau de base d'un LLM pour de nombreuses tâches peut être supérieur à celui d'un humain moyen, mais vous êtes bloqué avec les capacités que vous obtenez dès la sortie de la boîte. » Donc, vous fabriquez le modèle et c'est tout, il n'apprend plus. Cela semble être une faille flagrante. Qu'en pensez-vous ?

Tout d'abord, je dirais que même si nous ne résolvions jamais l'apprentissage continu et la mémoire, le potentiel des LLM pour influencer les choses à l'échelle de l'économie serait très élevé. Si je repense au domaine dans lequel j'étais, la biologie et la médecine, si vous aviez 10 millions de chercheurs qui ne pouvaient pas lire de nouveaux manuels mais qui étaient incroyablement intelligents, ils feraient tout de même beaucoup de percées. Les gens sous-estiment l'impact. Les fenêtres de contexte s'allongent et les modèles apprennent réellement pendant la fenêtre de contexte. À mesure que je parle au modèle, il absorbe des informations. Les poids sous-jacents ne changent peut-être pas, mais les modèles sont capables de répondre. Il n'y a aucune raison pour que nous ne puissions pas porter la longueur du contexte à 100 millions de mots aujourd'hui, ce qui correspond à peu près à ce qu'un humain entend au cours de sa vie. C'est vraiment une question de support à l'inférence. Il existe des choses comme l'apprentissage et la mémoire qui nous permettent de mettre à jour les poids, comme certains types d'entraînement par apprentissage par renforcement. Nous parlions autrefois de boucles internes et de boucles externes comme structure pour l'apprentissage continu. Une chose que nous avons apprise en IA, c'est que chaque fois qu'on a l'impression qu'il y a un obstacle fondamental, il s'avère souvent qu'il peut être résolu avec quelque chose comme l'apprentissage par renforcement. Nous avons des preuves suggérant que ce problème n'est pas aussi difficile qu'il n'y paraît et qu'il cédera face au passage à l'échelle combiné à une manière de penser légèrement différente.

Pensez-vous que votre obsession pour le passage à l'échelle pourrait vous aveugler sur certaines nouvelles techniques, comme le dit Demis Hassabis ? Pour atteindre une intelligence de niveau humain, nous pourrions avoir besoin de quelques nouvelles techniques si vous êtes tellement concentré sur le passage à l'échelle.

Nous développons de nouvelles techniques chaque jour. Claude est très bon en code et nous ne communiquons pas beaucoup à l'extérieur sur les raisons pour lesquelles Claude est si bon en code.

Pourquoi est-il si bon en code ?

Comme je l'ai dit, nous n'en parlons pas à l'extérieur. Chaque nouvelle version de Claude apporte des améliorations à l'architecture, aux données et aux méthodes utilisées pour l'entraîner. Nous développons de nouvelles techniques tout le temps ; elles font partie de chaque modèle que nous construisons. C'est pourquoi nous essayons d'optimiser au maximum la densité de talents pour inventer ces techniques.

Il y a une chose qui plane sur cette conversation, c'est que peut-être qu'Anthropic est l'entreprise qui a la bonne idée mais les mauvaises ressources. Regardez xAI et Meta, où Elon a construit un cluster massif et Mark Zuckerberg construit un centre de données de 5 gigawatts. Est-il possible — et Anthropic a évidemment levé des milliards, mais ce sont des entreprises qui valent des billions.

Nous avons levé un peu moins de 20 milliards de dollars à ce jour.

Ce n'est pas mal.

Ce n'est pas rien. Si vous regardez la taille des centres de données que nous construisons avec Amazon, je ne pense pas que notre passage à l'échelle soit substantiellement plus petit que celui d'autres entreprises du secteur. Dans de nombreux cas, ces choses sont limitées par l'énergie et la capitalisation. Quand les gens parlent de ces montants énormes, ils en parlent sur plusieurs années. Parfois, ces annonces ne sont pas encore financées. Nous avons vu la taille des centres de données que les gens construisent et nous sommes convaincus que nous serons dans une fourchette proche d'eux.

Vous avez parlé de densité de talents. Que pensez-vous de ce que fait Mark Zuckerberg sur le front de la densité de talents ? En combinant cela avec ces centres de données massifs, on dirait qu'il va pouvoir rivaliser.

Par rapport à d'autres entreprises, beaucoup moins de personnes d'Anthropic ont été séduites par ces offres, et ce n'est pas faute d'avoir essayé. J'ai posté sur le Slack de l'entreprise que nous ne sommes pas disposés à compromettre nos principes de rémunération ou d'équité pour répondre à ces offres. Chez Anthropic, il y a une série de niveaux, et nous ne négocions pas ce niveau parce que nous voulons une approche systématique. Si Mark Zuckerberg lance une fléchette sur une cible et tombe sur votre nom, cela ne signifie pas que vous devriez être payé 10 fois plus que la personne à côté de vous qui est tout aussi talentueuse. La seule façon dont vous pouvez être blessé par cela, c'est si vous laissez cela détruire la culture de votre entreprise en paniquant et en traitant les gens injustement. Ce fut un moment d'unité pour l'entreprise où nous n'avons pas cédé et avons refusé de compromettre nos principes parce que nous avons la conviction que les gens sont chez Anthropic parce qu'ils croient en la mission. Je pense que ce qu'ils font, c'est essayer d'acheter quelque chose qui ne peut pas être acheté, à savoir l'alignement avec la mission.

Mais ils ont du talent et des GPU. Vous ne les sous-estimez pas ?

Nous verrons comment cela se passe. Je suis assez pessimiste sur ce qu'ils essaient de faire.

Parlons un peu de votre activité, car beaucoup de gens se demandent si le business de l'IA générative est une chose réelle. Vous avez levé près de 20 milliards, dont 3 milliards auprès de Google, 8 milliards auprès d'Amazon et 3,5 milliards lors d'un tour de table mené par Lightspeed. Quel est votre argumentaire, étant donné que vous ne faites pas partie d'une grande entreprise technologique ? Vous apportez simplement les lois de passage à l'échelle et vous demandez de l'argent ?

Mon point de vue a toujours été que le talent est la chose la plus importante. Il y a trois ans, nous n'avions levé que quelques centaines de millions alors qu'OpenAI en avait levé 13 milliards. Notre argumentaire était que nous savons comment rendre ces modèles meilleurs que les autres. Si nous pouvons faire pour 100 millions ce que d'autres font pour un milliard, il est 10 fois plus efficace sur le plan du capital d'investir dans Anthropic. Préféreriez-vous être capable de tout faire 10 fois moins cher ou commencer avec une grosse pile d'argent ? Si vous pouvez faire les choses 10 fois moins cher, le manque d'argent est un défaut temporaire auquel vous pouvez remédier. Les investisseurs comprennent l'efficacité du capital.

Ça dépend de celui à qui vous vous adressez.

Je ne citerai pas de noms. Ils comprennent fondamentalement l'efficacité du capital. Il y a trois ans, ces différences étaient de l'ordre de 1000 fois. Maintenant, vous demandez si nous pouvons rivaliser avec 100 milliards de dollars en utilisant 20 milliards. Ma réponse est oui, grâce à la densité de talents. Anthropic est l'entreprise de logiciels à la croissance la plus rapide de l'histoire à cette échelle. Nous sommes passés de zéro à 100 millions en 2023, de 100 millions à un milliard en 2024, et cette année, nous sommes passés d'un milliard à 4,5 milliards. Cette croissance annuelle de 10 fois parle d'elle-même quant à notre capacité à rivaliser.

D'accord, donc CNBC indique que 60 à 75 % des ventes d'Anthropic se font via l'API. C'était selon des documents internes. Est-ce toujours exact ?

Je ne donnerai pas de chiffres exacts, mais la majorité passe effectivement par l'API. Nous avons également une activité d'applications florissante, notamment le niveau Max pour les utilisateurs expérimentés et Claude Code. Nous avons une activité d'applications prospère, mais la majorité des revenus provient de l'API.

Vous faites donc le pari le plus pur sur cette technologie. OpenAI parie peut-être sur ChatGPT et Google sur l'intégration dans Gmail. Pourquoi avez-vous fait ce pari pur sur la technologie elle-même ?

Je décrirais cela comme un pari sur les cas d'utilisation en entreprise plutôt que simplement sur l'API ; c'est juste que les premiers cas d'utilisation en entreprise passent par l'API. OpenAI se concentre sur les consommateurs, et Google sur les produits existants. Notre point de vue est que l'utilisation de l'IA par les entreprises sera encore plus importante que l'utilisation par les consommateurs. Prenons une expérience de pensée : si j'améliore un modèle du niveau licence au niveau doctorat en biochimie, seul 1 % des consommateurs pourrait s'en soucier. Mais si je vais chez Pfizer, c'est l'affaire la plus importante au monde. Faire en sorte que les modèles résolvent les problèmes du monde, comme en biomédecine ou en développement économique, donne une meilleure incitation à développer les modèles le plus loin possible. Nous parions sur l'utilisation de l'IA en entreprise parce que c'est ce qui est le plus aligné avec l'exponentielle.

D'accord, alors brièvement, comment avez-vous décidé de choisir le cas d'utilisation du codage ?

À l'origine, nous essayions d'optimiser le modèle pour de nombreuses tâches, mais le codage se distinguait particulièrement par sa valeur. Il y a un an et demi, un ingénieur de haut niveau m'a dit que les modèles précédents étaient inutiles, mais que celui-ci pouvait enfin faire des choses que lui-même ne pouvait pas faire. Après sa sortie, l'adoption a explosé. Le codage est intéressant parce que l'adoption est rapide et qu'il vous aide à développer le modèle suivant.

Et maintenant vous vendez votre codage par IA via Claude Code. Mais le modèle de tarification est déroutant ; vous pouvez dépenser 200 dollars par mois et obtenir l'équivalent de 6 000 dollars par mois via votre API. Ed Zitron a souligné que plus vos modèles deviennent populaires, plus vous allez perdre d'argent. Quel est le sens de tout cela ?

Les schémas de tarification et les limites de débit sont étonnamment compliqués. Lorsque nous avons lancé Claude Code et le niveau Max, nous ne comprenions pas totalement à quel point les gens les utiliseraient. Nous les avons ajustés depuis, en particulier sur les modèles plus grands comme Opus. Nous aurons toujours une distribution d'utilisateurs, et cela ne signifie pas que nous perdons de l'argent simplement parce que certains utilisateurs obtiennent une meilleure offre sur un abonnement qu'ils ne l'auraient via l'API. Nous ne perdons pas d'argent.

Mais pouvez-vous continuer à servir ces cas d'utilisation sans augmenter les prix ? Les développeurs sont mécontents parce que l'utilisation des modèles Anthropic dans Cursor coûte plus cher. Des startups disent qu'Anthropic est en panne parce qu'ils ne peuvent pas obtenir de GPU. Est-ce que ces modèles sont si chers à faire fonctionner que cela se heurte à un mur ?

Il y a certaines hypothèses dans votre question qui ne sont pas correctes. Je m'attends à ce que le prix pour fournir un niveau d'intelligence donné baisse. Le prix pour fournir la frontière de l'intelligence pourrait augmenter ou baisser, mais je suppose qu'il restera à peu près là où il est alors que la valeur créée va exploser. Dans deux ans, les modèles coûteront probablement à peu près le même prix mais seront beaucoup plus capables et autonomes.

Amjad a mentionné qu'il pense que les modèles plus grands ne sont pas aussi gourmands à faire fonctionner grâce à des techniques comme l'activation de seulement certaines sections du modèle. Son idée est qu'Anthropic peut faire fonctionner ces modèles sans trop de lourdeur mais maintient les prix là où ils sont pour atteindre des marges logicielles. Est-ce exact ?

Les modèles plus grands coûtent plus cher à faire fonctionner que les petits modèles. Le mélange d'experts (Mixture of Experts) est un moyen de faire fonctionner les modèles moins cher, mais si vous n'utilisez pas cette technique, les modèles plus grands coûtent toujours plus cher à faire fonctionner que les plus petits. Je pense que c'est une déformation de la situation.

En gros, je ne fais que deviner et j'essaie de découvrir la vérité auprès de vous.

Nous apportons tout le temps des améliorations qui rendent les modèles 50 % plus efficaces. Nous n'en sommes qu'au début de l'optimisation de l'inférence, qui s'est énormément améliorée ces dernières années. C'est pourquoi les prix baissent.

Et alors, combien de temps faudra-t-il pour être rentable ? La perte est prévue à 3 milliards cette année.

L'idée que l'entreprise perde de l'argent est trompeuse. Imaginez que vous entraîniez un modèle pour 100 millions en 2023. En 2024, il rapporte 200 millions, mais vous dépensez un milliard pour entraîner le modèle suivant. Chaque modèle en tant que projet est rentable, mais l'entreprise reste non rentable parce qu'elle investit dans l'étape suivante. Si les modèles s'arrêtaient de s'améliorer, vous auriez une entreprise viable. Dépenser plus suggère que l'échelle de l'entreprise sera plus grande l'année suivante. Je ne pense pas que la perte annuelle soit la bonne façon de voir les choses.

Mais qu'en est-il de l'open source ? Si vous arrêtiez d'investir et que l'open source rattrapait son retard, les gens pourraient l'échanger. Y a-t-il un risque que l'open source devienne assez bon pour remplacer Anthropic ?

L'une des choses vraies dans cette industrie est que chaque communauté par laquelle l'IA est passée a eu des heuristiques qui se sont avérées fausses. Aujourd'hui, les chefs d'entreprise ont un lexique de commoditisation et de barrières à l'entrée, mais en tant que personne ne venant pas de ce monde, je trouve que le fait de ne pas connaître ce lexique conduit à de meilleures prédictions. Je ne pense pas que l'open source fonctionne de la même manière dans l'IA. On l'appelle souvent « open weights » (poids ouverts) parce que nous ne pouvons pas voir à l'intérieur du modèle. Les avantages ne fonctionnent pas de la même manière. Je vois cela comme une fausse piste. Quand un nouveau modèle comme DeepSeek sort, je demande simplement s'il est bon. En fin de compte, ce sont de gros modèles difficiles à faire fonctionner, vous devez donc les héberger sur le cloud. Je pense que l'open source est une fausse piste.

Mais s'il est gratuit et peu coûteux à faire fonctionner—

Ce n'est pas gratuit ; vous devez l'exécuter sur de l'inférence, et quelqu'un doit le rendre rapide.

D'accord. Je veux en apprendre un peu plus sur Dario la personne. C'était comment de grandir à San Francisco ?

Quand j'ai grandi ici, la ville n'avait pas encore vraiment été gentrifiée. Le boom technologique n'avait pas encore eu lieu. C'était totalement ennuyeux pour moi. Je voulais être un scientifique, découvrir des vérités scientifiques fondamentales et rendre le monde meilleur. J'ai regardé le boom technologique se produire autour de moi, mais je n'y prêtais pas attention et cela ne m'intéressait pas du tout, même si j'étais au centre de tout ça.

Vous êtes donc le fils d'une mère juive et d'un père italien.

Oui, c'est vrai.

De là où je viens à Long Island, on appelle ça un « pizza bagel ».

Un pizza bagel. Je n'ai jamais entendu ce terme auparavant.

Alors, comment était votre relation avec vos parents ?

J'ai toujours été assez proche de mes parents. Ils m'ont insufflé un fort sentiment de responsabilité et voulaient rendre le monde meilleur. J'étais très proche de ma sœur Daniela, qui est devenue ma cofondatrice. Nous avons décidé très tôt que nous voulions travailler ensemble, même si nous n'imaginions pas que cela arriverait à cette échelle.

Des gens m'ont dit que la maladie de votre père avait eu un grand impact sur vous. Pouvez-vous nous en dire un peu plus ?

Il a été malade pendant longtemps et il est mort en 2006. Cela m'a poussé vers la biologie. J'étais allé à Princeton pour être physicien théoricien, mais je me suis tourné vers la biologie après la mort de mon père pour essayer de soigner les maladies humaines. Je me suis tourné plus tard vers l'IA parce que j'ai réalisé que la complexité de la biologie dépassait l'échelle humaine, et l'IA semblait être la seule technologie capable de combler ce fossé.

Une chose que j'ai entendue, c'est que sa maladie était largement incurable à l'époque et qu'il y a eu des avancées qui l'ont rendue beaucoup plus gérable aujourd'hui.

C'est vrai. Seulement trois ou quatre ans après sa mort, le taux de guérison pour sa maladie est passé de 50 % à environ 95 %.

Cela a dû sembler tellement injuste.

Cela vous montre l'urgence de résoudre des problèmes pertinents. L'IA a des avantages et je veux que tout le monde en profite le plus tôt possible. Je comprends mieux que presque quiconque l'urgence de ces avantages. Quand je parle des risques de l'IA, je me mets en colère quand les gens me traitent de doomer. Mon père est mort à cause de remèdes qui auraient pu arriver quelques années plus tard. Je comprends le bénéfice de cette technologie. Certaines personnes qui encouragent l'accélération sur Twitter n'ont pas de sens humaniste du bénéfice de la technologie ; leur cerveau est juste plein d'adrénaline. Je n'ai pas l'impression qu'elles s'en soucient. Quand elles me traitent de doomer, elles manquent de toute crédibilité morale.

Ceux qui vous ont côtoyé disent que vous avez été singulièrement obsédé par l'idée d'avoir un impact. Quelqu'un qui vous connaissait bien a dit que vous ne regardiez pas Game of Thrones parce que ce n'était pas lié à l'impact.

Ce n'est pas tout à fait ça. Je ne voulais pas le regarder parce que c'était tellement à somme négative. Les gens jouaient à ces jeux où tout le monde finit par être perdant. Je suis enthousiasmé par la création de situations à somme positive.

Je vous recommande de le regarder. C'est une excellente série, mais j'entends votre reproche.

En fait, j'en ai regardé quelques parties. J'étais juste très réticent et je ne l'ai pas regardé pendant longtemps.

Revenons à cette question d'impact. Dites-moi si je vais trop loin en disant que votre carrière a été une quête pour empêcher d'autres personnes d'être dans des situations similaires.

Je pense qu'il devrait y avoir une stratégie derrière la volonté d'aider les gens. L'arc de ma vie a toujours essayé de tendre vers cela. Ma raison de créer une entreprise était que j'avais travaillé dans d'autres entreprises et que je n'avais pas l'impression qu'elles étaient réellement orientées vers cet impact. Il y avait un discours utilisé pour le recrutement, mais il est devenu clair que ce discours n'était pas sincère.

Je fais référence à OpenAI ici. Vous disposiez de 50 % de leur puissance de calcul et dirigiez le projet GPT-3. S'il y avait quelqu'un pour se concentrer sur l'impact et la sécurité, n'aurait-ce pas été vous ?

Oui, il y a eu une période pendant laquelle c'était vrai. Moi et beaucoup de mes collègues, y compris les personnes qui ont finalement fondé Anthropic—

Les Pandas.

Les Pandas.

C'est le nom que vous leur avez donné.

Ce n'est pas un nom que je leur ai donné.

Qu'ils ont pris.

Ce n'est pas un nom qu'ils ont pris.

C'est le nom que d'autres personnes leur ont donné.

Peut-être que c'est un nom que d'autres personnes ont utilisé, mais ce n'est pas un nom que j'ai jamais utilisé pour mon équipe.

D'accord. Désolé. Continuez.

Nous étions impliqués dans le passage à l'échelle de ces modèles. La raison initiale de la construction de GPT-2 et GPT-3 était un prolongement des travaux sur l'alignement de l'IA. Moi-même, Paul Christiano et certains des cofondateurs d'Anthropic avons inventé l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) pour diriger les modèles afin qu'ils suivent l'intention humaine. Cela ne fonctionnait pas avec les petits modèles, nous les avons donc fait passer à l'échelle pour étudier ces techniques. Je pense que l'alignement et la capacité des systèmes d'IA sont entrelacés ; il est difficile de travailler sur l'un sans l'autre. La valeur vient des décisions organisationnelles sur le moment de sortir les choses et les affirmations que l'on fait. C'est ce qui nous a motivés à partir et à faire les choses à notre manière.

Si vous étiez le gars qui pilotait les modèles de pointe chez OpenAI, vous auriez été aux commandes pour l'aider à être sûr comme vous le souhaitiez.

Les décisions concernant la sortie d'un modèle, la gouvernance, le personnel et les affirmations sur le fonctionnement de l'entreprise ne sont pas des choses que l'on peut contrôler uniquement en entraînant le modèle. La confiance est importante ; les dirigeants d'une entreprise doivent être dignes de confiance et sincères. Si vous travaillez pour quelqu'un qui n'est pas une personne honnête, vous ne faites que contribuer à quelque chose de mauvais.

Vous avez donc entendu la critique de Jensen qui dit que vous pensez être le seul à pouvoir construire cela en toute sécurité et que vous voulez contrôler l'industrie. Qu'en pensez-vous ?

Je n'ai jamais rien dit de tel. C'est un mensonge scandaleux.

Au fait, je suis désolé si j'ai mal cité les propos de Jensen.

Les mots étaient corrects, mais ce qu'il dit est scandaleux. J'ai dit à plusieurs reprises que nous visions une « course vers le haut ». Dans une course vers le bas, tout le monde perd. Dans une course vers le haut, tout le monde gagne parce qu'on donne l'exemple. Nous avons été les premiers à publier une politique de passage à l'échelle responsable, ce qui a permis à des personnes d'autres entreprises de présenter des arguments similaires à leur direction. Nous publions nos recherches sur l'interprétabilité pour que d'autres puissent les copier. Je n'ai rien dit qui ressemble à l'idée que cette entreprise devrait être la seule à construire la technologie. C'est une déformation de mauvaise foi.

D'accord. Séance rapide. Que s'est-il passé avec SBF ?

Je ne saurais vous dire ; je ne l'ai rencontré que quatre ou cinq fois. Je n'ai aucune idée de sa psychologie ou des raisons pour lesquelles il a fait des choses aussi amorales. Quelques personnes ont mentionné qu'il était difficile de travailler avec lui et qu'il était du genre « agir vite et casser des choses ». Je lui ai donné des actions sans droit de vote et je ne l'ai pas mis au conseil d'administration parce qu'il semblait difficile à gérer. Il était enthousiaste à propos de la sécurité de l'IA, donc cela semblait raisonnable. Rétrospectivement, son comportement était beaucoup plus extrême et mauvais que ce que j'imaginais.

Alors finissons par ceci. Vous dites aussi que c'est une technologie dangereuse. Est-ce que votre désir d'impact vous pousse à accélérer cette technologie, tout en dévaluant potentiellement la possibilité que son contrôle ne soit pas réalisable ?

J'ai averti des dangers de cette technologie plus que quiconque dans l'industrie. Des dirigeants d'entreprises pesant des billions de dollars et des responsables gouvernementaux me critiquent pour cela, m'attribuant des motifs bizarres, mais je vais continuer. Si j'ai raison, l'IA sera la plus grande industrie du monde dans quelques années. Il est terrifiant que des billions de capitaux soient du côté de l'accélération la plus rapide possible. Je continue de m'exprimer même si cela entraîne des attaques de mes pairs.

C'est vrai, mais vous supposez toujours que nous pouvons la contrôler.

Je vous dis à quel point je suis persévérant. Si je pensais qu'il n'y avait aucun moyen de contrôler la technologie, je ne serais pas ici. C'est un jeu en plusieurs étapes. À mesure que nous nous approchons de modèles plus puissants, je m'exprime davantage et je prends des mesures plus drastiques parce que je crains que notre capacité à gérer les risques ne suive pas la technologie. Nous nous sommes améliorés dans le contrôle des modèles à chaque version. Si nous atteignions des modèles puissants avec seulement les techniques d'alignement actuelles, je serais très inquiet. Je mets en garde contre les risques pour que nous n'ayons pas à ralentir, mais plutôt pour que nous puissions investir dans la sécurité. Le ralentissement d'une seule entreprise n'arrête pas les autres ni les adversaires géopolitiques. Je fais de mon mieux : investir dans la technologie de sécurité et la diffuser en tant que bien public. Si vous avez une meilleure stratégie, je suis preneur. Je me couche chaque soir en pensant aux enjeux. J'ai vu les risques ; les gens ne riront pas quand les modèles prendront des mesures dans l'industrie manufacturière ou les interventions médicales. Cette situation exige du sérieux. Les doomers disent qu'il est impossible de construire en toute sécurité, mais c'est absurde. À l'inverse, des gens disposant de billions de capitaux disent qu'il ne faut pas réglementer et prétendent que les préoccupations de sécurité ne sont que du contrôle. C'est une affirmation moralement peu sérieuse. Nous avons besoin de plus de réflexion, d'honnêteté et de personnes prêtes à aller contre leurs intérêts financiers pour éclairer la situation. C'est ce que j'essaie de faire.

Eh bien, Dario, j'apprécie tout ce qu'Anthropic publie. Nous avons appris énormément de choses grâce aux expériences. Je pense que le monde se porte mieux simplement en entendant tout ce qui se passe ici. Merci d'avoir accepté de discuter avec moi et d'avoir passé autant de temps ensemble.

Merci de m'avoir invité.

Merci à tous de nous avoir écoutés et regardés, et on se retrouve la prochaine fois sur le podcast Big Technology.