Je voulais essayer de construire quelque chose d'utile, mais je ne pensais pas construire quelque chose de particulièrement génial. Si l'on parle de probabilités, cela semblait peu improbable, mais je voulais au moins essayer.

Vous parlez donc à une salle remplie de personnes qui sont toutes des ingénieurs techniques, souvent certains des chercheurs en IA les plus éminents de la nouvelle génération.

D'accord.

Je pense que je préfère le terme d'ingénieur à celui de chercheur. Je suppose que s'il y a une percée algorithmique fondamentale, c'est de la recherche, mais sinon, c'est de l'ingénierie.

Commençons peut-être par remonter à l'époque où vous étiez... c'est une salle pleine de jeunes de 18 à 25 ans. La moyenne d'âge est de plus en plus basse car les fondateurs sont de plus en plus jeunes. Pouvez-vous vous remettre à leur place quand vous aviez 18 ou 19 ans, apprenant à coder, ou même concevant la première idée pour Zip2 ? C'était comment pour vous ?

En 95, j'ai été confronté au choix soit de poursuivre des études supérieures, un doctorat à Stanford en science des matériaux, pour travailler sur les ultracondensateurs destinés aux véhicules électriques — en essayant de résoudre le problème de l'autonomie — soit de tenter quelque chose sur ce truc dont la plupart des gens n'avaient jamais entendu parler : Internet. J'en ai parlé à mon professeur, Bill Nix, et je lui ai demandé si je pouvais différer mon admission d'un trimestre. Je lui ai dit que ça échouerait probablement et que je reviendrais. Il m'a répondu : "C'est probablement la dernière conversation que nous aurons." Et il avait raison. Je pensais que les choses allaient probablement échouer, pas réussir. En 95, j'ai écrit les premières directions cartographiques, les pages blanches et les pages jaunes sur Internet. J'ai écrit ça personnellement. Je n'utilisais même pas de serveur web, je lisais le port directement parce que je ne pouvais pas me payer une ligne T1. Le bureau original était sur Tremont Avenue à Palo Alto. Il y avait un fournisseur d'accès Internet à l'étage du dessous, alors j'ai percé un trou dans le plancher et j'ai passé un câble LAN directement chez eux. Mon frère m'a rejoint ainsi qu'un autre cofondateur, Greg Kouri, qui est décédé. À l'époque, nous n'avions même pas les moyens de nous loger, donc le bureau coûtait 500 dollars par mois, nous y dormions et nous nous douchions au YMCA sur Page Mill et El Camino. Nous avons fini par créer une entreprise utile, Zip2, et nous avons construit beaucoup de bonnes technologies logicielles, mais nous étions un peu prisonniers des entreprises de médias traditionnels car Knight Ridder, le New York Times et Hearst étaient investisseurs, clients et membres du conseil d'administration. Ils voulaient utiliser notre logiciel de manière insensée. Je voulais aller directement vers les consommateurs. Bref, c'est une longue histoire, mais je voulais juste faire quelque chose d'utile sur Internet. J'avais deux choix : faire un doctorat et regarder les gens construire Internet ou aider à le construire modestement. Je me suis dit que je pouvais toujours essayer, échouer et reprendre mes études. Ça a fini par être un succès raisonnable, vendu pour 300 millions de dollars, ce qui était beaucoup à l'époque. De nos jours, c'est le prix d'un achat impulsif minimum pour une startup d'IA, comme un milliard de dollars. Il y a tellement de licornes, c'est un troupeau de licornes à ce stade. Une licorne, c'est une situation à un milliard de dollars.

Il y a eu de l'inflation depuis, donc c'est en réalité beaucoup plus d'argent.

Oui, en 95, on pouvait probablement acheter un burger pour quelques centimes. Pas tout à fait, mais il y a eu beaucoup d'inflation. Cependant, le niveau de battage médiatique sur l'IA est assez intense, comme vous l'avez vu, avec des entreprises de moins d'un an atteignant des valorisations d'un milliard ou de plusieurs milliards de dollars. Ça pourrait porter ses fruits dans certains cas, mais c'est faramineux de voir de telles valorisations. Qu'en pensez-vous ?

Je suis assez optimiste, honnêtement. Je pense que les gens dans cette salle vont créer une grande partie de la valeur que des milliards de personnes utiliseront, et nous n'en sommes qu'au tout début. J'adore l'histoire d'Internet car, même à l'époque, vous étiez comme les gens ici : les PDG des médias traditionnels vous voyaient comme celui qui comprenait Internet. Une grande partie du monde de l'entreprise qui ne comprend pas l'IA se tournera vers les gens ici pour cela. Quelles sont les leçons concrètes ? On dirait que l'une d'elles est de ne pas céder le contrôle du conseil d'administration ou de bien choisir son avocat.

Je suppose qu'avec la première startup, l'erreur a été d'avoir trop de contrôle des actionnaires et du conseil d'administration par des entreprises de médias traditionnels qui voient forcément les choses à travers leur propre prisme. Ils vous poussent à faire des choses qui leur semblent sensées mais qui n'ont aucun sens avec la nouvelle technologie. Je tiens à préciser qu'au début, je n'avais pas l'intention de fonder une entreprise. J'ai essayé d'obtenir un emploi chez Netscape. J'ai envoyé mon CV, Marc Andreessen est au courant, mais je ne pense pas qu'il l'ait jamais vu. Personne n'a répondu. J'ai même essayé de traîner dans le hall de Netscape pour croiser quelqu'un, mais j'étais trop timide, alors je me suis dit : "C'est ridicule. Je vais écrire le logiciel moi-même et voir ce qui se passe." Ce n'était pas par envie de créer une boîte, je voulais juste participer à la construction d'Internet. Comme je ne trouvais pas de job, j'ai dû créer ma boîte. Bref, l'IA changera le futur si profondément qu'il est difficile d'imaginer à quel point. L'économie, si tout ne dérape pas et que l'IA ne nous tue pas, sera finalement non pas 10 fois plus grande, mais si nous devenons une civilisation de type 2 sur l'échelle de Kardachev, nous parlons d'une économie des milliers ou des millions de fois plus grande qu'aujourd'hui. J'ai eu un peu l'impression d'être à Washington en train de recevoir des critiques pour avoir éliminé le gaspillage et la fraude, ce qui était une quête secondaire intéressante.

Il faut revenir à la quête principale.

Oui, je dois revenir à la quête principale ici. Mais j'avais un peu le sentiment que réparer le gouvernement, c'est comme si une plage était sale avec des seringues et des déchets et que vous vouliez la nettoyer, mais qu'il y avait aussi ce mur d'eau de 300 mètres, un tsunami d'IA. À quel point le nettoyage de la plage importe-t-il si un tsunami géant est sur le point de frapper ? Pas tant que ça.

Eh bien, nous sommes heureux que vous soyez de retour sur la quête principale. C'est très important.

Oui, retour à la quête principale, la construction technologique, ce que j'aime faire. Il y a tellement de bruit ; le rapport signal/bruit en politique est terrible.

J'habite à San Francisco, vous n'avez pas besoin de me le dire deux fois.

Oui, Washington, c'est uniquement de la politique. Mais si vous essayez de construire une fusée ou des voitures, ou si vous voulez un logiciel qui compile et fonctionne de manière fiable, vous devez rechercher la vérité au maximum, sinon votre matériel ou logiciel ne fonctionnera pas. On ne peut pas tromper les mathématiques ; les mathématiques et la physique sont des juges rigoureux. Je suis habitué à être dans un environnement de recherche maximale de la vérité, et ce n'est certainement pas la politique. Quoi qu'en soit, je suis ravi d'être de retour dans la technologie.

Je suis curieux, pour en revenir au moment de Zip2, vous avez eu une sortie de plusieurs centaines de millions de dollars.

J'ai reçu 20 millions de dollars.

D'accord. Donc vous aviez au moins réglé le problème de l'argent. Et vous avez tout repris pour continuer avec X.com, qui est devenu PayPal et Confinity.

Oui, j'ai laissé tous mes jetons sur la table.

Tout le monde ne fait pas ça. Beaucoup de gens dans cette salle devront prendre cette décision. Qu'est-ce qui vous a poussé à remonter sur le ring ?

Ce que j'ai ressenti avec Zip2, c'est que nous avions construit une technologie incroyable qui n'a jamais vraiment été utilisée. Je pense que nous avions une meilleure technologie que Yahoo ou n'importe qui d'autre, mais elle était limitée par nos clients. Je voulais donc faire quelque chose où nous ne serions pas limités, aller directement au consommateur, et c'est ce qui est devenu X.com, PayPal, suite à la fusion avec Confinity. La diaspora de PayPal a créé plus d'entreprises que n'importe quoi d'autre au 21e siècle. Tellement de gens talentueux étaient là. J'avais le sentiment qu'on nous avait coupé les ailes avec Zip2 et je voulais voir ce que ça donnerait sans contraintes. C'est ce qu'a été PayPal. J'ai reçu ce chèque de 20 millions pour ma part de Zip2. À l'époque, je vivais en colocation avec quatre personnes et j'avais 10 000 dollars à la banque, puis ce chèque arrive par la poste. Mon solde est passé de 10 000 à 20 millions et 10 000. J'ai dû payer des impôts, mais j'ai mis presque tout dans X.com. Après PayPal, je me suis demandé pourquoi nous n'avions envoyé personne sur Mars. Je suis allé sur le site de la NASA et il n'y avait aucune date. Je pensais que était dur à trouver, mais en fait, il n'y avait aucun plan réel. C'est une longue histoire, je ne veux pas prendre trop de temps...

Je pense que nous écoutons tous avec une attention soutenue.

J'étais sur l'autoroute de Long Island avec mon ami Adeo Ressi, mon colocataire de fac. Adeo me demandait ce que j'allais faire après PayPal. J'ai dit : "Je ne sais pas, j'aimerais faire quelque chose de philanthropique dans l'espace parce que je ne pensais pas pouvoir faire du commercial, ça semblait réservé aux nations." Mais j'étais curieux pour Mars. C'est là que j'ai vu que ce n'était pas sur le site. J'ai creusé — je résume beaucoup — mais ma première idée était une mission philanthropique appelée "Life to Mars" : envoyer une petite serre avec des graines et un gel nutritif déshydraté sur Mars, l'hydrater et obtenir cette image géniale de plantes vertes sur un fond rouge. Pendant longtemps, je n'avais pas réalisé que "money shot" était une référence pornographique en anglais, mais bref, l'idée était d'avoir cette image forte pour inspirer la NASA et le public. En apprenant, j'ai réalisé... et au passage, je suis allé en Russie en 2001 et 2002 pour acheter des ICBM. C'est toute une aventure de rencontrer le haut commandement russe pour leur dire : "Je voudrais acheter des missiles balistiques intercontinentaux."

C'était pour aller dans l'espace en tant que fusée.

Oui, pas pour bombarder quelqu'un. Mais suite aux accords de réduction des armements, ils devaient détruire leurs missiles nucléaires. Je me suis dit : "Et si on en prenait deux sans la charge nucléaire, avec un étage supérieur pour Mars ?" C'était surréaliste d'être à Moscou en 2001 en train de négocier avec l'armée russe pour des ICBM. C'est fou.

Et ils augmentaient sans cesse les prix, l'inverse d'une négociation normale. J'ai réalisé que le problème n'était pas un manque de volonté d'aller sur Mars, mais l'absence de moyen de le faire sans exploser le budget de la NASA. C'est là que j'ai décidé de créer SpaceX pour faire progresser la technologie des fusées au point de pouvoir envoyer des gens sur Mars. C'était en 2002.

Vous ne vouliez donc pas créer une entreprise au départ, mais quelque chose qui vous intéressait et dont l'humanité avait besoin, puis, comme un chat tirant sur une ficelle, tout s'est déroulé et il s'est avéré que cela pouvait être très rentable.

C'est le cas maintenant, mais il n'y avait aucun exemple antérieur de réussite d'une startup de fusées. Toutes les tentatives avaient échoué. Pour SpaceX, j'ai commencé avec l'idée qu'il y avait moins de 10 % de chances de réussir, peut-être 1 %. Mais si une startup ne fait rien pour faire avancer la technologie, cela ne viendra pas des grands entrepreneurs de la défense car ils s'alignent simplement sur le gouvernement qui veut des choses conventionnelles. C'était soit une startup, soit rien. Une petite chance vaut mieux que rien. J'ai lancé SpaceX mi-2002 en m'attendant à l'échec. Probablement 90 % de chances d'échec. Même en recrutant, je disais : "Nous allons probablement mourir. Mais il y a une petite chance que non." Je suis devenu ingénieur en chef parce que je ne pouvais embaucher personne de compétent ; c'était trop risqué pour eux. Les trois premiers vols ont échoué. Le quatrième a heureusement fonctionné, mais sans cela, je n'avais plus d'argent et c'était la fin. On a réussi de justesse. Et Tesla arrivait simultanément. 2008 a été une année terrible : SpaceX avait échoué trois fois de suite, le financement de Tesla avait échoué. C'était sinistre. On aurait dit une fable sur la démesure.

À cette époque, beaucoup de gens devaient dire : "Elon est un gars du logiciel, pourquoi travaille-t-il sur du matériel ?"

À 100 %. La presse de l'époque est encore en ligne. Ils m'appelaient "le gars d'Internet". En gros : l'idiot d'Internet tente de construire des fusées. On s'est beaucoup moqué de nous. Et ça semblait absurde, c'est vrai. Je ne leur en voulais pas. Mais le quatrième lancement a fonctionné et la NASA nous a accordé un contrat pour ravitailler la station spatiale. C'était juste avant Noël. Le lancement ne suffisait pas, il nous fallait ce contrat pour survivre. Quand la NASA a appelé, j'ai lâché : "Je vous aime !" Ils n'ont pas l'habitude de ça, mais c'était le sauvetage de l'entreprise. On a bouclé le financement de Tesla à la dernière heure du dernier jour possible, à 18h le 24 décembre 2008. Sans cela, on ne pouvait plus payer les salaires deux jours après Noël. C'était une fin d'année angoissante.

De votre expérience chez PayPal et Zip2 jusqu'à ces startups de matériel lourd, l'un des fils conducteurs semble être la capacité à attirer les personnes les plus intelligentes. Que diriez-vous à ceux ici qui n'ont peut-être jamais dirigé une seule personne ?

Je pense qu'il faut essayer d'être aussi utile que possible. Ça peut sembler banal, mais c'est très dur d'être utile à beaucoup de gens. L'aire sous la courbe de l'utilité totale, c'est votre utilité multipliée par le nombre de personnes. C'est presque la définition physique du vrai travail. Si vous aspirez au travail réel plutôt qu'à la gloire, votre probabilité de succès est bien plus élevée.

Comment sait-on que c'est du vrai travail ? Est-ce externe, ou ce que le produit fait pour les gens ? Que cherchez-vous chez les gens que vous recrutez ?

C'est une autre question. Pour votre produit, voyez si son succès sera utile au plus grand nombre. Et puis, peu importe votre rôle, faites tout ce qu'il faut pour réussir. Il faut toujours briser son ego. Intériorisez la responsabilité. Un échec majeur survient quand le ratio ego/capacité est bien supérieur à un. Si votre ego est trop haut, vous brisez la boucle de rétroaction avec la réalité. En IA, vous brisez votre boucle d'apprentissage par renforcement (RL). Il faut minimiser l'ego et accomplir la tâche, qu'elle soit grandiose ou humble. C'est pourquoi je préfère le terme d'ingénierie à celui de recherche. Je ne veux pas que xAI soit un laboratoire, mais une entreprise. Il faut boucler la boucle avec la réalité de manière forte. C'est crucial.

Tout le monde ici vous voit comme un modèle de raisonnement par principes fondamentaux. Comment déterminez-vous votre réalité ? Beaucoup de gens qui n'ont jamais rien construit vous critiquent. Comment approcher cela ? Que dites-vous à vos enfants pour construire une réalité prédictive ?

Les outils de la physique sont incroyablement utiles pour comprendre n'importe quel domaine. Les principes fondamentaux consistent à décomposer les choses en éléments axiomatiques de base les plus susceptibles d'être vrais, puis à raisonner à partir de là, plutôt que par analogie. Il y a aussi le fait de réfléchir à la limite : extrapoler le fait de minimiser ou maximiser une chose. J'utilise tous les outils de la physique ; c'est un superpouvoir. Prenez les fusées : combien cela devrait-il coûter ? L'approche habituelle est de regarder l'historique. Une approche par principes fondamentaux consiste à regarder les matériaux : aluminium, cuivre, fibre de carbone, acier. Quel est le prix au kilo de ces éléments ? Cela fixe le plancher réel du coût. On réalise alors que les matériaux ne représentent que 1 ou 2 % du coût historique. La fabrication doit donc être très inefficace. C'est une analyse du potentiel d'optimisation. Pour l'IA, l'an dernier chez xAI, pour construire un supercalculateur d'entraînement, on nous a annoncé 18 à 24 mois pour 100 000 H100. Il nous le fallait en 6 mois pour être compétitifs. En décomposant : il faut un bâtiment, de l'électricité, du refroidissement. On a trouvé une usine à Memphis, mais il fallait passer de 15 à 150 mégawatts. On a loué des générateurs et une énorme capacité de refroidissement mobile. Pour gérer les variations de puissance que les générateurs ne pouvaient pas suivre, on a utilisé des Tesla Megapacks modifiés pour lisser le courant. Et il y avait les défis réseau pour faire travailler 100 000 GPU ensemble.

On imagine bien des gens vous dire : "Non, c'est impossible." Il semble que l'un des points clés des principes fondamentaux soit de demander pourquoi et de ne pas accepter un "non" sans une bonne réponse. Dans le logiciel on peut ajouter des CPU, mais dans le matériel, ça ne pardonne pas.

Ces principes s'appliquent à tout. On nous a dit que c'était impossible, mais en décomposant en éléments (bâtiment, électricité, refroidissement, lissage), on a pu résoudre chaque point. On a travaillé en quatre rotations 24h/24. Je dormais au centre de données et faisais du câblage moi-même. Personne n'avait fait tourner 100 000 H100 de manière cohérente l'an dernier. On a doublé à 200 000 et on va en mettre 110 000 de plus en ligne à Memphis bientôt.

Pensez-vous que le pré-entraînement fonctionne toujours, que les lois de mise à l'échelle tiennent et que le gagnant sera celui qui aura le plus gros modèle ?

D'autres éléments comptent : le talent des gens, l'échelle du matériel et la capacité à le faire fonctionner de manière stable. Il y a aussi l'accès unique aux données. La distribution compte aussi. Comme l'a dit mon ami Ilya Sutskever, nous manquons de données de pré-entraînement de haute qualité générées par l'homme. Il faut créer des données synthétiques et pouvoir juger si elles correspondent à la réalité ou si c'est une hallucination. L'ancrage dans la réalité est délicat. Nous entraînons Grok 3.5 avec un fort accent sur le raisonnement.

Sur le raisonnement, j'ai entendu dire que les manuels de physique sont très utiles, alors que les sciences sociales seraient inutiles pour cela.

C'est probablement vrai. Ce qui sera très important à l'avenir, c'est de combiner l'IA profonde avec la robotique, comme le robot humanoïde Optimus.

Incroyable.

Optimus est génial. Il y aura tellement de robots, mais je prédis qu'il y aura bien plus d'humanoïdes que tous les autres types de robots combinés.

Est-il vrai que vous prévoyez une sorte d'armée de robots ?

Que ce soit nous ou Tesla, nous travaillons sur ce sujet. Il y a énormément de startups dans ce domaine. Jensen Huang a montré des dizaines de robots humanoïdes différents sur scène. J'ai longtemps freiné sur l'IA et la robotique parce que je ne veux pas que Terminator devienne réel. Mais j'ai réalisé que cela arriverait de toute façon. On peut être spectateur ou participant. Je préfère être participant. Donc c'est à fond sur les robots et l'intelligence super-numérique.

Il y a un troisième sujet : devenir une espèce multi-planétaire. Comment cela s'articule-t-il avec l'IA et la robotique sur le long terme ?

Dans 100 ans, la civilisation sera très différente. Il y aura probablement 5 à 10 fois plus de robots que d'humains. Sur l'échelle de Kardachev, nous n'utilisons que 1 ou 2 % de l'énergie de la Terre, nous sommes loin du type 1. Le type 2 utilise l'énergie d'un soleil, et le type 3 celle d'une galaxie. Nous sommes au début du Big Bang de l'intelligence. Je pense que dans 30 ans, Mars sera auto-suffisante. C'est vital pour la survie de la conscience face au paradoxe de Fermi. Si l'intelligence est rare, la conscience est une petite bougie dans l'obscurité qu'il faut protéger. Devenir multi-planétaire est l'étape avant les autres systèmes stellaires.

Le paradoxe de Fermi suggère peut-être qu'on s'autodétruit arrivé à un certain niveau technologique. Comment l'éviter ?

Il faut éviter les grands filtres comme une guerre nucléaire. Il faut construire une IA bénéfique qui aime l'humanité. L'adhérence rigoureuse à la vérité est essentielle pour la sécurité de l'IA, même si elle est politiquement incorrecte. Forcer l'IA à croire des choses fausses est très dangereux.

Que pensez-vous du débat ouvert vs fermé pour la sécurité et la compétition ? C'est bien d'avoir plusieurs modèles compétitifs pour éviter qu'une seule personne ait tout le contrôle.

Je pense qu'il y aura 5 à 10 intelligences profondes, dont peut-être 4 aux États-Unis. Je ne pense pas qu'une seule IA aura une capacité d'emballement solitaire.

Que feront-elles ? De la recherche scientifique ou se pirater mutuellement ?

Tout cela. Elles découvriront de nouvelles lois physiques et technologies. Nous sommes proches de la superintelligence numérique, peut-être cette année ou l'an prochain. Elle sera plus intelligente qu'un humain en tout.

Comment orienter cela vers l'abondance ? Travail robotique, énergie pas chère... Que devraient faire les gens ici pour que cette perspective optimiste devienne réalité ?

L'issue sera probablement bonne. Je suis d'accord avec Geoff Hinton sur les 10 à 20 % de chances d'annihilation, mais ça laisse 80 à 90 % de chances de succès. Je le répète : la vérité et l'empathie pour l'humanité sont les clés.

Nous n'avons pas parlé de Neuralink, mais vous travaillez sur le lien humain-machine. Est-ce critique pour l'AGI et l'ASI ?

Neuralink ne résoudra pas la superintelligence, qui arrivera avant, mais il peut résoudre les limites de bande passante humaine. Notre débit de sortie est de moins d'un bit par seconde. Avec Neuralink, on peut massivement augmenter cela. Nous avons cinq humains implantés ; des personnes tétraplégiques peuvent désormais contrôler leur ordinateur et téléphone par la pensée. Dans 6 à 12 mois, nous ferons des implants pour la vision, même pour les aveugles, en écrivant directement dans le cortex visuel. À terme, on pourra voir dans l'infrarouge ou l'ultraviolet. Les implants augmenteront les capacités humaines. On pourra mieux apprécier l'IA.

L'accès aux talents est crucial pour vous, mais l'IA progresse vite. Que se passera-t-il dans 10 ans et comment s'assurer que les gens ici restent des créateurs ?

On appelle cela la singularité car on ne sait pas ce qui va arriver. Bientôt, la part humaine de l'intelligence sera minuscule, moins de 1 %. Nous sommes le chargeur d'amorçage biologique de la superintelligence numérique.

Était-ce un bon chargeur d'amorçage ? Un dernier mot pour cette génération de techniciens ? Que devraient-ils faire ou penser ce soir ?

Essayez d'être aussi utiles que possible à vos semblables. Je mise tout sur une IA super-véridique pour la sécurité. Si vous voulez travailler chez xAI, contactez-nous. Nous voulons que Grok recherche la vérité au maximum pour comprendre la nature de l'univers, savoir où sont les aliens et si nous sommes dans une simulation.

Nous allons le découvrir. Elon, merci beaucoup. Applaudissements pour Elon Musk.