Nous sommes au tout, tout début du Big Bang de l'intelligence. Être une espèce multi-planétaire augmente considérablement la durée de vie probable de la civilisation, de la conscience ou de l'intelligence, tant biologique que numérique. Et je pense que nous sommes très proches de la superintelligence numérique. Si cela n'arrive pas cette année, ce sera certainement pour l'année prochaine.

S'il vous plaît, un tonnerre d'applaudissements pour Elon Musk.

Elon, bienvenue à l'AI Startup School. Nous sommes vraiment, vraiment honorés de votre présence ici aujourd'hui.

Merci de m'avoir invité.

Alors, de SpaceX, Tesla, Neuralink, xAI et plus encore, y a-t-il eu un moment dans votre vie avant tout cela où vous vous êtes dit : « Je dois construire quelque chose de grand » ? Et qu'est-ce qui a déclenché cela pour vous ?

Eh bien, au départ, je ne pensais pas construire quelque chose de grand. Je voulais essayer de construire quelque chose d'utile, mais je ne pensais pas construire quoi que ce soit de particulièrement grandiose. Statistiquement parlant, cela semblait improbable. Mais je voulais au moins essayer.

Vous vous adressez donc à une salle remplie d'ingénieurs techniques, souvent certains des chercheurs en IA les plus éminents de la nouvelle génération.

D'accord.

Je pense que nous devrions, je pense que je préfère le terme ingénieur à celui de chercheur. Je veux dire, je suppose que s'il y a une percée algorithmique fondamentale, c'est de la recherche, mais sinon, c'est de l'ingénierie.

Peut-être pourrions-nous remonter le temps. Je veux dire, quand vous étiez... voici une salle de jeunes de 18 à 25 ans. C'est un public plutôt jeune car les fondateurs sont de plus en plus jeunes. Pouvez-vous vous remettre à leur place quand vous aviez 18 ou 19 ans, apprenant à coder, ou même en concevant la première idée pour Zip2 ? C'était comment pour vous ?

En 95, j'étais confronté au choix soit de faire des études supérieures, un doctorat à Stanford en science des matériaux, travaillant en fait sur des supercondensateurs pour une utilisation potentielle dans les véhicules électriques, essayant essentiellement de résoudre le problème de l'autonomie des véhicules électriques, soit d'essayer de faire quelque chose sur ce truc dont la plupart des gens n'avaient jamais entendu parler appelé Internet. Et j'ai parlé à mon professeur, Bill Nix, au département de science des matériaux, et je lui ai dit : « Puis-je différer d'un trimestre parce que cela va probablement échouer et que je devrai alors revenir à l'université ? » Et il a répondu : « C'est probablement la dernière conversation que nous aurons. » Et il avait raison. Donc, mais je pensais que les choses allaient probablement échouer, pas qu'elles allaient probablement réussir. Et puis en 95, j'ai écrit essentiellement les premières ou presque les premières directions cartographiques, les pages blanches et les pages jaunes Internet sur Internet. J'ai écrit cela personnellement. Et je n'ai même pas utilisé de serveur web, j'ai juste lu le port directement parce que je ne pouvais pas me permettre un T1. Le bureau d'origine était sur Sherman Avenue à Palo Alto. Il y avait un FAI à l'étage en dessous, alors j'ai percé un trou dans le plancher et j'ai juste fait passer un câble LAN directement vers le FAI. Mon frère m'a rejoint ainsi qu'un autre co-fondateur, Greg Kouri, qui est décédé, et à l'époque nous ne pouvions même pas nous offrir un logement, donc le bureau coûtait 500 dollars par mois, alors nous dormions simplement au bureau et nous nous douchions au YMCA sur Page Mill et El Camino. Et oui, nous avons fini par créer une petite entreprise utile, Zip2, au début. Et nous avons construit beaucoup de très bonnes technologies logicielles, mais nous étions en quelque sorte prisonniers des entreprises de médias traditionnels car Knight Ridder, le New York Times et Hearst étaient des investisseurs et des clients et siégeaient également au conseil d'administration. Ils voulaient donc continuer à utiliser nos logiciels de manières qui n'avaient aucun sens. Je voulais donc m'adresser directement aux consommateurs. Quoi qu'il en soit, c'est une longue histoire, je m'attarde trop sur Zip2, mais je voulais vraiment faire quelque chose d'utile sur Internet. Parce que j'avais deux choix : faire un doctorat et regarder les gens construire Internet ou aider à construire Internet d'une petite manière. Et je me suis dit, bon, je suppose que je peux toujours essayer et échouer, puis retourner aux études supérieures. Et de toute façon, cela a fini par être raisonnablement réussi, vendu pour environ 300 millions de dollars, ce qui était beaucoup à l'époque. De nos jours, c'est comme l'achat impulsif minimum pour une startup d'IA, c'est environ un milliard de dollars. C'est comme s'il y avait tellement de sacrées licornes, c'est comme un troupeau de licornes à ce stade. Une licorne, c'est une situation à un milliard de dollars.

Il y a eu de l'inflation depuis, donc c'est un peu plus d'argent, en fait.

Oui, je veux dire, en 90, 95, on pouvait probablement acheter un burger pour cinq cents. Enfin, pas tout à fait, mais il y a eu beaucoup d'inflation. Mais le niveau de battage médiatique sur l'IA est assez intense, comme vous l'avez vu. On voit des entreprises qui ont moins d'un an obtenir des valorisations de parfois un milliard ou plusieurs milliards de dollars. Ce qui, je suppose, pourrait porter ses fruits et le fera probablement dans certains cas, mais c'est vertigineux de voir certaines de ces valorisations. Ouais, qu'en pensez-vous ?

Je suis assez optimiste personnellement. Je suis assez optimiste honnêtement, donc je pense que les gens dans cette salle vont créer beaucoup de valeur, un milliard de personnes dans le monde devraient utiliser ces trucs et nous n'en sommes qu'à gratter la surface. J'adore l'histoire d'Internet car même à l'époque, vous étiez très semblable aux gens dans cette salle à l'époque, en ce sens que les dirigeants de toutes les entreprises de médias traditionnels vous considéraient comme la personne qui comprenait Internet. Et une grande partie du monde, le monde de l'entreprise, le monde en général qui ne comprend pas ce qui se passe avec l'IA, ils vont se tourner vers les gens dans cette salle pour exactement la même chose. Quelles sont certaines des leçons tangibles ? Il semble que l'une d'entre elles soit de ne pas abandonner le contrôle du conseil d'administration ou de faire attention à avoir un très bon avocat.

Eh bien, je suppose que pour ma première startup, la très grande erreur a été d'avoir trop de contrôle de la part des actionnaires et du conseil d'administration des entreprises de médias traditionnels qui voient alors nécessairement les choses à travers le prisme des médias traditionnels et qui vous obligent à faire des choses qui leur semblent sensées mais qui n'ont pas vraiment de sens avec la nouvelle technologie. Je devrais souligner qu'au départ, je n'avais pas l'intention de créer une entreprise. J'ai essayé d'obtenir un emploi chez Netscape. Et j'ai envoyé mon CV à Netscape. Marc Andreessen est au courant, mais je ne pense pas qu'il ait jamais vu mon CV et personne n'a répondu. Alors j'ai essayé de traîner dans le hall de Netscape pour voir si je pouvais tomber sur quelqu'un, mais j'étais trop timide pour parler à qui que ce soit, alors je me suis dit, mince, c'est ridicule. Je vais donc écrire le logiciel moi-même et voir ce qui se passe. Donc ce n'était pas vraiment du point de vue de « je veux créer une entreprise », je voulais juste participer à la construction d'Internet d'une manière ou d'une autre. Et comme je n'arrivais pas à trouver un emploi dans une entreprise Internet, j'ai dû créer une entreprise Internet. Quoi qu'il en soit, l'IA changera si profondément l'avenir qu'il est difficile d'imaginer à quel point. Mais l'économie, en supposant que les things ne tournent pas mal et que l'IA ne nous tue pas tous et ne se tue pas elle-même, alors vous verrez à terme une économie qui n'est pas 10 fois supérieure à l'économie actuelle. À terme, si nous devenons, disons, ou quoi que deviennent nos futurs descendants de machines, une civilisation de type 2 sur l'échelle de Kardashev ou au-delà, nous parlons d'une économie qui est des milliers de fois, peut-être des millions de fois plus grande que l'économie d'aujourd'hui. Alors oui, j'ai un peu eu l'impression, quand j'étais à Washington en train de recevoir beaucoup de critiques pour avoir éliminé le gaspillage et la fraude, ce qui était une quête secondaire intéressante, comme les quêtes secondaires.

Il faut revenir à la quête principale.

Ouais, je dois revenir à la quête principale ici. Donc, retour à la quête principale, construire de la technologie, ce que j'aime faire. Il y a tellement de bruit. Le rapport signal sur bruit en politique est terrible.

Eh bien, nous sommes heureux que vous soyez de retour sur la quête principale. C'est très important.

Ouais, retour à la quête principale, construire de la technologie, ce que j'aime faire. C'est juste tellement de bruit. Le rapport signal sur bruit en politique est terrible.

Je veux dire, j'habite à San Francisco, donc vous n'avez pas besoin de me le dire deux fois.

Ouais, Washington c'est quoi, je suppose que c'est tout de la politique à Washington, mais si vous essayez de construire une fusée ou des voitures ou si vous essayez d'avoir un logiciel qui compile et fonctionne de manière fiable, alors vous devez être au maximum en quête de vérité ou votre logiciel ou votre matériel ne fonctionnera pas. On ne peut pas tromper les mathématiques, les mathématiques et la physique sont des juges rigoureux. J'ai donc l'habitude d'être dans un environnement de recherche de vérité maximale et ce n'est certainement pas la politique. Quoi qu'il en soit, je suis content d'être de retour dans la technologie.

Je suppose que je suis curieux, pour en revenir au moment de Zip2, vous aviez des centaines de millions de dollars ou vous aviez une sortie valant des centaines de millions de dollars.

Ouais, je veux dire, j'ai eu 20 millions de dollars.

D'accord. Bon, vous avez au moins résolu le problème de l'argent. Et vous avez essentiellement pris cela et vous avez continué avec X.com, qui est devenu PayPal et Confinity.

Oui, j'ai laissé les jetons sur la table.

Tout le monde ne fait pas ça. Beaucoup de gens dans cette salle devront prendre cette décision, en fait. Qu'est-ce qui vous a poussé à revenir dans l'arène ?

Eh bien, je pense que j'avais l'impression qu'avec Zip2, nous avions construit une technologie incroyable mais qu'elle n'avait jamais vraiment été utilisée. Je pense qu'au moins de mon point de vue, nous avions une meilleure technologie que, disons, Yahoo ou n'importe qui d'autre, mais elle était limitée par nos clients. Et donc je voulais faire quelque chose où nous ne serions pas limités par nos clients, aller directement au consommateur, et c'est ce qui a fini par être X.com, PayPal, essentiellement X.com fusionnant avec Confinity qui ont créé ensemble PayPal. Et puis en fait la diaspora de PayPal a peut-être créé plus d'entreprises que probablement n'importe quoi au 21ème siècle, tant de personnes talentueuses étaient à la combinaison de Confinity et X.com. Je voulais donc juste, j'avais l'impression qu'on nous avait un peu coupé les ailes avec Zip2 et c'est genre : d'accord, et si nos ailes ne sont pas coupées et que nous allons directement au consommateur ? C'est ce que PayPal a fini par être. Mais ouais, j'ai reçu ce chèque de 20 millions de dollars pour ma part de Zip2. À l'époque, je vivais dans une maison avec quatre colocataires et j'avais 10 000 dollars à la banque, puis ce chèque arrive par la poste, de tous les endroits, et mon solde bancaire est passé de 10 000 à 20 millions et 10 000. Vous vous dites : « Bon, d'accord », je devais quand même payer des impôts là-dessus, mais ensuite j'ai fini par mettre presque tout cela dans X.com et, comme vous l'avez dit, en laissant presque tous les jetons sur la table. Et puis après PayPal, j'étais curieux de savoir pourquoi nous n'avions envoyé personne sur Mars. Et je suis allé sur le site de la NASA pour savoir quand nous enverrons des gens sur Mars et il n'y avait pas de date. J'ai pensé que c'était peut-être juste difficile à trouver sur le site, mais en fait il n'y avait pas de véritable plan pour envoyer des gens sur Mars. Alors, c'est une si longue histoire, donc je ne veux pas prendre trop de temps ici.

Je pense que nous écoutons tous avec une attention soutenue.

J'étais donc en fait sur la Long Island Expressway avec mon ami Adeo Ressi, qui était mon colocataire à l'université, et Adeo me demande ce que je vais faire après PayPal, et je lui réponds, je ne sais pas, je pense que j'aimerais peut-être faire quelque chose de philanthropique dans l'espace parce que je ne pensais pas pouvoir réellement faire quoi que ce soit de commercial dans l'espace car cela semblait être le domaine des nations. Mais vous savez, je suis curieux de savoir quand nous allons envoyer des gens sur Mars. Et c'est là que je me suis dit, oh, ce n'est pas sur le site. Et puis j'ai commencé à creuser, il n'y avait rien sur le site de la NASA. Alors j'ai commencé à creuser et, je résume certainement beaucoup ici, mais ma première idée était de faire une mission philanthropique vers Mars appelée Life to Mars où nous enverrions une petite serre avec des graines et du gel nutritif déshydraté, nous ferions atterrir cela on Mars et nous ferions pousser les plantes, nous hydraterions le gel, nous ferions pousser les plantes, et puis nous aurions ce superbe cliché de plantes vertes sur un fond rouge. Pendant très longtemps, d'ailleurs, je n'avais pas réalisé que « money shot » est une référence porno, mais bref, le point est que ce serait le superbe cliché de plantes vertes sur un fond rouge pour essayer d'inspirer la NASA et le public à envoyer des astronautes sur Mars. Au fur et à mesure que j'en apprenais davantage, j'ai fini par réaliser, et en cours de route je suis allé en Russie vers 2001 et 2002 pour acheter des ICBM. Ce qui est une aventure, vous allez rencontrer le haut commandement russe et vous dites que j'aimerais acheter des ICBM.

C'était pour aller dans l'espace en tant que fusée.

Ouais, pour aller dans l'espace, pas pour bombarder qui que ce soit, mais ils devaient, suite à des discussions sur la réduction des armements, ils devaient en fait détruire un paquet de leurs gros missiles nucléaires. Alors je me suis dit : « Et si on en prenait deux, sans l'ogive nucléaire, en ajoutant un étage supérieur supplémentaire pour Mars ? » Mais c'était un peu délirant d'être à Moscou en 2001 en train de négocier avec l'armée russe pour acheter des ICBM. C'est fou. Et ils n'arrêtaient pas d'augmenter le prix pour moi, donc littéralement c'était un peu le contraire de ce qu'une négociation devrait donner. Alors je me suis dit : « Purée, ces trucs deviennent vraiment chers. » Et puis j'ai réalisé qu'en fait, le problème n'était pas un manque de volonté d'aller sur Mars, mais qu'il n'y avait aucun moyen de le faire sans faire exploser le budget, même le budget de la NASA. C'est donc là que j'ai décidé de créer SpaceX pour faire progresser la technologie des fusées au point où nous pourrions envoyer des gens sur Mars. Et c'était en 2002.

Donc ce n'était pas, vous n'avez pas commencé en voulant créer une entreprise, vous vouliez juste créer quelque chose qui vous intéressait et dont vous pensiez que l'humanité avait besoin, puis, comme un chat qui tire sur une ficelle, la pelote se déroule et il s'avère que cela pourrait être une entreprise très rentable.

Je veux dire qu'elle l'est maintenant, mais il n'y avait aucun exemple préalable de réussite d'une startup de fusées. Il y avait eu diverses tentatives de créer des sociétés de fusées commerciales et elles avaient toutes échoué. Encore une fois, lancer SpaceX était vraiment du point de vue de : je pense qu'il y a moins de 10 % de chances de réussir, peut-être 1 %, je ne sais pas. Mais si une startup ne fait rien pour faire progresser la technologie des fusées, cela ne viendra certainement pas des grands entrepreneurs de la défense car ils s'adaptent simplement au gouvernement et le gouvernement veut simplement faire des choses très conventionnelles, donc soit cela vient d'une startup, soit cela n'arrive pas du tout. Une petite chance de réussite vaut donc mieux qu'aucune chance de réussite. Et donc SpaceX, j'ai lancé ça mi-2002 en m'attendant à ce que ça échoue. J'ai dit probablement 90 % de chances d'échouer. Et même en recrutant des gens, je n'ai pas essayé de faire croire que ça réussirait, j'ai dit que nous allions probablement mourir. Mais qu'il y avait une petite chance que nous ne mourions pas. Et que c'est le seul moyen d'amener des gens sur Mars et de faire progresser l'état de l'art. Et puis j'ai fini par être l'ingénieur en chef de la fusée, non pas parce que je le voulais mais parce que je ne pouvais embaucher personne de bon. Aucun des bons ingénieurs en chef ne voulait se joindre à nous parce que c'est trop risqué, vous allez mourir. Et j'ai donc fini par être l'ingénieur en chef de la fusée et les trois premiers vols ont échoué, donc un petit exercice d'apprentissage là-bas. Et le quatrième a heureusement fonctionné, mais si le quatrième n'avait pas fonctionné, je n'avais plus d'argent et ça aurait été le clap de fin. C'était donc très juste, si le quatrième lancement de Falcon 1 n'avait pas fonctionné, cela aurait été le clap de fin et nous aurions simplement rejoint le cimetière des startups de fusées précédentes. Mon estimation de succès n'était donc pas loin. Nous avons réussi de justesse. Et Tesla se passait à peu près simultanément, 2008 a été une année difficile, car à la mi-2008 ou disons l'été 2008, le troisième lancement de SpaceX avait échoué, mon troisième échec consécutif. Le tour de financement de Tesla avait échoué et Tesla faisait donc rapidement faillite. C'était juste genre, purée, c'est sinistre. Ce sera un conte d'avertissement contre l'orgueil démesuré, un exercice d'orgueil.

Probablement que tout au long de cette période, beaucoup de gens disaient qu'Elon est un gars du logiciel, pourquoi travaille-t-il sur du matériel ? Pourquoi choisirait-il de travailler sur ça ?

À 100 %. Vous pouvez regarder la presse de cette époque, elle est toujours en ligne, vous pouvez simplement la chercher. Et ils n'arrêtaient pas de m'appeler le gars d'Internet. Donc le gars d'Internet, alias l'idiot, tente de créer une société de fusées. On s'est pas mal moqué de nous. Et ça a l'air assez absurde, un gars d'Internet qui lance une société de fusées, ça ne ressemble pas à une recette pour le succès, franchement. Donc je ne leur en ai pas tenu rigueur. Certes, cela semble improbable et je conviens que c'est improbable. Mais heureusement, le quatrième lancement a fonctionné et la NASA nous a attribué un contrat pour ravitailler la station spatiale. Et je pense que c'était peut-être le 22 décembre ou juste avant Noël, car même le fait que le quatrième lancement fonctionne ne suffisait pas pour réussir, nous avions aussi besoin d'un gros contrat pour nous maintenir en vie. J'ai donc reçu cet appel de l'équipe de la NASA et ils ont dit qu'ils nous attribuaient l'un des contrats pour ravitailler la station spatiale et j'ai littéralement lâché : « Je vous aime les gars ! » Ce n'est pas ce qu'ils entendent normalement car c'est généralement assez sobre, mais je me suis dit, purée, c'est ce qui sauve l'entreprise. Et puis nous avons bouclé le tour de financement de Tesla à la dernière heure du dernier jour possible, soit à 18 heures le 24 décembre 2008. Nous aurions été en cessation de paiement pour les salaires deux jours après Noël si ce tour n'avait pas été bouclé. C'était donc une fin d'année 2008 éprouvante, c'est certain.

Je suppose qu'à partir de votre expérience avec PayPal et Zip2, vous lancer dans ces startups de matériel pur, il semble que l'un des fils conducteurs ait été d'être capable de trouver et d'attirer finalement les personnes les plus intelligentes possibles dans ces domaines particuliers. La plupart des gens ici n'ont pas encore géré une seule personne, ils commencent tout juste leur carrière. Que diriez-vous à l'Elon qui n'a jamais eu à faire cela ?

Je pense généralement qu'il faut essayer d'être aussi utile que possible. Cela peut paraître banal, mais il est si difficile d'être utile, surtout d'être utile à beaucoup de gens. Là où l'aire sous la courbe de l'utilité totale est : à quel point avez-vous été utile à vos semblables multiplié par le nombre de personnes. C'est presque la définition physique du vrai travail. C'est incroyablement difficile de faire ça. Et je pense que si vous aspirez à faire du vrai travail, votre probabilité de succès est bien plus élevée. N'aspirez pas à la gloire, aspirez au travail.

Comment savoir s'il s'agit d'un vrai travail ? Est-ce externe, ce qui se passe avec les autres ou ce que le produit fait pour les gens ? Quand vous cherchez des gens pour venir travailler pour vous, quel est l'élément saillant que vous recherchez ?

Eh bien, ce est une question différente. En ce qui concerne votre propre produit, vous devez simplement vous demander : « si ce truc réussit, à quel point sera-t-il utile à combien de personnes ? » Et puis vous faites tout ce qu'il faut pour réussir et vous écrasez toujours votre ego. Intériorisez la responsabilité. Un mode de défaillance majeur est lorsque le rapport ego/capacité est doublement supérieur à sinus un. Si votre rapport ego/capacité devient trop élevé, vous allez essentiellement rompre la boucle de rétroaction avec la réalité et, en termes d'IA, vous rompriez votre boucle RL. Vous voulez avoir une boucle RL forte, ce qui signifie intérioriser la responsabilité et minimiser l'ego, et vous faites n'importe quelle tâche, qu'elle soit grandiose ou humble. C'est pourquoi je préfère le terme ingénierie à celui de recherche. Je ne veux pas appeler xAI un laboratoire, je veux juste que ce soit une entreprise. Quels que soient les termes les plus simples, les plus directs, idéalement avec le moins d'ego possible, c'est généralement la bonne voie à suivre. Vous voulez juste boucler la boucle avec la réalité fermement. C'est un point crucial.

Je pense que tout le monde dans cette salle admire vraiment tout ce que vous avez fait pour être un parangon des principes fondamentaux. En pensant à ce que vous avez fait, comment déterminez-vous réellement votre réalité ? Parce que cela semble être une part assez importante. D'autres personnes, des gens qui n'ont jamais rien fait, des non-ingénieurs, parfois des journalistes qui n'ont jamais rien fait, ils vous critiquent, mais vous avez clairement un autre groupe de personnes qui sont des bâtisseurs avec une aire sous la courbe très élevée qui sont dans votre cercle. Comment les gens devraient-ils aborder cela ? Qu'est-ce que le travail pour vous et que transmettriez-vous à vos enfants ? Que leur dites-vous quand ils doivent faire leur chemin dans ce monde ? Comment construisez-vous une réalité prédictive à partir de principes fondamentaux ?

Les outils de la physique sont incroyablement utiles pour comprendre et progresser dans n'importe quel domaine. Les principes fondamentaux consistent à décomposer les choses en éléments axiomatiques fondamentaux les plus susceptibles d'être vrais, puis à raisonner à partir de là aussi logiquement que possible, par opposition au raisonnement par analyse ou par métaphore. Ensuite, ce sont des choses simples comme penser à la limite, comme si vous extrapolez, minimiser ceci ou maximiser cela. Penser à la limite est très utile. J'utilise tous les outils de la physique. Ils s'appliquent à n'importe quel domaine. C'est comme un super-pouvoir, en fait. Vous pouvez prendre par exemple les fusées, vous pourriez dire « combien devrait coûter une fusée ? » L'approche typique consiste à regarder historiquement quels sont les coûts des fusées et à supposer que toute nouvelle fusée doit être quelque peu similaire au coût précédent. Une approche par principes fondamentaux consisterait à examiner les matériaux dont la fusée est composée — aluminium, cuivre, fibre de carbone, acier — et à se demander combien pèse cette fusée et quels sont les éléments constitutifs ? Quel est le prix des matériaux par kilogramme de ces éléments constitutifs ? Et cela fixe le plancher réel de ce qu'une fusée peut coûter. Elle peut s'approcher asymptotiquement du coût des matières premières. Vous réalisez alors qu'en fait, les matières premières d'une fusée ne représentent peut-être que 1 ou 2 % du coût historique. La fabrication doit nécessairement être très inefficace si le coût des matières premières n'est que de 1 ou 2 %. Ce serait une analyse par principes fondamentaux du potentiel d'optimisation des coûts d'une fusée. Et c'est avant d'en arriver à la réutilisabilité. Pour donner un exemple en IA, l'année dernière pour xAI, quand nous essayions de construire un supercalculateur d'entraînement, nous sommes allés voir les différents fournisseurs pour demander 100 000 H100 pour pouvoir s'entraîner de manière cohérente, et les estimations sur le temps que cela prendrait étaient de 18 à 24 mois. Nous devions faire cela en six mois, sinon nous ne serions pas compétitifs. Si vous décomposez cela, de quoi avez-vous besoin ? Vous avez besoin d'un bâtiment, d'électricité, de refroidissement. Nous n'avions pas assez de temps pour construire un bâtiment de toutes pièces, nous avons donc trouvé une usine qui n'était plus utilisée à Memphis. La puissance d'entrée était de 15 mégawatts et nous avions besoin de 150 mégawatts. Nous avons donc loué des générateurs. Et puis nous devions avoir du refroidissement, nous avons donc loué environ un quart de la capacité de refroidissement mobile des États-Unis. Cela n'a pas entièrement résolu le problème car les variations de puissance pendant l'entraînement sont gigantesques. La puissance peut chuter de 50 % en 100 millisecondes, ce que les générateurs ne peuvent pas suivre. Nous avons donc ajouté des Megapacks Tesla et modifié le logiciel pour pouvoir lisser la variation de puissance pendant l'entraînement. Et puis il y avait un tas de défis de mise en réseau parce que les câbles réseau, si vous essayez de faire en sorte que 100 000 GPU s'entraînent de manière cohérente, sont très complexes.

Presque n'importe laquelle de ces choses que vous avez mentionnées, je pourrais imaginer quelqu'un vous dire très directement : « non, vous ne pouvez pas avoir ça. » On dirait que l'un des éléments saillants de la pensée par principes fondamentaux est de demander pourquoi, de comprendre cela et de défier la personne en face de vous. Si je n'obtiens pas une réponse qui me convient, je ne vais pas laisser ce « non » subsister. Cela semble être quelque chose dont tout le monde, s'il essayait de faire ce que vous faites dans le matériel, a besoin de manière unique. Dans le logiciel, nous avons beaucoup de superflu et de choses pour lesquelles nous pouvons ajouter plus de processeurs, mais dans le matériel, ça ne fonctionnera tout simplement pas.

Ces principes généraux de la pensée par principes fondamentaux s'appliquent au logiciel et au matériel, s'appliquent à n'importe quoi vraiment. J'utilise juste un exemple matériel de la façon dont on nous a dit que quelque chose est impossible, mais une fois que nous l'avons décomposé en éléments constitutifs de bâtiment, d'électricité, de refroidissement, de lissage de puissance, nous avons pu résoudre ces éléments constitutifs. Et puis nous avons simplement mené l'opération de mise en réseau pour faire tout le câblage en quatre équipes 24h/24 et 7j/7. Je dormais dans le centre de données et je faisais le câblage moi-même. Il y avait beaucoup d'autres problèmes à résoudre. Personne n'avait fait d'entraînement avec 100 000 H100 s'entraînant de manière cohérente l'année dernière. Et puis nous avons fini par doubler cela à 200 000, donc maintenant nous avons 150 000 H100, 50 000 H200 et 30 000 GB200 dans le centre d'entraînement de Memphis et nous sommes sur le point de mettre en ligne 110 000 GB200 dans un deuxième centre de données également dans la région de Memphis.

Pensez-vous que le pré-entraînement fonctionne toujours, que les lois de mise à l'échelle tiennent toujours et que celui qui gagne cette course aura fondamentalement le modèle le plus grand et le plus intelligent possible que l'on puisse distiller ?

Eh bien, il y a d'autres éléments divers qui décident de la compétitivité pour l'IA à grande échelle. C'est sûr que le talent des gens compte, l'échelle du matériel compte et la façon dont vous êtes capable de mettre ce matériel à profit — vous ne pouvez pas simplement commander un tas de GPU et les brancher. Vous devez obtenir beaucoup de GPU et faire en sorte qu'ils s'entraînent de manière cohérente et stable. Ensuite, il y a : quel accès unique aux données avez-vous ? Je suppose que la distribution compte aussi dans une certaine mesure. Ce sont des facteurs critiques pour qu'un grand modèle de base soit compétitif. Comme beaucoup l'ont dit, et je pense que mon ami Ilya Sutskever l'a dit, nous avons en quelque sorte épuisé les données de pré-entraînement générées par les humains. On tombe à court de jetons assez vite, certainement de jetons de haute qualité. Et puis on a essentiellement besoin de créer des données synthétiques et d'être capable de juger avec précision les données synthétiques qu'on crée pour vérifier si c'est de la vraie donnée synthétique ou si c'est une hallucination qui ne correspond pas à la réalité. Parvenir à un ancrage dans la réalité est délicat, mais nous en sommes au stade où plus d'efforts sont consacrés aux données synthétiques ; en ce moment, nous entraînons Grok 3.5 qui met l'accent sur le raisonnement.

Pour en revenir à votre point sur la physique, ce que j'ai entendu pour le raisonnement, c'est que les sciences dures, en particulier les manuels de physique, sont très utiles pour le raisonnement, alors que des chercheurs m'ont dit que les sciences sociales sont totalement inutiles pour le raisonnement.

Oui, c'est probablement vrai. Quelque chose qui va être très important à l'avenir est de combiner l'IA profonde dans le centre de données ou le supercalculateur avec la robotique. Des choses comme le robot humanoïde Optimus. Optimus est génial. Il va y avoir tellement de robots humanoïdes, des robots de toutes tailles et de toutes formes, mais ma prédiction est qu'il y aura de loin plus de robots humanoïdes que tous les autres robots combinés. Peut-être par un ordre de grandeur, une grande différence.

Est-il vrai que vous prévoyez une sorte d'armée de robots ?

Que nous le fassions ou que Tesla le fasse, Tesla travaille en étroite collaboration avec xAI. Vous avez vu combien il y a de startups de robots humanoïdes ; Jensen Huang était sur scène avec un nombre massif de robots de différentes entreprises. Il y avait des dizaines de robots humanoïdes différents. Une partie de ce contre quoi j'ai lutté, et peut-être ce qui m'a un peu ralenti, c'est que je ne veux pas que Terminator devienne réalité. J'ai, au moins jusqu'à ces dernières années, freiné sur l'IA et la robotique humanoïde. Et puis j'ai réalisé que cela arrivait que je le fasse ou non, donc vous avez vraiment deux choix : soit être un spectateur, soit être un participant. Et je suppose que je préférerais être un participant plutôt qu'un spectateur. Alors maintenant, c'est à fond sur les robots humanoïdes et la superintelligence numérique.

Je suppose qu'il y a une troisième chose dont tout le monde vous a entendu parler longuement et dont je suis vraiment fan : devenir une espèce multi-planétaire. Où cela s'insère-t-il ? Ce n'est pas seulement une question de 10 ou 20 ans, peut-être de 100 ans, c'est une question de plusieurs générations pour l'humanité. Comment y pensez-vous ? Il y a l'IA évidemment, il y a la robotique incarnée, et puis il y a le fait d'être une espèce multi-planétaire. Est-ce que tout alimente ce dernier point ou qu'est-ce qui vous anime en ce moment pour les 10, 20 et 100 prochaines années ?

Purée, 100 ans ? J'espère que la civilisation sera encore là dans 100 ans. Si elle est encore là, elle sera très différente de la civilisation d'aujourd'hui. Je prédirais qu'il y aura au moins cinq fois plus de robots humanoïdes qu'il n'y a d'humains. Peut-être 10 fois. Une façon de regarder le progrès de la civilisation est le pourcentage d'achèvement de l'échelle de Kardashev. Si vous êtes au niveau 1 de Kardashev, vous avez exploité toute l'énergie d'une planète. À mon avis, nous n'avons exploité que 1 ou 2 % de l'énergie de la Terre, nous avons donc encore un long chemin à parcourir pour être au niveau 1. Au niveau 2, vous avez exploité toute l'énergie d'un soleil, ce qui représenterait un milliard de fois plus d'énergie que la Terre, peut-être plus proche d'un billion. Au niveau 3, ce serait toute l'énergie d'une galaxie. On en est assez loin. Nous sommes au tout, tout début du Big Bang de l'intelligence. En termes d'être multi-planétaire, je pense que nous aurons assez de masse transférée sur Mars d'ici environ 30 ans pour rendre Mars autosuffisante de sorte que Mars puisse continuer à croître et à prospérer même si les navires de ravitaillement venant de la Terre cessent de venir. Et cela augmente considérablement la durée de vie probable de la civilisation ou de la conscience ou de l'intelligence, tant biologique que numérique. C'est pourquoi je pense qu'il est important de devenir une espèce multi-planétaire. Je suis un peu troublé par le paradoxe de Fermi : pourquoi n'avons-nous vu aucun extraterrestre ? Cela pourrait être parce que l'intelligence est incroyablement rare. Peut-être que nous sommes les seuls dans cette galaxie, auquel cas l'intelligence ou la conscience est cette minuscule bougie dans une vaste obscurité. Nous devrions faire tout notre possible pour nous assurer que la minuscule bougie ne s'éteigne pas. Devenir une espèce multi-planétaire ou rendre la conscience multi-planétaire améliore considérablement la durée de vie probable de la civilisation et c'est la prochaine étape avant d'aller vers d'autres systèmes stellaires. Une fois que vous avez au moins deux planètes, alors vous avez un moteur pour l'amélioration des voyages spatiaux et c'est ultimement ce qui mènera la conscience à s'étendre vers les étoiles.

Il se pourrait que le paradoxe de Fermi dicte qu'une fois arrivé à un certain niveau de technologie, on s'autodétruit. Comment rester nous-mêmes ? Que prescririez-vous à une salle remplie d'ingénieurs ? Que pouvons-nous faire pour empêcher cela de se produire ?

Ouais, comment éviter les grands filtres ?

L'un des grands filtres serait évidemment une guerre thermonucléaire mondiale. Nous devrions donc essayer d'éviter cela. Je suppose construire une IA bénigne, une IA qui aime l'humanité et des robots qui sont utiles. Quelque chose que je pense être extrêmement important dans la construction de l'IA est une adhésion très rigoureuse à la vérité, même si cette vérité est politiquement incorrecte. Mon intuition sur ce qui pourrait rendre l'IA très dangereuse est si vous forcez l'IA à croire des choses qui ne sont pas vraies.

Que pensez-vous de l'argument de l'ouverture pour la sécurité par rapport à la fermeture pour l'avantage concurrentiel ? Ce qui est génial, c'est que vous avez un modèle compétitif, beaucoup d'autres personnes ont aussi des modèles compétitifs et en ce sens, nous avons peut-être évité la pire chronologie qui m'inquiéterait, à savoir un décollage rapide et qu'il ne soit entre les mains que d'une seule personne. Cela pourrait faire s'effondrer beaucoup de choses, alors que maintenant nous avons le choix, ce qui est génial. Qu'en pensez-vous ?

Je pense qu'il y aura plusieurs intelligences profondes, peut-être au moins cinq, peut-être jusqu'à dix. Je ne suis pas sûr qu'il y en aura des centaines, mais on n'en est probablement pas loin, dont peut-être quatre seront aux États-Unis. Je ne pense donc pas qu'il s'agira d'une seule IA ayant une capacité de fuite en avant, mais de plusieurs intelligences profondes.

Que feront réellement ces intelligences profondes ? S'agira-t-il de recherche scientifique ou d'essayer de se pirater les unes les autres ?

Probablement tout ce qui précède. J'espère qu'elles découvriront une nouvelle physique et je pense qu'elles inventeront certainement de nouvelles technologies. Je pense que nous sommes tout près de la superintelligence numérique. Cela pourrait arriver cette année, et si cela n'arrive pas cette année, l'année prochaine c'est certain. La superintelligence numérique définie comme étant plus intelligente que n'importe quel humain dans n'importe quel domaine.

Eh bien, comment diriger cela vers la surabondance ? Nous pourrions avoir du travail robotique, nous avons de l'énergie bon marché, de l'intelligence à la demande. Est-ce la pilule blanche ? Où vous situez-vous sur le spectre et y a-t-il des choses tangibles que vous encourageriez tout le monde ici à travailler pour que cette pilule blanche devienne réellement réalité ?

Je pense que ce sera très probablement un bon résultat. Je suis d'accord avec Geoff Hinton sur le fait qu'il y a peut-être dix à vingt pour cent de chances d'annihilation, mais regardez le bon côté des choses, c'est quatre-vingts à quatre-vingt-dix pour cent de probabilité d'un excellent résultat. Je ne saurais trop insister là-dessus, une adhésion rigoureuse à la vérité est la chose la plus importante pour la sécurité de l'IA, et évidemment l'empathie pour l'humanité et la vie telle que nous la connaissons.

Nous n'avons pas encore parlé du tout de Neuralink, mais je suis curieux : vous travaillez à réduire l'écart d'entrée et de sortie entre les humains et les machines. À quel point est-ce critique pour l'AGI et l'ASI ? Une fois ce lien établi, pouvons-nous non seulement lire mais aussi écrire ?

Neuralink n'est pas nécessaire pour résoudre la superintelligence numérique. Cela arrivera avant que Neuralink ne soit à grande échelle. Mais ce que Neuralink peut faire efficacement, c'est résoudre les contraintes de bande passante d'entrée-sortie ; en particulier, notre bande passante de sortie est très faible. Le débit de sortie soutenu d'un humain au cours d'une journée est inférieur à un bit par seconde. Il y a 86 400 secondes dans une journée, et il est extrêmement rare qu'un humain produise plus que ce nombre de symboles par jour, certainement pendant plusieurs jours d'affilée. Avec une interface Neuralink, vous pouvez augmenter massivement votre bande passante de sortie et votre bande passante d'entrée. Nous avons maintenant cinq humains qui ont reçu l'entrée de lecture où il lit les signaux ; vous avez des personnes atteintes de SLA qui sont tétraplégiques, mais elles peuvent maintenant communiquer à une bande passante similaire à celle d'un humain avec un corps fonctionnant pleinement et contrôler leur ordinateur et leur téléphone, ce qui est plutôt cool. Dans les six à douze prochains mois, nous ferons nos premiers implants pour la vision, où même si quelqu'un est complètement aveugle, nous pourrions écrire directement dans le cortex visuel. Nous avons fait fonctionner cela chez les singes ; l'un de nos singes a un implant visuel depuis trois ans. Au début, ce sera une résolution relativement faible, mais à long terme, on aurait une résolution très élevée et on serait capable de voir dans des longueurs d'onde multispectrales. On pourrait voir en infrarouge, en ultraviolet, au radar — c'est une sorte de situation de super-pouvoir. À un moment donné, les implants cybernétiques ne serviraient plus simplement à corriger des choses qui ont mal tourné, mais à augmenter considérablement les capacités humaines, à augmenter l'intelligence, les sens et la bande passante. Cela va arriver à un moment donné. Mais la superintelligence numérique arrivera bien avant cela. Si nous avons un Neuralink, nous serons en mesure de mieux apprécier l'IA.

Je suppose que l'un des réactifs limitants pour tous vos efforts dans tous ces domaines différents est l'accès aux personnes les plus intelligentes possibles. Simultanément à cela, les rochers peuvent parler et raisonner et ils ont peut-être un QI de 130 maintenant et ils vont probablement être superintelligents bientôt. Comment conciliez-vous ces deux choses ? Que va-t-il se passer dans cinq à dix ans et que devraient faire les gens dans cette salle pour s'assurer qu'ils sont ceux qui créent au lieu d'être en dessous de la ligne de l'API ?

On l'appelle la singularité pour une raison, parce qu'on ne sait pas ce qui va se passer. Dans un avenir pas trop lointain, le pourcentage d'intelligence humaine sera assez faible. À un moment donné, la somme collective de l'intelligence humaine représentera moins d'un pour cent de toute l'intelligence. Si les choses atteignent le niveau 2 de Kardashev, nous parlons d'une intelligence humaine, même en supposant une augmentation significative de la population humaine et une augmentation de l'intelligence où tout le monde a un QI de mille, étant probablement un milliardième de celle de l'intelligence numérique. Quoi qu'il en soit, nous sommes le chargeur d'amorçage biologique pour la superintelligence numérique.

Je suppose que pour finir, étais-je un bon chargeur d'amorçage ? Où allons-nous à partir de là ? Tout cela est de la science-fiction assez folle qui pourrait aussi être construite par les gens dans cette salle. Avez-vous une pensée finale pour les personnes techniques les plus intelligentes de cette génération en ce moment ? Que devraient-ils faire ? Sur quoi devraient-ils travailler ? À quoi devraient-ils penser ce soir en allant dîner ?

Comme je l'ai dit au début, si vous faites quelque chose d'utile, c'est génial. Essayez simplement d'être aussi utile que possible à vos semblables et alors vous faites quelque chose de bien. Je n'arrête pas de ressasser cela : concentrez-vous sur une IA super véridique ; c'est la chose la plus importante pour la sécurité de l'IA. Toute personne intéressée par un emploi chez xAI, s'il vous plaît faites-le nous savoir. Nous visons à faire de Grok l'IA qui recherche au maximum la vérité et je pense que c'est une chose très importante. J'espère que nous pourrons comprendre la nature de l'univers. C'est vraiment ce que l'IA peut, espérons-le, nous dire. Peut-être que l'IA peut nous dire où sont les extraterrestres et comment l'univers a vraiment commencé. Comment finira-t-il ? Quelles sont les questions que nous ne connaissons pas et que nous devrions poser ? Sommes-nous dans une simulation ? Dans quel niveau de simulation sommes-nous ? Suis-je un PNJ ?

Eh bien, je pense que nous allons le découvrir. Elon, merci beaucoup de vous être joint à nous. Tout le monde, s'il vous plaît, un tonnerre d'applaudissements pour Elon Musk.