Je dois dire, David, que j'adorerais avoir toute l'équipe de production de Nvidia à chaque épisode.

C'était agréable de ne pas avoir à se soucier d'allumer et d'éteindre les caméras et de s'assurer moi-même que rien de mal n'arrivait pendant que nous enregistrions ceci.

Ouais, juste le matériel. Les disques qui sortaient de la caméra.

Très bien, des caméras RED pour le studio à domicile dès le prochain épisode.

Ouais, super. D'accord, faisons-le.

Bienvenue dans cet épisode d'Acquired, le podcast sur les grandes entreprises technologiques et les histoires et stratégies qui les sous-tendent. Je suis Ben Gilbert.

Je suis David Rosenthal.

Et nous sommes vos hôtes. Auditeurs, pour ne pas tourner autour du pot, cet épisode a été incroyablement cool pour David et moi.

Ouais.

Après avoir fait des recherches sur Nvidia pendant environ 500 heures au cours des deux dernières années, nous nous sommes envolés pour le siège de Nvidia afin de nous entretenir avec Jensen lui-même. Et Jensen, bien sûr, est le fondateur et PDG de Nvidia, l'entreprise qui alimente toute cette explosion de l'IA. Au moment de l'enregistrement, Nvidia vaut 1,1 billion de dollars et est la sixième entreprise la plus précieuse au monde. Et en ce moment, c'est un moment charnière pour l'entreprise. Les attentes sont élevées, très élevées. Ils ont une position stratégique et une avance sur leurs concurrents parmi les plus impressionnantes de toutes les entreprises que nous ayons jamais étudiées. Mais voici la question que tout le monde se pose : la prospérité insensée de Nvidia se poursuivra-t-elle dans les années à venir ? L'IA sera-t-elle la prochaine vague technologique à mille milliards de dollars ? À quel point en sommes-nous sûrs ? Et si oui, Nvidia peut-elle réellement maintenir sa domination ridicule alors que ce marché prend forme ? Jensen nous fait donc revivre ses souvenirs avec des histoires sur la façon dont ils sont passés du graphisme aux centres de données puis à l'IA, et comment ils ont survécu à plusieurs expériences de mort imminente. Il a également de nombreux conseils pour les fondateurs, et il a partagé un côté émotionnel du parcours de fondateur vers la fin de l'épisode.

Ouais, j'ai eu une nouvelle perspective sur l'entreprise et sur lui en tant que fondateur et leader juste en faisant cela, bien que nous pensions tout savoir avant de venir, et il s'est avéré que ce n'était pas le cas.

Il s'avère que le protagoniste en sait en fait plus.

Oui.

D'accord, eh bien auditeurs, rejoignez le Slack. Il y a des discussions incroyables sur tout ce qui concerne cette entreprise, l'IA, tout l'écosystème, et un tas d'autres épisodes que nous avons faits récemment. C'est sur acquired.fm/slack. Nous serions ravis de vous y voir. Et sans plus attendre, cette émission n'est pas un conseil en investissement. David et moi pouvons avoir des investissements dans les entreprises dont nous discutons, et cette émission est uniquement à des fins d'information et de divertissement. Place à Jensen.

Alors Jensen, c'est Acquired, donc nous voulons commencer par l'histoire. Nous voulons remonter le temps jusqu'en, je crois, 1997. Vous vous préparez à livrer la RIVA 128, qui est l'une des plus grandes puces graphiques jamais créées dans l'histoire de l'informatique. C'est le premier pipeline graphique 3D entièrement accéléré pour un ordinateur. Et vous avez environ six mois de trésorerie. Vous décidez donc de faire tous les tests en simulation plutôt que de recevoir un prototype physique. Vous commandez la production à l'aveugle avec le reste de l'argent de l'entreprise. Vous pariez donc tout sur la RIVA 128. Elle revient, et sur les 32 modes de mélange DirectX, elle en supporte huit. Et vous devez convaincre le marché de l'acheter, et convaincre les développeurs de n'utiliser que ces huit modes de mélange. Racontez-nous ce que vous avez ressenti.

Les 24 autres n'étaient pas si importants.

D'accord, alors attendez, première question. Était-ce le plan depuis le début ? Quand avez-vous réalisé que seulement huit allaient fonctionner ?

J'ai réalisé, je ne l'ai appris que lorsqu'il était trop tard. Nous aurions dû implémenter les 32. Mais nous avons construit ce que nous avons construit, et nous devions donc en tirer le meilleur parti. C'était vraiment une époque extraordinaire. Rappelez-vous, la RIVA 128 était le NV3. Les NV1 et NV2 étaient basés sur le mappage de texture direct, pas de triangles mais des courbes, et cela tessellait les courbes. Et parce que nous faisions le rendu d'objets de plus haut niveau, nous évitions essentiellement d'utiliser des Z-buffers, et nous pensions que ce serait une bonne approche de rendu. Et il s'est avéré que c'était complètement la mauvaise réponse. Et donc la RIVA 128 a été une remise à zéro de notre entreprise. Rappelez-vous qu'au moment où nous avons créé l'entreprise en 1993, nous étions la seule entreprise de graphisme 3D grand public jamais créée. Et nous nous concentrions sur la transformation du PC en un PC accéléré parce qu'à l'époque, Windows était vraiment un système de rendu logiciel. Quoi qu'en soit, la RIVA 128 a été une remise à zéro de notre entreprise car au moment où nous avons réalisé que nous avions fait fausse route, Microsoft avait déjà lancé DirectX. C'était fondamentalement incompatible avec l'architecture de Nvidia. 30 concurrents s'étaient déjà manifestés, même si nous étions la première entreprise au moment de notre fondation. Le monde était donc un endroit complètement différent. La question sur la stratégie de l'entreprise à adopter, à ce moment-là, je dirais que nous avions pris toute une série de mauvaises décisions, mais le jour qui comptait, nous avons pris une séquence de décisions extraordinairement bonnes. Et cette époque, 1997, a probablement été le meilleur moment de Nvidia. La raison en était que nous étions dos au mur. Nous manquions de temps, nous manquions d'argent et, pour beaucoup d'employés, nous manquions d'espoir. Et la question est : que faisons-nous ? Eh bien, la première chose que nous avons faite a été de décider que, voilà, DirectX est là maintenant. Nous n'allons pas le combattre. Allons trouver un moyen de construire la meilleure chose au monde pour lui. Et la RIVA 128 est le premier pipeline au monde entièrement accéléré par le matériel pour le rendu 3D. Ainsi, la transformation, la projection, chaque élément jusqu'au tampon d'image était complètement accéléré par le matériel. Nous avons implémenté un cache de texture. Nous avons porté la limite du bus, la limite du tampon d'image, au maximum de ce que la physique permettait à l'époque. Nous avons fabriqué la plus grosse puce que quiconque ait jamais imaginé construire. Nous avons utilisé les mémoires les plus rapides. En gros, si nous construisions cette puce, rien ne pourrait être plus rapide. Et nous avons également choisi un prix de revient substantiellement plus élevé que le prix le plus élevé que nous pensions que n'importe lequel de nos concurrents serait prêt à accepter. Si nous la construisions correctement, si nous accélérions tout, si nous implémentions tout ce que nous connaissions de DirectX, et si nous la construisions aussi grande que possible, alors évidemment personne ne pourrait construire quelque chose de plus rapide.

Aujourd'hui, vous faites cela ici chez Nvidia aussi. Vous étiez une entreprise de produits de consommation à l'époque, n'est-ce pas ? C'étaient les consommateurs finaux qui allaient devoir payer pour acheter ça.

C'est vrai. Mais nous avions observé qu'il y avait un segment du marché où les gens étaient, parce qu'à l'époque l'industrie du PC était encore en pleine ascension, et ce n'était pas assez bon. Tout le monde réclamait la chose la plus rapide. Et donc si votre performance était 10 fois supérieure cette année à ce qui était disponible, il y avait tout un grand marché de passionnés qui, nous le croyions, se seraient jetés dessus. Et nous avions tout à fait raison : l'industrie du PC avait un marché de passionnés substantiellement grand qui achetait le meilleur de tout. À ce jour, cela est resté vrai. Et pour certains segments du marché où la technologie n'est jamais assez bonne, comme le graphisme 3D, quand nous avons choisi la bonne technologie, le graphisme 3D n'est jamais assez bon. Et nous l'appelions à l'époque, la 3D nous donne une opportunité technologique durable parce que ce n'est jamais assez bon, et votre technologie peut donc continuer à s'améliorer. Nous avons choisi cela. Nous avons également pris la décision d'utiliser cette technologie appelée émulation. Il y avait une entreprise appelée ICOS, et le jour où je les ai appelés, ils étaient juste en train de fermer l'entreprise parce qu'ils n'avaient plus de clients. Et j'ai dit, écoutez, je vous achète ce que vous avez en stock et aucune promesse n'est nécessaire. Et la raison pour laquelle nous avions besoin de cet émulateur est que si vous calculez combien d'argent nous avions, si nous concevions une puce, que nous la récupérions de l'usine et que nous commencions à travailler sur notre logiciel, le temps que nous trouvions tous les bugs parce que nous avions fait le logiciel, puis que nous concevions à nouveau une puce, eh bien, nous aurions déjà fait faillite.

Et vos concurrents vous auraient rattrapé.

Sans oublier que nous aurions fait faillite. Et alors, qui s'en soucie ? Exactement. Et donc si vous allez faire faillite de toute façon, ce plan n'était évidemment pas le bon. Le plan que les entreprises suivent normalement, qui consiste à construire la puce, écrire le logiciel, corriger les bugs, concevoir une nouvelle puce, et ainsi de suite, cette méthode n'allait pas fonctionner. La question est donc la suivante : si vous n'avez que six mois et que vous ne pouvez lancer la production qu'une seule fois, alors évidemment vous allez lancer une puce parfaite. Je me souviens avoir eu des conversations avec nos dirigeants et ils disaient : mais Jensen, comment sais-tu qu'elle sera parfaite ? J'ai dit, je sais qu'elle sera parfaite parce que si elle ne l'est pas, nous ferons faillite. Alors rendons-la parfaite. Nous n'avons qu'une chance. Nous avons essentiellement prototypé virtuellement la puce en achetant cet émulateur. Et Dwight et l'équipe logicielle ont écrit notre logiciel, toute la pile, et l'ont fait tourner sur cet émulateur et sont restés assis dans le laboratoire en attendant que Windows s'affiche. Et quand il s'est affiché...

C'était 60 secondes pour une image ou quelque chose comme ça.

Facilement. Je pense en fait que c'était une heure par image, quelque chose comme ça. Et donc nous restions assis là à regarder l'affichage se faire. Et donc le jour où nous avons décidé de lancer la production, j'ai supposé que la puce était parfaite. Et tout ce que nous aurions pu tester, nous l'avions testé à l'avance et avions dit à tout le monde : voilà, nous allons lancer la puce, elle va être parfaite. Eh bien, si vous allez lancer une puce et que vous savez qu'elle est parfaite, alors que feriez-vous d'autre ? C'est en fait la bonne question. Si vous saviez qu'en appuyant sur entrée, vous lanciez une puce et que vous saviez qu'elle allait être parfaite, que feriez-vous d'autre ? Eh bien, la réponse est évidente : passer à la production.

Et lancer une offensive marketing.

Oui. Et les relations avec les développeurs. Juste commencer à tout lancer parce que vous avez une puce parfaite. Et donc nous nous sommes mis en tête que nous avions une puce parfaite.

Quelle part de tout cela venait de vous et quelle part venait de vos cofondateurs, du reste de l'entreprise, du conseil d'administration ? Est-ce que tout le monde vous disait que vous étiez fou ?

Non, tout le monde était conscient que nous n'avions aucune chance. Ne pas le faire serait fou parce qu'autrement autant rentrer chez soi. On va faire faillite de toute façon. Donc tout ce qui s'en écarte est fou. Cela semblait donc être une chose assez logique et très franchement, au moment où je le décris, vous vous dites probablement : oui, c'est assez sensé.

Eh bien, ça a marché.

Oui. Et nous avons pris cela et sommes allés directement en production.

Alors la leçon pour les fondateurs est-elle la suivante : quand on a une conviction sur quelque chose comme la RIVA 128 ou CUDA, faut-il parier l'entreprise dessus ? Et cela continue de fonctionner pour vous, donc il semble que la leçon que vous en avez tirée soit oui, continuez à tout miser car jusqu'à présent cela a fonctionné à chaque fois. Qu'en pensez-vous ?

Non. Quand vous misez tout, je sais que ça va marcher. Remarquez que nous avons supposé que nous lancions une puce parfaite. La raison pour laquelle nous avons lancé une puce parfaite est que nous l'avions émulée entièrement avant de le faire. Nous avons développé toute la pile logicielle. Nous avons fait du QA sur tous les pilotes et tous les logiciels. Nous avons fait tourner tous les jeux que nous avions. Nous avons fait tourner chaque application VGA que nous avions. Et donc quand vous misez tout, ce que vous faites vraiment quand vous jouez le tout pour le tout, c'est dire : je vais prendre tout ce qui est dans le futur, toutes les choses risquées, et je vais les anticiper. C'est probablement cela la leçon. Et à ce jour, tout ce que nous pouvons pré-extraire, tout ce qui est dans le futur que nous pouvons simuler aujourd'hui, nous le pré-extrayons.

Et nous en parlons souvent, nous en parlions justement dans notre épisode sur Costco. Vous voulez tout miser quand vous savez que ça va marcher.

Donc chaque fois que nous vous voyons faire un pari risqué pour l'entreprise, vous l'avez déjà simulé. Vous le savez.

Oui. Pensez-vous que cétait le cas avec CUDA ? Oui. En fait, avant qu'il y ait CUDA, il y avait Cg.

C'est vrai.

Et donc nous jouions déjà avec le concept de comment créer une couche d'abstraction au-dessus de notre puce qui soit exprimable dans un langage de plus haut niveau et une expression de plus haut niveau, et comment utiliser notre GPU pour des choses comme la reconstruction CT, le traitement d'images. Nous étions déjà sur cette voie. Il y avait donc un retour positif intuitif nous laissant penser que l'informatique polyvalente pourrait être possible. Et si vous regardez simplement le pipeline d'un shader programmable, c'est un processeur, il est hautement parallèle, il est massivement threadé et c'est le seul processeur au monde qui fait cela. Il y avait donc beaucoup de caractéristiques dans le shading programmable qui suggéraient que CUDA avait une grande opportunité de réussir.

Et c'est vrai s'il y avait un grand marché de praticiens de l'apprentissage automatique qui finiraient par apparaître et vouloir faire tout ce calcul scientifique génial et ce calcul accéléré. Mais au moment où vous avez commencé à investir ce qui représente maintenant environ 10 000 années-personnes dans la construction de cette plateforme, avez-vous jamais eu l'impression d'avoir investi avant la demande pour l'apprentissage automatique puisque nous sommes une décennie avant que le monde entier ne s'en rende compte ?

Je dirais oui et non. Quand nous avons vu le deep learning, quand nous avons vu AlexNet et réalisé son incroyable efficacité dans la vision par ordinateur, nous avons eu le bon sens de revenir aux premiers principes et de nous demander qu'est-ce qui dans cette chose la rendait si réussie ? Lorsqu'une nouvelle technologie logicielle, un nouvel algorithme arrive et dépasse d'une manière ou d'une autre 30 ans de travaux sur la vision par ordinateur, vous devez prendre du recul et vous demander : mais pourquoi ? Et fondamentalement, est-ce évolutif ? Et si c'est évolutif, quels autres problèmes cela peut-il résoudre ? Et il y a eu plusieurs observations que nous avons faites. La première observation, bien sûr, est que si vous avez une grande quantité de données d'exemple, vous pourriez apprendre à cette fonction à faire des prédictions. Eh bien, ce que nous avons fait, c'est découvrir un approximateur universel de fonctions parce que la dimensionnalité pourrait être aussi élevée que vous le souhaitez et parce que chaque couche est entraînée une par une, il n'y a aucune raison pour que vous ne puissiez pas créer des réseaux neuronaux très, très profonds. D'accord, alors maintenant vous raisonnez par vous-même, n'est-ce pas ? D'accord, alors maintenant je reviens 12 ans en arrière et vous pouvez imaginer le raisonnement que je tiens dans ma tête, à savoir que nous avons découvert un approximateur universel de fonctions, en fait nous pourrions avoir découvert avec quelques technologies supplémentaires un ordinateur universel que vous pouvez...

Et vous aviez prêté attention à la compétition ImageNet chaque année avant cela ?

Oui. Et la raison en est que nous travaillions déjà sur la vision par ordinateur à l'époque et nous essayions de faire de CUDA un bon système de vision par ordinateur. La plupart des algorithmes qui ont été créés pour la vision par ordinateur ne conviennent pas bien à CUDA. Et donc nous étions là à essayer de comprendre, quand tout à coup AlexNet apparaît. C'était donc incroyablement intriguant. C'est si efficace que cela vous oblige à prendre du recul et à vous demander pourquoi cela se produit. Donc, au moment où vous finissez votre raisonnement, vous vous dites : eh bien, quels sont les types de problèmes dans le monde qu'un approximateur universel de fonctions peut résoudre ? Je suis curieux de savoir cela. Eh bien, nous savons que la plupart de nos algorithmes partent de sciences fondées sur des principes. D'accord, vous voulez comprendre la causalité et à partir de la causalité vous créez un algorithme de simulation qui nous permet d'évoluer. Eh bien, pour beaucoup de problèmes, nous ne nous soucions pas vraiment de la causalité, nous nous soucions juste de sa prévisibilité. Par exemple, est-ce que cela m'importe vraiment de savoir pour quelle raison vous préférez ce dentifrice à celui-là ? Je ne me soucie pas vraiment de la causalité, je veux juste savoir que c'est celui-là que vous auriez prédit. Est-ce que je me soucie vraiment du fait que la cause fondamentale de quelqu'un qui achète un hot-dog est d'acheter du ketchup et de la moutarde ? Cela n'a pas vraiment d'importance. Ce qui compte seulement, c'est que je puisse le prédire. Cela s'applique à la prédiction de films, de musique. Cela s'applique à la prédiction météo. Nous comprenons la thermodynamique, nous comprenons le rayonnement solaire, nous comprenons les effets des nuages, nous comprenons les effets océaniques, nous comprenons toutes ces différentes choses. Nous voulons juste savoir si nous devons porter un pull ou non. N'est-ce pas ? Oui. Et donc la causalité pour beaucoup de problèmes dans le monde n'a pas d'importance. Nous voulons simplement émuler le système et prédire le résultat.

Et cela peut être un marché incroyablement lucratif. Si vous pouvez prédire quel sera le prochain élément de flux le plus performant à servir dans un flux de médias sociaux, il s'avère que c'est un marché d'une valeur énorme.

C'est là que je voulais en venir. J'adore les exemples que vous avez pris : dentifrice, ketchup, musique, films.

Nous en sommes donc là aujourd'hui, et c'est là que Nvidia en est aujourd'hui. Mais je suis curieux, il y a quelques années après AlexNet, et c'est à ce moment-là que Ben et moi nous lancions nous-mêmes dans l'industrie technologique et l'industrie du capital-risque.

J'ai commencé chez Microsoft en 2012. Donc juste après AlexNet, mais avant que quiconque ne parle d'apprentissage automatique, même dans la communauté d'ingénierie traditionnelle.

Il y a eu ces quelques années où, pour une grande partie du reste du monde, cela ressemblait à des projets scientifiques. Les entreprises technologiques ici dans la Silicon Valley, en particulier les entreprises de médias sociaux, commençaient tout juste à en tirer une valeur économique énorme, les Google, les Facebook, les Netflix, etc. Et évidemment cela a mené à beaucoup de choses, y compris OpenAI quelques années plus tard. Mais pendant ces quelques années, quand vous voyiez tout simplement cet énorme déblocage de valeur économique ici dans la Silicon Valley, comment vous sentiez-vous à cette époque ?

La première pensée était bien sûr de réfléchir à la manière dont nous devions modifier notre pile informatique. La deuxième pensée était : où pouvons-nous trouver les premières possibilités d'utilisation ? Si nous devions construire cet ordinateur, à quoi les gens l'utiliseraient-ils ? Et nous avons eu la chance que le travail avec les universités et les chercheurs du monde entier soit inné dans notre entreprise parce que nous travaillions déjà sur CUDA et les premiers adoptants de CUDA étaient des chercheurs parce que nous avions démocratisé le supercalcul. CUDA n'est pas seulement utilisé pour l'IA, CUDA est utilisé pour presque tous les domaines de la science. Tout, de la dynamique moléculaire à l'imagerie, de la reconstruction CT au traitement sismique, aux simulations météorologiques, à la chimie quantique, la liste est longue, n'est-ce pas ? Et donc le nombre d'applications de CUDA dans la recherche était très élevé. Et donc quand le moment est venu et que nous avons réalisé que le deep learning pouvait être vraiment intéressant, il était naturel pour nous de retourner voir les chercheurs et de trouver chaque chercheur en IA sur la planète et de dire comment pouvons-nous vous aider à faire progresser votre travail. Et cela incluait Yann LeCun et Andrew Ng et Geoff Hinton et c'est ainsi que j'ai rencontré toutes ces personnes et j'avais l'habitude d'aller à toutes les conférences sur l'IA et c'est là que j'ai rencontré Ilya Sutskever pour la première fois. Il s'agissait donc vraiment, à ce moment-là, de savoir quels sont les systèmes que nous pouvons construire et les piles logicielles que nous pouvons construire pour vous aider à mieux réussir, à faire progresser la recherche, car à l'époque, cela ressemblait à un jouet. Mais nous avions confiance que même avec les GAN, la première fois que j'ai rencontré Goodfellow, le GAN était de 32 par 32. Et c'était juste une image floue d'un chat. Mais jusqu'où cela peut-il aller ? Et donc nous y avons cru. Nous avons cru que, d'une part, on pouvait faire évoluer le deep learning parce qu'évidemment il est entraîné couche par couche et qu'on pouvait agrandir les ensembles de données et les modèles, et nous avons cru que si on les agrandissait encore et encore, cela deviendrait de mieux en mieux. C'est assez sensé. Et je pense que les discussions et les engagements avec les chercheurs ont été exactement le système de rétroaction positive dont nous avions besoin. Je retournais à la recherche, c'est là que tout se passait.

Lorsqu'OpenAI a été fondée en 2015, c'était un moment tellement important, ce qui est évident aujourd'hui, mais à l'époque je pense que la plupart des gens, même dans la tech, se demandaient ce que c'était. Étiez-vous impliqué d'une manière ou d'une autre ? Parce que vous étiez tellement lié aux chercheurs, à Ilya, en retirant ce talent de Google et Facebook pour être franc, mais réensemencer la communauté de recherche et l'ouvrir était un moment si important. Étiez-vous impliqué du tout ?

Je n'ai pas été impliqué dans sa fondation, mais je connaissais beaucoup de gens là-bas, Elon bien sûr je le connaissais et Peter Abbeel était là et Ilya était là et nous avons d'excellents employés aujourd'hui qui étaient là au début et je savais qu'ils avaient besoin de cet ordinateur incroyable que nous construisions. Nous construisions la première version du DGX qui aujourd'hui, quand vous voyez un Hopper, pèse 70 livres, 35 000 pièces, 10 000 ampères, mais le DGX, la première version que nous avons construite, était utilisée en interne et j'ai livré le premier à OpenAI et c'était une journée amusante. Mais l'essentiel de notre succès s'est aligné au début sur le simple fait d'aider les chercheurs à passer au niveau supérieur. Je savais que ce n'était pas très utile dans son état actuel, mais je croyais aussi qu'en quelques clics cela pourrait être vraiment remarquable. Et ce système de croyance est venu des interactions avec tous ces chercheurs incroyables et il est venu du simple fait de voir les progrès progressifs. Au début, les articles sortaient tous les trois mois et aujourd'hui les articles sortent tous les jours, n'est-ce pas ? On pouvait donc simplement surveiller les articles sur arXiv et je me suis intéressé à l'apprentissage des progrès du deep learning et, au mieux de mes capacités, j'ai lu ces articles et on pouvait voir les progrès se produire en temps réel, de manière exponentiellement réelle.

Il semble même qu'au sein de l'industrie, d'après certains chercheurs avec qui nous avons discuté, personne n'avait prédit à quel point les modèles de langage deviendraient utiles simplement en augmentant la taille des modèles. Ils pensaient qu'il devait y avoir un changement algorithmique nécessaire. Mais une fois que vous avez franchi la barre des 10 milliards de paramètres et certainement une fois que vous avez franchi les 100 milliards, ils sont devenus magiquement beaucoup plus précis, beaucoup plus utiles, beaucoup plus vivants. Avez-vous été choqué par cela la première fois que vous avez vu un modèle de langage vraiment volumineux et vous souvenez-vous de ce sentiment ?

Eh bien, ma première impression sur le modèle de langage a été de voir à quel point il était astucieux de simplement masquer des mots et de lui faire prédire le mot suivant. C'est l'apprentissage auto-supervisé à son meilleur. Nous avons tout ce texte, je connais la réponse, je vais juste te faire deviner. Et donc ma première impression de BERT a été vraiment de voir à quel point c'était astucieux et maintenant la question est de savoir comment on peut faire évoluer cela. La première observation sur presque tout est intéressante, puis on essaie de comprendre intuitivement pourquoi cela fonctionne et l'étape suivante, bien sûr, consiste à se demander à partir des premiers principes comment on pourrait extrapoler cela. Oui. Et donc évidemment nous savions que BERT allait être beaucoup plus grand. Maintenant, l'une des choses à propos de ces modèles de langage, c'est qu'ils encodent de l'information, n'est-ce pas ? Ils compressent l'information. Et donc dans les langues et les textes du monde entier, il y a une bonne dose de raisonnement qui y est encodée. Nous décrivons beaucoup de choses relevant du raisonnement et donc si vous disiez qu'un raisonnement en quelques étapes est en quelque sorte apprenable juste en lisant des choses, je ne serais pas surpris. Pour beaucoup d'entre nous, nous acquérons notre bon sens et notre capacité de raisonnement en lisant. Et alors pourquoi un modèle d'apprentissage automatique n'apprendrait-il pas aussi certaines des capacités de raisonnement à partir de cela ? Et à partir des capacités de raisonnement, on peut avoir des capacités émergentes, n'est-ce pas ? Les capacités émergentes sont cohérentes intuitivement avec le raisonnement. Et donc une partie de cela pourrait être prévisible, mais quand même, c'est toujours incroyable. Le fait que ce soit sensé ne le rend pas moins incroyable. C'est vrai. Je pourrais visualiser littéralement l'ordinateur entier et tous les modules d'une voiture autonome. Et le fait qu'elle garde toujours sa voie me rend incroyablement heureux. Et donc...

Je me souviens même de cela lors de mon premier cours sur les systèmes d'exploitation à l'université, quand j'ai enfin compris tout le cheminement, du langage de programmation aux cours de génie électrique reliés au milieu par ce cours sur les OS, j'ai pensé : je crois que je comprends comment fonctionne l'ordinateur de von Neumann de A à Z. Et c'est toujours un miracle.

Exactement. Quand on met tout cela ensemble, c'est toujours un miracle. Oui.

C'est le moment idéal pour parler de l'une de nos entreprises préférées, Statsig, et nous avons un peu d'histoire technologique pour vous.

Oui. Dans notre épisode Nvidia Partie 3, nous avons parlé de la façon dont les équipes de recherche en IA de Google et Facebook ont généré des résultats commerciaux incroyables avec des modèles d'apprentissage automatique de pointe. Et ces modèles ont alimenté des fonctionnalités telles que le flux d'actualités Facebook, Google Ads et les recommandations de la vidéo suivante sur YouTube, transformant au passage Google et Facebook en géants que nous connaissons aujourd'hui. Et alors que nous avons parlé de la recherche, nous n'avons pas abordé la façon dont ces modèles étaient réellement déployés.

Oui, la façon la plus courante de déployer de nouveaux modèles était l'expérimentation, les tests AB. Lorsque l'équipe de recherche créait un nouveau modèle, les ingénieurs produits déployaient le modèle auprès d'un sous-ensemble d'utilisateurs et mesuraient l'impact du modèle sur les indicateurs de performance clés du produit. Les excellents outils d'expérimentation ont transformé le processus de développement de l'apprentissage automatique. Ils ont réduit les risques liés aux lancements puisque chaque modèle pouvait être diffusé auprès d'un petit groupe d'utilisateurs. Ils ont accéléré les cycles de déploiement. Les chercheurs pouvaient soudainement obtenir un retour rapide à partir de données d'utilisateurs réels. Et plus important encore, ils ont créé une culture pragmatique et axée sur les données, puisque les chercheurs étaient récompensés pour avoir généré des améliorations concrètes sur les produits. Et avec le temps, ces outils d'expérimentation ont donné à Facebook et Google un avantage énorme car ils sont vraiment devenus une exigence pour les équipes d'apprentissage automatique de pointe.

Oui. Alors vous vous dites probablement : c'est super pour Facebook et Google, mais mon équipe ne peut pas construire sa propre plateforme d'expérimentation interne. Eh bien, vous n'avez pas à le faire, grâce à Statsig. Statsig a littéralement été fondée par d'anciens ingénieurs de Facebook qui ont fait tout cela. Ils ont construit une plateforme d'expérimentation, de feature flagging et d'analyse de produit de premier ordre qui est accessible à tous. Et surprise, surprise, une tonne d'entreprises d'IA utilisent maintenant Statsig pour améliorer et déployer leurs modèles, y compris OpenAI et Anthropic.

Oui. Que vous construisiez avec l'IA ou non, Statsig peut aider votre équipe à livrer plus vite et à prendre de meilleures décisions produits basées sur les données. Ils ont une version gratuite très généreuse et un programme spécial pour les entreprises soutenues par du capital-risque, une tarification simple pour les entreprises et pas de frais basés sur le nombre d'utilisateurs. Si vous faites partie de la communauté Acquired, il y a une offre spéciale. Vous obtenez 5 millions d'événements gratuits par mois et un support d'intégration personnalisé. Visitez donc statsig.com/acquired et commencez votre parcours axé sur les données.

Nous avons quelques questions que nous voulons vous poser. Certaines sont culturelles concernant Nvidia, mais d'autres sont généralisables à la création d'entreprise au sens large. La première que nous voulions poser est que nous avons entendu dire que vous avez plus de 40 subordonnés directs et que cet organigramme fonctionne très différemment de celui d'une entreprise traditionnelle. Pensez-vous qu'il y a quelque chose de spécial chez Nvidia qui vous permet d'avoir autant de subordonnés directs, sans vous soucier de les chouchouter ou de vous concentrer sur la progression de carrière de vos cadres ? Vous dites : « non, vous êtes juste là pour faire votre meilleur travail et la chose la plus importante au monde, maintenant allez-y ». A, est-ce exact ? Et B, y a-t-il quelque chose de spécial chez Nvidia qui permet cela ?

Je ne pense pas que ce soit quelque chose de spécial à Nvidia. Je pense que nous avons eu le courage de construire un système comme celui-ci. Nvidia n'est pas construite comme une armée. Elle n'est pas construite comme les forces armées où vous avez des généraux et des colonels. Nous ne sommes tout simplement pas organisés comme cela. Nous ne sommes pas organisés dans un système de commandement et de contrôle et de distribution de l'information du haut vers le bas. Nous sommes vraiment construits beaucoup plus comme une pile informatique. Et dans une pile informatique, la couche la plus basse est notre architecture, puis il y a notre puce, puis notre logiciel et par-dessus tout cela, il y a tous ces différents modules et chacune de ces couches et modules sont des personnes. Et donc l'architecture de l'entreprise est pour moi un ordinateur avec une pile informatique avec des gens gérant différentes parties du système. Et qui rapporte à qui, votre titre n'est lié à aucun endroit où vous vous trouvez dans la pile. Il se trouve juste que celui qui est le meilleur pour faire fonctionner ce module sur cette fonction sur cette couche est en charge et cette personne est le pilote aux commandes. C'est donc une caractéristique.

Avez-vous toujours pensé à l'entreprise de cette façon, même depuis les premiers jours ?

À peu près, oui. Et la raison en est que votre organisation devrait être l'architecture du mécanisme de fabrication du produit. N'est-ce pas ? C'est ce qu'est une entreprise. Oui. Et pourtant l'entreprise de tout le monde se ressemble exactement, mais elles construisent toutes des choses différentes. En quoi cela a-t-il un sens ? Vous voyez ce que je veux dire ? Oui. Vous savez, la façon de faire du poulet frit par rapport à la façon de retourner des burgers par rapport à la façon de faire du riz frit chinois est différente. Alors pourquoi le mécanisme, pourquoi le processus serait-il exactement le même ? Ce n'est donc pas sensé pour moi que si vous regardez les organigrammes de la plupart des entreprises, ils se ressemblent tous et ensuite vous avez un groupe pour une activité et vous en avez un autre pour une autre activité, vous en avez un autre pour une autre activité et ils sont tous censés être autonomes. Rien de tout cela n'a de sens pour moi. Cela dépend simplement de ce que nous essayons de construire et de l'architecture de l'entreprise qui convient le mieux pour aller le construire. C'est donc le point numéro un. En ce qui concerne le système d'information et comment vous permettez la collaboration, nous l'avons en quelque sorte câblé comme un réseau neuronal. Et la façon dont nous disons, il y a une phrase dans l'entreprise qui dit : « la mission est le patron ». Nous déterminons donc quelle est la mission, et nous allons câbler les meilleures compétences et les meilleures équipes et les meilleures ressources pour accomplir cette mission. Cela traverse toute l'organisation d'une manière qui n'a pas de sens, mais cela ressemble un peu à un réseau neuronal, si vous voulez.

Et quand vous dites mission, voulez-vous dire une mission comme la mission de Nvidia est de construire Hopper ? Oui, d'accord, donc ce n'est pas faire progresser davantage le calcul accéléré. C'est nous livrons DGX Cloud.

Construire Hopper ou le travail de quelqu'un d'autre est de construire un système pour Hopper. Quelqu'un a construit CUDA pour Hopper. Le travail de quelqu'un est de construire cuDNN pour CUDA pour Hopper. Le travail de quelqu'un est la mission, n'est-ce pas ? Et donc votre mission est de faire quelque chose.

Quels sont les compromis associés à cela par rapport à la structure traditionnelle ?

L'inconvénient est que la pression sur les dirigeants est assez élevée. Et la raison en est que dans un système de commandement et de contrôle, la personne à qui vous rapportez a plus de pouvoir que vous. Et la raison pour laquelle elle a plus de pouvoir que vous est qu'elle est plus proche de la source d'information que vous. Dans notre entreprise, l'information est diffusée assez rapidement à beaucoup de personnes différentes et c'est généralement au niveau de l'équipe. Par exemple, tout à l'heure, j'étais dans notre réunion sur la robotique et nous parlions de certaines choses et nous prenions des décisions et il y avait de nouveaux diplômés universitaires dans la salle, il y avait trois vice-présidents dans la salle, il y avait deux membres de l'E-staff dans la salle, et au moment où nous avons décidé ensemble, nous avons raisonné sur des choses, nous avons pris une décision, tout le monde l'a entendue exactement en même temps. Personne n'a donc plus de pouvoir que quiconque. Est-ce que cela a du sens ? Le nouveau diplômé a appris exactement au même moment que l'E-staff. Et donc l'état-major exécutif et les dirigeants qui travaillent pour moi et moi-même, vous méritez le droit d'avoir votre poste en fonction de votre capacité à raisonner sur les problèmes et à aider les autres à réussir. Et ce n'est pas parce que vous avez une information privilégiée que je savais que la réponse était 3,7 et que moi seul le savais ; tout le monde le savait.

Lorsque nous avons fait notre épisode le plus récent, Nvidia Partie 3, nous avons fait cet exercice de réflexion. Surtout au cours des deux dernières années, votre cycle de livraison de produits a été très impressionnant, surtout compte tenu du niveau de technologie avec lequel vous travaillez et de la difficulté de tout cela. Nous avons dit : « pourriez-vous imaginer Apple livrant deux iPhones par an ? »

Et nous avons dit cela à titre d'illustration, pas pour s'en prendre à Apple ou quoi que ce soit, mais une grande entreprise technologique livrant deux produits phares ou son produit phare deux fois par an. Oui, ou deux WWDC par an.

On ne peut pas vraiment l'imaginer, alors que cela se produit ici. Y a-t-il d'autres entreprises, actuelles ou historiques, que vous admirez, dont vous respectez le travail, ou dont vous vous êtes peut-être inspiré ?

Au cours des 30 dernières années, j'ai lu ma juste part de livres de business. Et comme pour tout ce que vous lisez, vous êtes censé tout d'abord l'apprécier, n'est-ce pas ? L'apprécier, en être inspiré, mais pas l'adopter tel quel. Ce n'est pas le but de ces livres. Le but de ces livres est de partager leurs expériences et vous êtes censé vous demander ce que cela signifie pour moi dans mon monde et ce que cela signifie pour moi dans le contexte de ce que je traverse ? Qu'est-ce que cela signifie pour moi dans l'environnement dans lequel je me trouve ? Qu'est-ce que cela signifie pour moi dans ce que j'essaie d'accomplir ? Qu'est-ce que cela signifie pour Nvidia compte tenu de l'âge de notre entreprise et des capacités de notre entreprise ? Et donc vous êtes censé vous demander : qu'est-ce que cela signifie pour vous ? Et à partir de là, en étant informé par toutes ces différentes choses que nous apprenons, nous sommes censés élaborer nos propres stratégies. Ce que je viens de décrire est ma façon de tout aborder. Vous êtes censé être inspiré et apprendre de tout le monde et l'éducation est gratuite. Quand quelqu'un parle d'un nouveau produit, vous êtes censé l'écouter, vous n'êtes pas censé l'ignorer. Vous êtes censé en tirer des leçons et cela pourrait être un concurrent, cela pourrait être une industrie adjacente, cela pourrait n'avoir rien à voir avec nous. Plus nous apprenons de ce qui se passe dans le monde, mieux c'est. Mais ensuite, vous êtes censé revenir et vous demander : qu'est-ce que cela signifie pour nous ?

Oui, vous ne voulez pas simplement les imiter.

C'est exact. Oui. J'adore cette mise en avant de l'apprentissage sans imitation et de l'apprentissage à partir d'un large éventail de sources. Il y a cet incroyable troisième élément de ce qu'est devenu Nvidia aujourd'hui et c'est le centre de données. Ce n'est certainement pas évident. Je ne peux pas déduire d'AlexNet et de votre engagement avec la communauté de recherche et les recommandateurs de flux de médias sociaux que vous avez décidé, avec l'entreprise, de vous lancer dans un voyage de cinq ans à fond sur le centre de données. Comment cela s'est-il passé ?

Notre voyage vers le centre de données a commencé, je dirais, il y a presque 17 ans. On me demande toujours quels sont les défis que l'entreprise pourrait rencontrer un jour. Et j'ai toujours eu le sentiment que le fait que la technologie de Nvidia soit branchée sur un ordinateur et que cet ordinateur doive être assis à côté de vous parce qu'il doit être connecté à un moniteur, cela limitera notre opportunité un jour parce qu'il n'y a qu'un nombre limité de PC de bureau sur lesquels brancher un GPU. Et il n'y avait qu'un nombre limité de CRT et à l'époque de LCD que nous pouvions éventuellement piloter. La question est donc la suivante : ne serait-ce pas incroyable si notre ordinateur n'avait pas besoin d'être connecté au dispositif de visualisation ? Que la séparation de ces deux éléments nous permette de calculer ailleurs. Et l'un de nos ingénieurs est venu me le montrer un jour et il s'agissait vraiment de capturer le tampon d'image, de l'encoder en vidéo et de le diffuser vers un dispositif récepteur. Séparer le calcul de la visualisation.

D'une certaine manière, c'est le cloud gaming il y a 18 ans.

En fait, c'est à ce moment-là que nous avons commencé GFN. Nous savions que GFN allait être un voyage qui prendrait beaucoup de temps parce qu'on se bat contre toutes sortes de problèmes, y compris la vitesse de la lumière. Latence partout où vous regardez. C'est vrai. GFN, GeForce Now. GeForce Now, oui, GeForce Now.

Tout cela fait sens, votre premier produit cloud.

C'est exact. Et regardez, GeForce Now a été le premier produit de centre de données de Nvidia. Et notre deuxième produit de centre de données a été le graphisme à distance, en mettant nos GPU dans les centres de données d'entreprise du monde entier. Ce qui nous a ensuite conduits à notre troisième produit, qui combinait CUDA plus notre GPU, qui est devenu un superordinateur. Qui a évolué encore et encore. Et la raison pour laquelle c'est si important est que la déconnexion entre l'endroit où le calcul de Nvidia est effectué et l'endroit où il est apprécié, si vous pouvez séparer cela, votre opportunité de marché explose. Et c'était tout à fait vrai. Et donc nous ne sommes plus limités par les contraintes physiques du PC de bureau posé près de votre bureau. Et nous ne sommes pas limités par un GPU par personne. Et donc peu importe où il se trouve. Et c'était donc vraiment la grande observation.

C'est un bon rappel. Le segment des centres de données de l'activité de Nvidia est devenu pour moi synonyme de « comment va l'IA ? ». Et c'est une fausse équivalence. Et il est intéressant de noter que vous n'étiez prêt à exploser dans l'IA dans le centre de données que parce que vous aviez déjà trois produits précédents où vous aviez appris à construire des ordinateurs de centre de données, même si ces marchés n'étaient pas ces changements technologiques bouleversants au même titre que l'IA. C'est ainsi que vous avez appris.

C'est exact. Vous voulez préparer la voie pour de futures opportunités. Vous ne pouvez pas attendre que l'opportunité soit devant vous pour la saisir. Et vous devez donc anticiper ; notre travail en tant que PDG est de regarder au-delà des virages et d'anticiper où seront les opportunités un jour. Et même si je ne suis pas exactement sûr de quoi ni de quand, comment positionner l'entreprise pour en être proche ? Pour être simplement debout près de l'arbre et pouvoir faire une capture en plongeant quand la pomme tombe. Vous voyez ce que je veux dire ? Oui. Mais il faut être assez proche pour faire l'attrape en plongeant.

Revenons en 2015 et OpenAI. Si vous n'aviez pas posé ces bases dans le centre de données, vous ne seriez pas en train d'alimenter OpenAI en ce moment.

Oui, mais l'idée que le calcul serait principalement effectué loin du dispositif de visualisation, que la vaste majorité du calcul serait effectuée loin de l'ordinateur lui-même, cette intuition était bonne. En fait, le cloud computing, tout ce qui concerne l'informatique d'aujourd'hui, concerne la séparation de cela. En le mettant dans un centre de données, nous pouvons surmonter ce problème de latence. Je veux dire, vous n'allez pas dépasser la vitesse de la lumière. La vitesse de la lumière de bout en bout n'est que de 120 millisecondes environ. Ce n'est pas si long.

D'un centre de données à un utilisateur n'importe où sur la planète. Oui, d'accord. Oh, je vois. De bout en bout littéralement à travers la planète.

Oui, c'est ça. Donc si vous pouviez résoudre ce problème, approximativement quelque chose comme ça, j'oublie le chiffre, mais c'est 70 millisecondes, 100 millisecondes. Mais ce n'est pas si long. Et donc mon point est que si vous pouviez supprimer les obstacles partout ailleurs, alors la vitesse de la lumière devrait être parfaitement correcte et vous pourriez construire des centres de données aussi grands que vous le souhaitez et vous pourriez faire des choses incroyables et ce petit appareil minuscule que nous utilisons comme ordinateur ou votre téléviseur comme ordinateur, n'importe quel ordinateur, ils peuvent tous instantanément devenir incroyables. Et donc cette intuition d'il y a 15 ans était la bonne.

Alors, en parlant de la vitesse de la lumière, InfiniBand.

Ouais.

David me supplie d'y aller. Je le sens.

J'avais la même pensée.

Eh bien, il y avait plusieurs raisons à cela. Premièrement, si vous voulez être une entreprise de centres de données, construire la puce de traitement n'est pas la solution. Un centre de données se distingue d'un ordinateur de bureau ou d'un téléphone portable, non pas par le processeur qu'il contient. Un ordinateur de bureau et un centre de données utilisent les mêmes CPU, utilisent les mêmes GPU, apparemment, n'est-ce pas ? Très proches. Et donc ce n'est pas la puce, ce n'est pas la puce de traitement qui le décrit, mais c'est sa mise en réseau, c'est son infrastructure, c'est la façon dont le calcul est distribué, comment la sécurité est assurée, comment la mise en réseau est faite, et ainsi de suite. Et donc ces caractéristiques sont associées à Mellanox, pas à NVIDIA. Et donc le jour où j'ai conclu que NVIDIA voulait construire les ordinateurs du futur, et que les ordinateurs du futur allaient être des centres de données, incarnés dans des centres de données, et si nous voulons être une entreprise orientée vers les centres de données, alors nous devons vraiment nous lancer dans le réseau. C'était donc un point. La deuxième chose est l'observation que si le cloud computing a commencé dans l'hyperscale, qui consiste à prendre des composants de commodité, beaucoup d'utilisateurs, et à virtualiser de nombreux utilisateurs sur un seul ordinateur, l'IA concerne vraiment le calcul distribué où une tâche, une tâche d'entraînement, est orchestrée sur des millions de processeurs.

Et c'est donc presque l'inverse de l'hyperscale. Et la façon dont vous concevez un ordinateur hyperscale avec de l'Ethernet standard, ce qui est parfait pour Hadoop, ce qui est parfait pour les requêtes de recherche, ce qui est parfait pour toutes ces choses, est...

Pas quand vous fragmentez un modèle à travers tout ça, exact. Et donc cette observation dit que le type de réseau que vous voulez faire n'est pas exactement de l'Ethernet, et la façon dont nous faisons le réseau pour le supercalcul est vraiment idéale. Et donc la combinaison de ces deux idées m'a convaincu que Mellanox était absolument la bonne entreprise parce qu'ils étaient le leader mondial des réseaux haute performance, et nous travaillions déjà avec eux dans de nombreux domaines différents du calcul haute performance. De plus, j'aime vraiment les gens. L'équipe d'Israël est de classe mondiale. Nous y avons quelque 3 200 personnes maintenant, et ce fut l'une des meilleures décisions stratégiques que j'aie jamais prises.

Lorsque nous faisions des recherches, en particulier pour la troisième partie de notre série sur NVIDIA, nous avons parlé à beaucoup de gens, et beaucoup nous ont dit que l'acquisition de Mellanox est l'une des meilleures, sinon la meilleure, de tous les temps par une entreprise technologique.

Oui, je le pense aussi. Et c'est tellement déconnecté du travail que nous faisons normalement que cela a surpris tout le monde.

Mais présenté de cette façon, vous vous teniez près de l'action, donc vous pouviez comprendre dès que cette pomme devenait disponible à l'achat : « oh, les LLM sont sur le point d'exploser. Je vais avoir besoin de ça. Tout le monde va en avoir besoin ». Je pense que je le savais avant n'importe qui d'autre.

Oui. Vous voulez vous positionner près des opportunités. Vous n'avez pas besoin d'être parfait à ce point. Vous voulez juste vous positionner près de l'arbre. Et même si vous n'attrapez pas la pomme avant qu'elle ne touche le sol, pourvu que vous soyez le premier à la ramasser. Vous voulez juste vous positionner à proximité des opportunités. Et donc une grande partie de mon travail consiste à positionner l'entreprise près des opportunités et à faire en sorte que l'entreprise ait les compétences nécessaires pour monétiser chacune des étapes en cours de route afin que nous puissions être durables.

Ce que vous venez de dire me rappelle un excellent aphorisme de Buffett et Munger, qui est qu'il vaut mieux avoir approximativement raison que d'avoir exactement tort.

Aha, voilà. Oui, c'en est un bon. C'en est un bon. Oui.

Très bien, auditeurs, nous sommes ici pour vous parler d'une entreprise qui ne pourrait littéralement pas être plus parfaite pour cet épisode, Crusoe.

Oui. Crusoe, comme vous le savez maintenant, est un fournisseur de cloud conçu spécifiquement pour les charges de travail d'IA et alimenté par de l'énergie propre. Et NVIDIA est un partenaire majeur de Crusoe. Leurs centres de données sont remplis de A100 et de H100. Et comme vous le savez probablement, avec la demande croissante pour l'IA, il y a eu une énorme vague de besoins en GPU haute performance, ce qui a entraîné une pénurie notable de GPU NVIDIA sur le marché. Crusoe a eu une longueur d'avance et fait partie des premiers fournisseurs de cloud à proposer des H100 de NVIDIA à grande échelle. Ils ont une stratégie très simple : créer la meilleure solution de cloud d'IA pour les clients en utilisant le meilleur matériel GPU du marché que les clients demandent, comme NVIDIA, et investir massivement dans une pile logicielle cloud optimisée.

Oui. Pour illustrer, ils ont déjà plusieurs clients qui font tourner des charges de travail d'IA générative à grande échelle sur des clusters de GPU NVIDIA H100, qui sont interconnectés avec l'InfiniBand à 3 200 gigabits et exploitent la solution de stockage par blocs en réseau de Crusoe. Et parce que leur cloud fonctionne sur de l'énergie gaspillée, bloquée ou propre, ils peuvent offrir des performances par dollar nettement meilleures que les fournisseurs de cloud traditionnels.

Oui. Finalement, cela aboutit à une situation gagnant-gagnant énorme. Ils prennent ce qui est par ailleurs une énorme quantité de gaspillage d'énergie causant des dommages environnementaux et l'utilisent pour alimenter des charges de travail d'IA massives. Et il convient de noter qu'à travers leurs opérations, Crusoe réduit en fait plus d'émissions qu'ils n'en généreraient. En fait, en 2022, Crusoe a capturé plus de 4 milliards de pieds cubes de gaz, ce qui a permis d'éviter environ 500 000 tonnes métriques d'émissions de CO2. C'est l'équivalent de retirer environ 160 000 voitures de la circulation.

Incroyable. Si vous, votre entreprise ou vos sociétés en portefeuille pourriez bénéficier d'une infrastructure moins coûteuse et plus performante pour vos charges de travail d'IA, allez sur crusoecloud.com/acquired. C'est C-R-U-S-O-E-cloud.com/acquired, ou cliquez sur le lien dans les notes de l'émission.

Je veux m'éloigner un peu de NVIDIA, si vous êtes d'accord, et vous poser quelques questions puisque nous avons beaucoup de fondateurs qui écoutent cette émission, une sorte de conseil pour la création d'entreprise. La première est que lorsque vous lancez une startup dans les premiers jours, votre plus grand concurrent est que vous ne fabriquez rien que les gens veulent. Votre entreprise risque de mourir simplement parce que les gens ne se soucient pas autant que vous de ce que vous construisez.

La non-consommation.

Absolument. Oui.

Plus tard, il faut en fait être très réfléchi sur la stratégie concurrentielle. Et je suis curieux, quel serait votre conseil aux entreprises qui ont trouvé leur adéquation produit-marché, qui commencent à croître, qui sont sur des marchés intéressants et en expansion, où devraient-elles chercher la concurrence et comment devraient-elles la gérer ?

Eh bien, il y a toutes sortes de façons de penser à la concurrence. Nous préférons nous positionner de manière à répondre à un besoin qui, généralement, n'a pas encore émergé.

Je vous ai entendu, vous ou d'autres chez NVIDIA, utiliser l'expression « marché à zéro milliard de dollars ».

Oui, c'est exactement ça. C'est notre façon de dire qu'il n'y a pas encore de marché, mais que nous croyons qu'il y en aura un. Et généralement, quand vous êtes positionné là, tout le monde essaie de comprendre pourquoi vous êtes là. N'est-ce pas ? Parce que quand nous nous sommes lancés dans l'automobile, c'est parce que nous pensions qu'à l'avenir, la voiture serait en grande partie logicielle, et si elle est en grande partie logicielle, un ordinateur vraiment incroyable est nécessaire. Et donc, quand nous nous sommes positionnés là, la plupart des gens, je me souviens encore que l'un des directeurs techniques m'a dit : « les voitures ne peuvent pas tolérer l'écran bleu de la mort ». Et j'ai dit : « je ne pense pas que quiconque puisse tolérer cela, mais cela ne change pas le fait qu'un jour, chaque voiture sera une voiture définie par logiciel ». Et je pense que 15 ans plus tard, nous avions globalement raison. Et donc, il y a souvent de la non-consommation, et nous aimons y diriger notre entreprise. En faisant cela, au moment où le marché émerge, il est très probable qu'il n'y ait pas tant de concurrents formés de cette manière. Ainsi, nous avons été précoces dans le jeu sur PC et aujourd'hui NVIDIA est très importante dans le jeu sur PC. Nous avons réimaginé ce que serait une station de travail de conception et aujourd'hui presque toutes les stations de travail de la planète utilisent la technologie de NVIDIA. Nous avons réimaginé comment le supercalcul devrait être fait et qui devrait bénéficier du supercalcul, que nous le démocratiserions, et regardez aujourd'hui NVIDIA est très présente dans le calcul accéléré. Et nous avons réimaginé comment le logiciel serait fait et aujourd'hui cela s'appelle l'apprentissage automatique et comment le calcul serait fait, nous appelons cela l'IA. Et donc nous avons réimaginé ce genre de choses, en essayant de le faire environ une décennie à l'avance. Et donc nous avons passé environ une décennie sur des marchés à zéro milliard de dollars. Et aujourd'hui, je passe beaucoup de temps sur Omniverse, et Omniverse est un exemple classique d'une entreprise à zéro milliard de dollars.

Il y a 40 clients maintenant, quelque chose comme ça. Amazon, BMW, c'est cool.

Alors supposons que vous obteniez cette avance de 10 ans, mais que d'autres personnes finissent par comprendre et que vous ayez des gens qui vous talonnent. Quelles sont les choses structurelles que quelqu'un qui construit une entreprise peut faire pour rester en tête ? On peut juste continuer à mettre les bouchées doubles et se dire qu'on va travailler plus qu'eux et qu'on va être plus malin, et cela fonctionne dans une certaine mesure, mais ce sont des tactiques. Que peut-on faire stratégiquement pour s'assurer de maintenir cette avance ?

Souvent, si vous avez créé le marché, vous finissez par avoir ce que les gens décrivent comme des douves. Parce que si vous construisez bien votre produit et qu'il a permis à tout un écosystème autour de vous de l'aider à servir ce marché final, vous avez essentiellement créé une plateforme. Parfois, c'est une plateforme basée sur un produit, parfois sur un service, parfois sur une technologie. Mais si vous étiez là tôt et que vous aviez à cœur d'aider l'écosystème à réussir avec vous, vous avez fini par avoir ce réseau de réseaux et tous ces développeurs et tous ces clients qui sont construits autour de vous. Et ce réseau est essentiellement votre douve. Je n'aime donc pas y penser dans le contexte d'une douve, et la raison en est que vous êtes alors concentré sur la construction de choses autour de votre château. J'ai tendance à aimer penser aux choses dans le contexte de la construction d'un réseau, et ce réseau consiste à permettre à d'autres personnes de profiter du succès du marché final, que vous n'êtes pas la seule entreprise à en profiter, mais que vous en profitez avec un tas d'autres personnes, y compris...

Je suis tellement content que vous abordiez ce sujet parce que je voulais vous poser la question. Dans mon esprit du moins, et on dirait que dans le vôtre aussi, NVIDIA est absolument une entreprise de plateforme, et il y a très peu d'entreprises de plateforme significatives dans le monde. Je pense qu'il est également juste de dire que lorsque vous avez commencé, pendant les premières années, vous était une entreprise technologique et non une entreprise de plateforme. Chaque exemple auquel je peux penser d'une entreprise qui a essayé de démarrer en tant que plateforme échoue. Il faut commencer par la technologie d'abord. Quand avez-vous pensé à faire cette transition pour devenir une plateforme ? Vos premières cartes graphiques étaient de la technologie, elles n'étaient pas, il n'y avait pas de CUDA, il n'y avait pas de plateforme.

Ce que vous avez observé n'est pas faux. Cependant, à l'intérieur de notre entreprise, nous avons toujours été une entreprise de plateforme. Et la raison en est que dès le premier jour de notre entreprise, nous avions cette architecture appelée UDA. C'est l'UDA de CUDA.

CUDA, c'est Compute Unified Device Architecture.

C'est exact. Et la raison en est que ce que nous avons fait, ce que nous avons essentiellement fait au début, même si la RIVA 128 ne faisait que du graphisme informatique, l'architecture décrivait des accélérateurs de toutes sortes. Et nous prenions cette architecture et les développeurs programmaient pour elle. En fait, la première stratégie de NVIDIA, sa stratégie commerciale, était que nous allions être une console de jeu à l'intérieur du PC. Et une console de jeu a besoin de développeurs, c'est la raison pour laquelle NVIDIA, il y a longtemps, l'un de nos premiers employés était une personne chargée des relations avec les développeurs. Et c'est la raison pour laquelle nous connaissions tous les développeurs de jeux et tous les développeurs 3D et nous savions tout.

Attendez, le plan d'affaires original était-il de concurrencer Nintendo et Sega avec des PC ?

En fait, l'architecture originale de NVIDIA s'appelait DirectNV. Direct NVIDIA, oui. Et DirectX était une API qui permettait au système d'exploitation de se connecter directement au matériel.

Mais DirectX n'existait pas quand vous avez lancé NVIDIA, n'est-ce pas ? Et c'est ce qui a rendu votre stratégie erronée pendant les deux premières années.

En 1993, nous avions DirectNV.

Ah.

Et ce qui en 1995 est devenu, eh bien, DirectX est sorti.

C'est donc une leçon importante. Vous avez toujours été une entreprise orientée vers les développeurs. La tentative initiale était d'amener les développeurs à construire sur DirectNV, puis ils construiraient pour nos puces et nous aurions alors une plateforme. Et ce qui s'est passé, c'est que Microsoft avait déjà toutes ces relations avec les développeurs, donc vous avez appris la leçon à la dure : zut, on doit juste s'insérer dans...

Je veux dire, c'est ce que Microsoft faisait à l'époque. Ils se disaient : « oh, ça pourrait être une plateforme de développeurs. On prend ça, merci ».

Non, mais ils avaient beaucoup, ils l'ont fait très différemment et ils ont fait beaucoup de choses bien. Nous avons fait beaucoup de choses mal. Mais cela dit...

Eh bien, vous étiez en concurrence contre Microsoft dans les années 90. Je veux dire, c'est comme essayer d'être en concurrence contre NVIDIA aujourd'hui.

Non, c'est très différent, mais j'apprécie. Mais nous étions loin de rivaliser avec eux. Si vous regardez maintenant, quand CUDA est arrivé, il y avait OpenGL, il y avait DirectX, mais il y a encore une autre extension, si vous voulez, et cette extension est CUDA. Et cette extension CUDA permet à une puce qui a été payée pour faire tourner DirectX et OpenGL de créer une base d'installation pour CUDA. C'est donc la stratégie de NVIDIA.

Et est-ce pour cela que vous êtes si militant, et je pense que d'après nos recherches c'était vraiment vous qui étiez militant, sur le fait que chaque puce NVIDIA doit faire tourner CUDA ?

Oui, si vous êtes une plateforme informatique, tout doit être compatible. Nous sommes le seul accélérateur sur la planète où chaque accélérateur est architecturalement compatible avec les autres. Aucun n'a jamais existé ainsi. Il y a littéralement quelques centaines de millions, 250 millions, 300 millions de bases d'installation de GPU CUDA actifs utilisés dans le monde aujourd'hui, et ils sont tous architecturalement compatibles. Comment auriez-vous une plateforme informatique si les NV30, NV35, NV39 et NV40 étaient tous différents ? Depuis 30 ans, tout est complètement compatible. C'est donc la seule règle non négociable dans notre entreprise. Tout le reste est négociable.

J'ai l'impression que CUDA était une renaissance de l'UDA, mais en comprenant cela maintenant, l'UDA remonte vraiment à toutes les puces que vous avez jamais eues.

Oui. En fait, l'UDA remonte à toutes nos puces d'aujourd'hui.

Waouh.

Pour information, je n'ai aidé aucun des PDG fondateurs qui écoutent. Je dois vous dire qu'au moment vous posiez cette question sur les leçons que je donnerais, je ne sais pas. Je veux dire, les caractéristiques des entreprises qui réussissent et des PDG qui réussissent sont, je pense, assez bien décrites. Il y en a tout un tas. Je pense simplement que créer des entreprises qui réussissent est incroyablement difficile. C'est juste incroyablement difficile. Et quand je vois ces entreprises incroyables se construire, je n'ai que de l'admiration et du respect parce que je sais juste que c'est incroyablement difficile. Et je pense que tout le monde a fait beaucoup de choses similaires. Il y a de bonnes choses intelligentes que les gens font, il y a des choses stupides qu'on peut faire, mais on pourrait faire toutes les bonnes choses intelligentes et quand même échouer. On pourrait faire tout un tas de choses stupides, et j'en ai fait beaucoup, et quand même réussir. Donc ce n'est évidemment pas tout à fait exact. Je pense que les compétences sont des choses qu'on peut apprendre en cours de route, mais à un moment important, certaines circonstances doivent se réunir. Et je pense effectivement que le marché doit être l'un des agents pour vous aider à réussir. Ce n'est pas suffisant, évidemment, parce que beaucoup de gens échouent quand même.

Vous souvenez-vous de moments dans l'histoire de NVIDIA où vous vous êtes dit : « oh, nous avons pris un tas de mauvaises décisions, mais d'une manière ou d'une autre nous avons été sauvés parce qu'il faut la somme de toute la chance et de toute la compétence pour réussir ». Vous souvenez-vous de moments où vous avez pensé cela ?

Je pensais en fait que commencer par la RIVA 128 était tout à fait pertinent. La RIVA 128, comme je l'ai mentionné, le nombre de décisions intelligentes que nous avons prises, qui sont intelligentes à ce jour ; notre façon de concevoir les puces est exactement la même à ce jour. Parce que personne ne l'avait jamais fait à l'époque, et nous avons utilisé toutes les ficelles du métier par désespoir parce que nous n'avions pas d'autre choix. Eh bien, devinez quoi ? C'est ainsi que les choses doivent être faites. Et maintenant, tout le monde le fait de cette façon. Tout le monde le fait parce que pourquoi faire les choses deux fois si on peut les faire une fois ? Pourquoi concevoir une puce sept fois si on peut la concevoir une fois ? Et donc la plus efficace, la plus rentable, la plus compétitive, la vitesse est technologique, n'est-ce pas ? La vitesse est la performance. Le temps de mise sur le marché est la performance. Toutes ces choses s'appliquent. Alors pourquoi faire les choses deux fois si on peut les faire une fois ? Ainsi, la RIVA 128 a permis de prendre beaucoup de bonnes décisions sur la façon dont nous spécifions les produits, dont nous pensons aux besoins du marché, dont nous jugeons les marchés, et pour tout cela, mon Dieu, nous avons pris des décisions incroyablement bonnes. Oui, nous étions dos au mur, nous n'avions qu'une seule chance de le faire, mais une fois qu'on a tout débloqué et qu'on voit de quoi on est capable, pourquoi remettrait-on des freins la prochaine fois ? Gardons les freins desserrés tout le temps, à chaque fois.

Est-il juste de dire, peut-être du côté de la chance, en repensant à 1997, que c'était le moment où les consommateurs ont vraiment commencé à valoriser la performance graphique 3D dans les jeux ?

Oh oui, donc par exemple, la chance. Parlons de la chance. Si Carmack n'avait pas décidé d'utiliser l'accélération, parce que rappelez-vous, Doom était entièrement rendu par logiciel. Et la philosophie de NVIDIA était que même si l'informatique polyvalente est une chose fabuleuse et qu'elle va permettre le logiciel et l'informatique et tout, nous sentions qu'il y avait des applications qui ne seraient pas possibles ou qui seraient coûteuses si elles n'étaient pas accélérées. Elles devraient être accélérées. Et le graphisme 3D en était une, mais ce n'était pas la seule. Et il se trouve que c'est la première et une très bonne. Et je me souviens encore des premières fois où nous avons rencontré John, il était assez catégorique sur le fait d'utiliser des CPU et qu'un moteur de rendu logiciel était vraiment bon. Très franchement, si vous regardez Doom, la performance de Doom était vraiment difficile à atteindre même avec des accélérateurs à l'époque. Si vous ne filtriez pas, si vous n'aviez pas à faire de filtrage bilinéaire, il faisait un assez bon travail.

Le problème avec Doom, c'est qu'il fallait Carmack pour le programmer.

Oui, il fallait Carmack pour le programmer, exactement. C'était un morceau de code génial. Mais néanmoins, les moteurs de rendu logiciel faisaient un très bon travail. Et s'il n'avait pas décidé d'aller vers OpenGL et d'accélérer pour Quake, franchement, quelle serait l'application phare qui nous aurait mis ici ? Carmack et Sweeney, entre Unreal et Quake, ont créé les deux premières applications phares pour la 3D grand public. Oui, et je leur dois donc beaucoup.

Je veux revenir rapidement sur le fait que vous disiez avoir raconté ces histoires et que vous ne saviez pas ce que les fondateurs pouvaient en tirer. En fait, je pense que si vous regardez toutes les grandes entreprises technologiques aujourd'hui, à l'exception peut-être de Google, elles ont toutes commencé, et je comprends cela maintenant à votre sujet, par s'adresser aux développeurs, en prévoyant de construire une plateforme et des outils pour les développeurs. Toutes. Apple, pas Amazon, enfin, je suppose qu'avec AWS, c'est ainsi qu'AWS a commencé. Je pense donc que c'est effectivement une leçon, pour reprendre votre point de vue ; cela ne garantira en aucun cas le succès, mais cela vous permettra de rester près d'un arbre si la pomme tombe.

Même si nous avons de bonnes idées, vous n'avez pas toutes les bonnes idées du monde. Et l'avantage d'avoir des développeurs, c'est qu'on voit beaucoup de bonnes idées.

Oui.

Eh bien, alors que nous commençons à dériver vers la fin ici, nous avons passé beaucoup de temps sur le passé, et je veux réfléchir un peu à l'avenir. Je suis sûr que vous passez beaucoup de temps là-dessus en étant à la pointe de l'IA. Nous entrons dans une ère où la productivité que le logiciel peut accomplir lorsqu'une personne utilise le logiciel peut massivement amplifier l'impact et la valeur qu'elle crée, ce qui doit être incroyable pour l'humanité à long terme. À court terme, ce sera inévitablement mouvementé alors que nous essayons de comprendre ce que cela signifie. Selon vous, quelles sont les solutions à mesure que l'IA devient de plus en plus puissante et meilleure pour accélérer la productivité pour tous les emplois déplacés qui en résulteront ?

Eh bien, tout d'abord, nous devons garder l'IA sûre. Et il y a quelques domaines différents de la sécurité de l'IA qui sont vraiment importants. Évidemment, en robotique et en voiture autonome, il y a tout un domaine de la sécurité de l'IA et nous nous sommes consacrés à la sécurité fonctionnelle et à la sécurité active et à toutes sortes de domaines différents de la sécurité. Quand faut-il appliquer l'humain dans la boucle, quand est-il acceptable que l'humain ne soit pas dans la boucle, comment arriver à un point où de plus en plus l'humain n'a pas à être dans la boucle, mais avec l'humain largement dans la boucle. Dans le cas de la sécurité de l'information, évidemment le biais, les fausses informations, et l'appréciation des droits des artistes et des créateurs, tout ce domaine mérite beaucoup d'attention. Et vous avez vu une partie du travail que nous avons fait. Au lieu de ratisser internet, nous nous sommes associés à Getty et Shutterstock pour créer une manière commercialement équitable d'appliquer l'intelligence artificielle, l'IA générative. Dans le domaine des grands modèles de langage et de l'avenir d'une IA de plus en plus autonome, la réponse est clairement que tant que c'est raisonnable, et je pense que ce sera raisonnable pendant longtemps, c'est l'humain dans la boucle. La capacité d'une IA à apprendre d'elle-même, à s'améliorer et à changer dans la nature sous une forme numérique devrait être évitée. Et nous devrions collecter des données, nous devrions conserver les données, nous devrions entraîner un modèle, nous devrions tester le modèle, valider le modèle avant de le relâcher dans la nature, afin que l'humain soit dans la boucle. Il existe de nombreuses industries différentes qui ont déjà démontré comment construire des systèmes sûrs et bons pour l'humanité. Évidemment, la façon dont l'autopilote fonctionne pour un avion et le système à deux pilotes et le contrôle du trafic aérien et la redondance et la diversité et toutes les philosophies de base de la conception de systèmes sûrs s'appliquent également aux voitures autonomes et ainsi de suite. Je pense donc qu'il existe de nombreux modèles pour créer une IA sûre et je pense que nous devons les appliquer. En ce qui concerne l'automatisation, mon sentiment est que, et nous verrons, il est plus probable que l'IA crée plus d'emplois à court terme. La première chose qui arrive avec la productivité, c'est la prospérité. Et la prospérité, quand les entreprises réussissent mieux, elles embauchent plus de personnes parce qu'elles veulent s'étendre dans plus de domaines. Si vous devenez plus productif et que l'entreprise devient plus rentable, généralement elle embauche plus de personnes pour s'étendre dans de nouveaux domaines. Et tant que nous croyons qu'il y a plus de domaines dans lesquels s'étendre, qu'il y a plus d'idées dans les médicaments, la découverte de médicaments, qu'il y a plus d'idées dans les transports, qu'il y a plus d'idées dans le commerce de détail, qu'il y a plus d'idées dans le divertissement, qu'il y a plus d'idées dans la technologie, tant que nous croyons qu'il y a plus d'idées, la prospérité de l'industrie, qui provient d'une productivité accrue, se traduit par l'embauche de plus de personnes, plus d'idées. Maintenant, remontez dans l'histoire, on peut dire assez justement que l'industrie d'aujourd'hui est plus grande que l'industrie des industries mondiales il y a mille ans. Et la raison en est que les humains ont beaucoup d'idées. Et je pense qu'il y a encore plein d'idées pour la prospérité et plein d'idées qui peuvent être tirées des améliorations de la productivité. Mais mon sentiment est qu'il est probable que cela génère des emplois. La génération nette d'emplois ne garantit pas qu'aucun humain ne soit licencié. C'est vrai. Et il est plus probable que quelqu'un perde un emploi au profit de quelqu'un d'autre, d'un autre humain qui utilise une IA, et non pas probablement au profit d'une IA, mais d'un autre humain qui utilise une IA. Je pense donc que la première chose que tout le monde devrait faire est d'apprendre à utiliser l'IA afin de pouvoir augmenter sa propre productivité, et chaque entreprise devrait augmenter sa propre productivité pour être plus productive afin de pouvoir avoir plus de prospérité, embaucher plus de personnes. Je pense donc que les emplois changeront. Mon hypothèse est que nous aurons en fait un taux d'emploi plus élevé, nous créerons plus d'emplois. Je pense que les industries seront plus productives, et beaucoup d'industries qui souffrent actuellement d'un manque de main-d'œuvre, de main-d'œuvre, sont susceptibles d'utiliser l'IA pour se remettre sur pied et retrouver la croissance et la prospérité. Je vois donc les choses un peu différemment, mais je pense effectivement que les emplois seront affectés, et j'encouragerais tout le monde à apprendre l'IA.

C'est approprié, c'est une version de quelque chose dont nous parlons beaucoup sur Acquired, nous appelons cela le corollaire de Moritz à la loi de Moore, d'après Mike Moritz de Sequoia.

Aha, oui, je connais Mike. Sequoia a été le premier investisseur de notre entreprise.

Oui, bien sûr. La grande histoire derrière cela est que lorsque Mike a succédé à Don Valentine avec Doug, il était assis et regardait les rendements de Sequoia et il regardait le fonds trois ou quatre, je pense que c'était peut-être le quatre qui contenait Cisco, et il s'est dit : « comment allons-nous un jour surpasser cela ? Don va nous battre, nous ne le battrons jamais ». Ils y ont réfléchi et il a réalisé qu'à mesure que le calcul devient moins cher et qu'il peut accéder à plus de domaines de l'économie parce qu'il devient moins cher et peut être adopté plus largement, alors les marchés que nous pouvons adresser devraient devenir plus grands. Et l'IA, votre argument est fondamentalement que l'IA fera la même chose. Ce cycle va continuer.

Exactement. Je viens de vous donner exactement le même exemple : en fait, la productivité ne se traduit pas par le fait que nous en fassions moins. La productivité se traduit généralement par le fait que nous en fassions plus. Tout ce que nous faisons sera plus facile, mais nous finirons par en faire plus. Parce que nous avons une ambition infinie, le monde a une ambition infinie. Et donc si une entreprise est plus rentable, elle a tendance à embaucher plus de personnes pour en faire plus.

C'est vrai. La technologie est un levier, et l'endroit où l'idée s'effondre est celui où nous serions satisfaits. Les humains ont une ambition sans fin. Non, les humains s'étendront toujours et consommeront plus d'énergie et tenteront de poursuivre plus d'idées. Cela a toujours été vrai pour chaque version de notre espèce au fil du temps.

C'est le moment idéal pour partager quelque chose de nouveau de la part de nos amis de Blinkist et Go1 qui est très approprié à cet épisode.

Oui. Alors, une petite histoire personnelle. Il y a quelques semaines, je parcourais le web pour trouver les livres de business préférés de Jensen, ce qui s'avérait difficile. Je voulais vraiment que Blinkist fasse des résumés de chacun de ces livres pour que vous puissiez tous y accéder. Je pense en avoir trouvé un ou deux dans des articles au hasard, mais ce n'était pas suffisant. Finalement, avant d'abandonner, en dernier recours, j'ai demandé à un chatbot d'IA, spécifiquement Bard, de me fournir une liste et de citer les sources des livres de business préférés de Jensen. Et miraculeusement, cela a fonctionné. Bard a trouvé des livres que Jensen avait mentionnés dans des forums publics au cours des dernières décennies. Donc, si vous cliquez sur le lien dans les notes de l'émission ou si vous allez sur blinkist.com/jensen, vous pouvez obtenir les résumés de ces cinq livres plus quelques autres dont Jensen nous a parlé spécifiquement plus tard dans l'épisode.

Oui. Et nous avons également une offre de Blinkist et Go1 qui va au-delà de l'apprentissage personnel. Blinkist a sélectionné à la main une collection de livres liés aux thèmes de cet épisode. Donc l'innovation technologique, le leadership, la dynamique des acquisitions. Ces livres offrent les modèles mentaux pour s'adapter à un environnement technologique qui change rapidement. Et tout comme pour les autres épisodes, Blinkist offre aux auditeurs d'Acquired une réduction exclusive de 50 % sur tout le contenu premium. Cela vous donne accès aux idées clés de milliers de livres du bout des doigts, tous condensés en résumés faciles à digérer. Et si vous êtes un fondateur, un chef d'équipe ou un responsable L&D, Blinkist comprend également des listes de lecture curatées et des fonctions de suivi des progrès, le tout supervisé par un responsable de la réussite client dédié pour aider votre équipe à s'épanouir au fur et à mesure que vous grandissez. Oui. Donc pour réclamer toute la collection gratuite, débloquer la réduction de 50 % et explorer la solution d'entreprise de Blinkist, visitez simplement blinkist.com/jensen et utilisez le code promo Jensen. Blinkist et leur société mère Go1 sont de véritables ressources géniales pour votre entreprise et vos équipes alors qu'elles passent d'une petite startup à une grande entreprise. Nous les remercions, et sérieusement, cette offre est plutôt géniale. Allez en profiter.

Nous avons quelques questions de type séquence de questions rapides à vous poser.

Oh là là.

Et puis nous avons une très amusante...

Je ne peux pas réfléchir aussi vite. D'accord. Très bien.

Nous allons ouvrir avec une question facile basée sur tous ces noms de salles de conférence que nous voyons par ici. Votre livre de science-fiction préféré ?

Je n'ai jamais lu de livre de science-fiction de ma vie.

Non ! Oh allez. C'est quoi cette obsession pour Star Trek et...

Je regardais juste la série télévisée.

D'accord. Votre série de science-fiction préférée ?

Star Trek est ma préférée.

J'ai vu Voyager là-bas en entrant. C'est un bon nom de salle de conférence.

Voyager est une excellente salle, oui.

Quelle voiture est votre véhicule de tous les jours actuellement ? Et question liée, avez-vous toujours la Supra ?

Oh, c'est l'une de mes voitures préférées. Vous ne le savez peut-être pas, mais Lori et moi nous sommes fiancés un Noël et nous revenions dans ma toute nouvelle Supra et nous l'avons démolie. Nous étions à ça de la fin.

Dieu merci, ce n'est pas arrivé.

Mais néanmoins, ce n'était pas de ma faute, ce n'était pas la faute de la Supra, mais c'est une voiture que j'adore. Je suis conduit ces jours-ci pour des raisons de sécurité et autres, mais je suis conduit dans la Mercedes EQS. C'est une excellente voiture.

Utilisant la technologie NVIDIA ?

Oui, nous sommes dans l'ordinateur central.

Génial. Je sais que nous avons déjà un peu parlé de livres de business, mais un ou deux favoris dont vous avez tiré quelque chose ?

Clay Christensen, je pense que la série est la meilleure. Il n'y a pas deux façons de voir les choses. Et la raison en est que c'est tellement intuitif et tellement sensé, c'est accessible. Mais j'en ai lu tout un tas et je les ai presque tous lus. J'ai beaucoup aimé les livres d'Andy Grove. Ils sont tous très bons.

Caractéristique préférée de Don Valentine ?

Grincheux mais attachant. Et ce qu'il m'a dit la dernière fois alors qu'il décidait d'investir dans notre entreprise, il a dit : « si vous perdez mon argent, je vous tue ».

Évidemment qu'il l'a fait.

Et puis au fil des décennies, des années qui ont suivi, quand quelque chose de gentil est écrit sur nous dans le Mercury News, on dirait qu'il l'a écrit avec un crayon gras. Il dit : « bon travail, Don ». Et il me l'envoie par la poste. J'espère que je les ai gardés. Mais on pouvait dire que c'est un vrai cœur tendre et qu'il se soucie des entreprises.

C'était un personnage spécial.

Il est incroyable.

Quelle est une chose que vous croyez aujourd'hui sur laquelle le Jensen de 40 ans aurait contesté et dit, non, je ne suis pas d'accord ?

On a tout le temps. Si vous vous donnez les bonnes priorités et que vous vous assurez de ne pas laisser Outlook contrôler votre temps, on a tout le temps.

Tout le temps dans la journée, tout le temps pour accomplir des choses, vous ne le faisiez pas avant...

Pour tout faire. Ne faites simplement pas tout. Donnez des priorités à votre vie. Faites des sacrifices. Ne laissez pas Outlook contrôler ce que vous faites chaque jour. Remarquez que j'étais en retard à notre réunion. Et la raison en était qu'au moment où j'ai levé les yeux, je me suis dit, oh mon dieu, Ben et Dave attendent. C'est déjà...

Nous avons le temps.

Exactement. Et donc cela n'a pas empêché que ce soit une excellente discussion. Non, mais vous devez prioriser votre temps très soigneusement et ne pas laisser Outlook déterminer cela.

J'adore ça. De quoi avez-vous peur, si tant est que vous ayez peur de quelque chose ?

J'ai peur des mêmes choses aujourd'hui qu'au tout début de cette entreprise, c'est-à-dire de décevoir les employés. Vous avez beaucoup de gens qui ont rejoint votre entreprise parce qu'ils croient en vos espoirs et vos rêves et ils les ont adoptés comme leurs propres espoirs et rêves et vous voulez être à la hauteur pour eux. Vous voulez réussir pour eux. Vous voulez qu'ils puissent construire une vie formidable tout en vous aidant à construire une entreprise formidable et qu'ils puissent construire une carrière formidable. Vous voulez qu'ils profitent de tout cela. Et ces jours-ci, je veux qu'ils puissent profiter des choses que j'ai eu le privilège d'apprécier et de tout le grand succès que j'ai connu. Je veux qu'ils puissent profiter de tout cela. Et donc je pense que la plus grande peur est de les décevoir.

À quel moment avez-vous réalisé que vous n'auriez pas d'autre emploi ? Que c'était celui-là ?

Je ne change tout simplement pas d'emploi. Si ce n'était pas pour Chris et Curtis qui m'ont convaincu de créer NVIDIA, je serais toujours chez LSI Logic aujourd'hui, j'en suis certain.

Waouh. Vraiment ?

Oui. J'en suis certain. Je continuerais à faire ce que je faisais. Et à l'époque où j'y étais, j'étais complètement dévoué et concentré sur l'aide à apporter à LSI Logic pour qu'elle soit la meilleure entreprise possible. Et j'étais le meilleur ambassadeur de LSI Logic. J'ai de grands amis que je connais encore aujourd'hui de chez LSI Logic. C'est une entreprise que j'aimais alors, que j'aime profondément aujourd'hui. Je sais exactement pourquoi je suis parti : l'impact révolutionnaire qu'elle a eu sur la conception de puces, la conception de systèmes et la conception d'ordinateurs. Selon moi, l'une des entreprises les plus importantes qui soit jamais venue dans la Silicon Valley et qui a tout changé dans la façon dont les ordinateurs étaient fabriqués. Elle m'a placé au cœur de certains des événements les plus importants de l'industrie informatique. Elle m'a amené à rencontrer Chris et Curtis et Andy Bechtolsheim et Jon Rubinstein et certaines des personnes les plus importantes au monde et Frank avec qui j'étais l'autre jour et, bref, la liste est longue. LSI Logic était donc très importante pour moi et j'y serais encore. Qui sait ce que LSI Logic serait devenue si j'y étais encore, n'est-ce pas ? Et c'est ainsi que mon esprit fonctionne.

Alimentant l'IA du monde entier.

Oui, exactement. Je ferais peut-être la même chose que ce que je fais aujourd'hui. Mais jusqu'à ce que je sois licencié, je vais, c'est mon dernier emploi.

J'adore. J'ai l'impression que LSI Logic a peut-être aussi changé votre perspective et votre philosophie sur l'informatique également. L'impression que nous avons eue d'après les recherches était que juste à la sortie de l'école et quand vous êtes allé chez AMD en premier, n'est-ce pas ? Vous croyiez à une version de cela, était-ce le « les vrais hommes ont des fonderies » de Jerry Sanders, comme quoi il faut faire toute la pile, qu'il faut tout faire. Et que LSI Logic vous a changé.

Ce que LSI Logic a fait, c'est réaliser qu'on pouvait exprimer les transistors et les portes logiques et la fonctionnalité des puces dans des langages de haut niveau. Qu'en élevant le niveau d'abstraction dans ce qu'on appelle maintenant la conception de haut niveau, un terme inventé par Harvey Jones qui siège au conseil d'administration de NVIDIA et que j'ai rencontré à l'époque des débuts de Synopsys. Pendant cette période, il y avait cette croyance qu'on peut exprimer la conception de puces dans des langages de haut niveau. Et qu'en faisant cela, on pouvait profiter des compilateurs d'optimisation et de la logique et des outils d'optimisation et être beaucoup plus productif. Cette logique était si sensée pour moi et j'avais 21 ans à l'époque et je voulais poursuivre cette vision. Franchement, cette idée s'est produite dans l'apprentissage automatique, elle s'est produite dans la programmation logicielle. Je veux la voir se produire dans la biologie numérique afin que nous puissions penser à la biologie dans un langage de beaucoup plus haut niveau. Probablement qu'un grand modèle de langage serait le moyen de la rendre représentable. Cette transition a été tellement révolutionnaire. J'ai pensé que c'était la meilleure chose qui soit jamais adaptée à l'industrie et j'étais vraiment heureux d'en faire partie. J'étais au point zéro. J'ai donc vu une industrie changer, révolutionner une autre industrie. Et si LSI Logic n'avait pas fait le travail qu'elle a fait, et Synopsys peu après, pourquoi l'industrie informatique serait-elle ce qu'elle est aujourd'hui ? Oui, c'est vraiment, vraiment génial. J'étais au bon endroit au bon moment pour voir tout cela.

C'est super cool. Et il semblerait que le PDG de LSI Logic ait aussi dit du bien de vous à Don Valentine.

Oui, eh bien, je ne savais pas comment écrire un plan d'affaires.

Ce qui s'avère ne pas être réellement important.

Non, non. Il s'avère que faire une prévision financière dont personne ne sait si elle sera juste ou fausse n'est finalement pas si important. Mais les choses importantes qu'un plan d'affaires aurait probablement pu mettre en lumière, je pense que l'art d'écrire un plan d'affaires devrait être beaucoup, beaucoup plus court et cela vous force à condenser : quel est le véritable problème que vous essayez de résoudre ? Quel est le besoin non satisfait qui, selon vous, émergera ? Et qu'allez-vous faire qui soit suffisamment difficile pour que, lorsque tout le monde découvrira que c'est une bonne idée, ils ne se précipitent pas pour vous rendre obsolète ? Il faut donc que ce soit suffisamment difficile à faire. Il y a tout un tas d'autres compétences qui entrent en jeu, comme le produit, le positionnement, le prix, la stratégie de mise sur le marché et tout ce genre de choses, mais ce sont des compétences et vous pouvez les apprendre facilement. Ce qui est vraiment, vraiment difficile, c'est l'essence de ce que j'ai décrit. Et j'ai fait cela correctement, mais je n'avais aucune idée de comment écrire un plan d'affaires et j'ai eu de la chance que Wilf Corrigan soit si content de moi et du travail que j'avais fait quand j'étais chez LSI Logic, qu'il a appelé Don Valentine et lui a dit d'investir dans ce gamin. J'étais donc programmé pour réussir dès ce moment-là et cela nous a lancés. Oui.

Tant que vous n'avez pas perdu l'argent.

Non, je pense que Sequoia s'en est bien sortie. Oui, nous sommes probablement l'un des meilleurs investissements qu'ils aient jamais faits.

Ont-ils gardé leurs parts jusqu'à aujourd'hui ?

Le partenaire VC est toujours au conseil d'administration, Mark Stevens. Oui, oui. Toutes ces années. Les deux VC fondateurs sont toujours au conseil, Tench Coxe et Mark Stevens. Je ne pense pas que cela arrive jamais.

Incroyable. Nous sommes uniques dans cette situation, je crois.

Ils ont apporté de la valeur tout ce temps, ont été inspirants tout ce temps, ont donné de grands conseils et un grand soutien, mais ils ont aussi été tellement divertis.

Ils ne vous ont pas encore tué. Non, pas encore.

Mais ils ont été divertis par l'entreprise, inspirés par l'entreprise, enrichis par l'entreprise, et ils sont donc restés. Et j'en suis vraiment reconnaissant.

Eh bien, dans cette veine, notre dernière question pour vous. Nous sommes en 2023, c'est le 30e anniversaire de la fondation de NVIDIA. Si vous avait magiquement 30 ans à nouveau aujourd'hui en 2023, et que vous alliez chez Denny's avec vos deux meilleurs amis qui sont les deux personnes les plus intelligentes que vous connaissez, et que vous parliez de lancer une entreprise, de quoi parleriez-vous de lancer ?

Je ne le ferais pas.

(Rires)

Je sais. Et la raison en est vraiment très simple. En ignorant l'entreprise que nous lancerions, tout d'abord, je ne suis pas exactement sûr. La raison pour laquelle je ne le ferais pas, et cela revient à dire pourquoi c'est si difficile, c'est que construire une entreprise et construire NVIDIA s'est avéré être un million de fois plus difficile que ce à quoi je m'attendais, que ce à quoi n'importe lequel d'entre nous s'attendait. Et à ce moment-là, si nous avions réalisé la douleur et la souffrance et à quel point on se sent vulnérable, et les défis qu'on va devoir endurer, l'embarras et la honte, et la liste de toutes les choses qui tournent mal, je ne pense pas que quiconque lancerait une entreprise. Personne de sensé ne le ferait. Et je pense que c'est un peu le super-pouvoir d'un entrepreneur. Ils ne savent pas à quel point c'est difficile. Et ils se demandent seulement : à quel point cela peut-il être difficile ? Et à ce jour, je dupe mon cerveau en pensant : à quel point cela peut-il être difficile ? Parce qu'il le faut bien.

Toujours, quand vous vous réveillez le matin.

Oui, à ce jour. Oui. À quel point cela peut-il être difficile ? Tout ce que nous faisons, à quel point cela peut-il être difficile ? Omniverse, à quel point cela peut-il être difficile ?

Je n'ai pas l'impression que vous prévoyez de prendre votre retraite de sitôt cependant.

Non, non. Vous êtes encore jeune. Je suis encore jeune. On pourrait choisir de dire : « oula, c'est trop dur ». Le truc fonctionne toujours.

Oh, je m'amuse toujours énormément et j'apporte un petit peu de valeur. Mais c'est vraiment là le truc de l'entrepreneur. Vous devez vous amener à croire que ce n'est pas si difficile parce que c'est bien plus difficile que vous ne le pensez. Et donc, si je prends toutes mes connaissances actuelles et que je reviens en arrière et que je me dis que je vais endurer tout ce voyage à nouveau, je pense que c'est trop. C'est tout simplement trop.

Avez-vous des suggestions sur un quelconque système de soutien ou une façon de surmonter le traumatisme émotionnel qui vient avec la construction de quelque chose comme ça ?

La famille et les amis et tous les collègues que nous avons ici. Je suis entouré de gens qui sont là depuis 30 ans. N'est-ce pas ? Chris est là depuis 30 ans et Jeff Fisher est là depuis 30 ans, Dwight est là depuis 30 ans, et Jonah et Brian sont là depuis quelque 25 ans et probablement plus longtemps que cela, et Joe Greco est là depuis 30 ans. Je suis entouré de ces gens qui n'ont jamais abandonné une seule fois et ils n'ont jamais abandonné sur moi une seule fois. Et c'est tout l'essentiel, et pouvoir rentrer à la maison et avoir sa famille qui est pleinement engagée dans tout ce qu'on essaie de faire et, contre vents et marées, ils sont fiers de vous et fiers de l'entreprise. Vous avez besoin de cela. Vous avez besoin du soutien indéfectible des gens autour de vous. Les Jim Gaither et les Tench Coxe et les Mark Stevens et les Harvey Jones et tous les premiers membres de notre entreprise, les Bill Miller, ils n'ont pas abandonné l'entreprise et nous une seule fois, et vous avez besoin de cela. Et je suis à peu près sûr que presque toutes les entreprises et les entrepreneurs qui réussissent et qui ont traversé des défis difficiles avaient ce système de soutien autour d'eux.

Je ne peux qu'imaginer à quel point c'est significatif — je sais à quel point c'est significatif dans n'importe quelle entreprise — mais pour vous, j'ai l'impression que le parcours de NVIDIA est particulièrement amplifié sur ces dimensions, n'est-ce pas ? Et vous avez traversé deux, sinon trois, baisses de près de 80 % et plus sur les marchés publics. Et avoir des investisseurs qui sont restés à vos côtés dès le premier jour à travers cela doit être un soutien énorme.

Oui, oui. C'est incroyable. Et vous détestez que tout cela soit arrivé et la plupart est hors de votre contrôle. Mais vous savez, une chute de 80 %, c'est une chose extraordinaire peu importe comment on la regarde. Et j'oublie exactement, mais nous avons été valorisés pendant un certain temps autour de deux ou trois milliards de dollars en valeur de marché à cause de la décision que nous avions prise d'aller vers CUDA et tout ce travail. Et votre système de croyance doit être vraiment, vraiment solide. Vous devez vraiment, vraiment y croire et vraiment, vraiment le vouloir. Sinon, c'est tout simplement trop à endurer parce que tout le monde vous questionne et les employés ne vous questionnent pas, mais les employés ont des questions. Les gens à l'extérieur vous questionnent. Et c'est un peu embarrassant et quand le prix de votre action est frappé, c'est embarrassant peu importe comment vous y pensez. C'est difficile à expliquer, et il n'y a donc pas de bonnes réponses à tout cela. Les PDG sont humains et les entreprises sont construites d'humains et ces défis sont difficiles à endurer.

Ben a fait un commentaire approprié dans notre épisode le plus récent sur vous tous où nous parlions de la situation actuelle de NVIDIA et je pense que vous avez dit que pour n'importe quelle autre entreprise, ce serait une position précaire. Mais pour NVIDIA, c'est un peu du déjà-vu. Oui, vous êtes familiers avec ces grandes variations d'amplitude.

Oui. La chose à garder à l'esprit est de savoir à tout moment quelle est l'opportunité de marché dans laquelle vous vous engagez ? Et cela informe votre taille. On m'a dit il y a longtemps que NVIDIA ne pourrait jamais peser plus d'un milliard de dollars. Évidemment, c'est une sous-estimation, un manque d'imagination de la taille de l'opportunité. Oui. Il se trouve qu'aucune entreprise de puces ne peut être aussi grande. Mais si vous n'êtes pas une entreprise de puces, alors pourquoi cela s'appliquerait-il à vous ? Et c'est la chose extraordinaire à propos de la technologie en ce moment : la technologie est un outil et elle n'a qu'une certaine taille. Ce qui est unique dans notre circonstance actuelle aujourd'hui, c'est que nous sommes dans la fabrication de l'intelligence, nous sommes dans le monde de la fabrication du travail. C'est l'IA. Et le monde des tâches, du travail, du travail productif d'IA générative, du travail intelligent génératif, la taille de ce marché est énorme. Elle se mesure en billions. Une façon d'y penser est que si vous avez construit une puce pour une voiture, combien y a-t-il de voitures et combien de puces consommeraient-elles ? C'est une façon de voir les choses. Cependant, si vous avez construit un système qui, chaque fois que nécessaire, aidait à la conduite de la voiture, quelle est la valeur d'un chauffeur autonome de temps en temps ? Et donc maintenant le problème devient beaucoup plus vaste, l'opportunité devient plus grande. À quoi cela ressemblerait-il si nous devions magiquement faire apparaître un chauffeur pour tous ceux qui ont une voiture ? Quelle est la taille de ce marché ? Évidemment, c'est un marché beaucoup, beaucoup plus vaste. Et donc l'industrie technologique est là où ce que nous avons découvert, ce que NVIDIA a découvert et ce que certains ont découvert, c'est qu'en nous séparant du statut de fabricant de puces pour construire au-dessus d'une puce et que vous êtes maintenant une entreprise d'IA, l'opportunité de marché a probablement augmenté de mille fois. Ne soyez pas surpris si les entreprises technologiques deviennent beaucoup plus grandes à l'avenir car ce que vous produisez est quelque chose de très différent. Et c'est la façon de penser à l'ampleur de votre opportunité, à quel point vous pouvez être grand. Cela a tout à voir avec la taille de l'opportunité.

Oui. Eh bien Jensen, merci beaucoup.

Merci.

Wouh, David, c'était génial.

Tellement amusant.

Eh bien auditeurs, nous voulons vous dire que vous devriez absolument vous inscrire à notre liste de diffusion. Bien sûr, ce sont des notifications quand nous publions un nouvel e-mail, mais nous avons ajouté quelque chose de nouveau. Nous incluons des petits détails que nous apprenons après la sortie de l'épisode, y compris des corrections d'auditeurs. Et nous avons aussi commencé à donner des indices sur ce que sera le prochain épisode. Donc si vous voulez jouer au petit jeu des devinettes avec le reste de la communauté Acquired, inscrivez-vous sur acquired.fm/email. Un immense merci à Blinkist, Statsig et Crusoe. Tous les liens dans les notes de l'émission sont disponibles pour en savoir plus et obtenir les offres exclusives pour la communauté Acquired de chacun d'eux. Vous devriez aller voir ACQ2, qui est disponible dans n'importe quel lecteur de podcast. Alors que ces épisodes principaux d'Acquired deviennent plus longs et sortent une fois par mois au lieu d'une fois toutes les deux semaines, c'est devenu un peu plus rare ces jours-ci.

Nous avons amélioré notre processus de production. Et cela prend du temps.

Oui. ACQ2 est devenu l'endroit pour en obtenir plus de David et moi, et nous avons juste des épisodes géniaux à venir qui nous enthousiasment. Si vous voulez entrer plus profondément dans la cuisine d'Acquired, devenez un LP, acquired.fm/lp. Une fois tous les deux mois environ, nous ferons un appel avec vous tous sur Zoom, juste pour les LP pour avoir les coulisses de ce qui se passe chez Acquired et pour apprendre à connaître David et moi un peu mieux. Et une fois par saison, vous nous aiderez à choisir un futur épisode. Donc c'est acquired.fm/lp. Tout le monde devrait rejoindre le Slack, acquired.fm/slack. Bon sang, on a beaucoup de choses maintenant, David.

Je sais, le menu hamburger sur notre site web s'agrandit.

S'agrandit. Je sais, c'est comme ça qu'on sait qu'on devient une entreprise d'envergure. Nous avons un méga menu, un menu de menus, si vous voulez.

Quelle est la solution Acquired que nous pouvons vendre ?

C'est vrai. On doit trouver ça. Très bien. Sur ce auditeurs, acquired.fm/slack pour rejoindre le Slack et discuter de cet épisode, acquired.fm/store pour obtenir certains de ces super produits dérivés dont tout le monde parle. Et avec ça auditeurs, nous vous verrons la prochaine fois.

On vous voit la prochaine fois.