Discussion au coin du feu avec Jensen Huang aux Stripe Sessions 2024
21 mai 2024
Technologie & IA
Introduction
Bienvenue de nouveau sur scène, Patrick Collison.
Très bien, bonjour à tous. J'espère que vous avez apprécié les sessions entre le moment où nous nous sommes vus ce matin et maintenant.
Pour le discours d'ouverture de cet après-midi, ou plutôt cette discussion au coin du feu, je suppose, je m'apprête à présenter quelqu'un qui n'a guère besoin d'introduction. Bien qu'une anecdote amusante que vous ne connaissez peut-être pas sur Jensen Huang est qu'il est PDG de NVIDIA depuis 31 ans ce mois-ci, ce qui fait de lui le PDG le plus ancien de l'industrie technologique et, je suppose, par conséquent logiquement nécessaire.
John et moi ne le faisons que depuis 14 petites années. Donc, même si nous doublons ce temps, nous serons toujours seconds derrière lui. Jensen, bon, nous en parlerons sur scène, a fréquenté le Oneida Baptist Institute au Kentucky. Nous allons certainement l'interroger à ce sujet. Oregon State, a travaillé comme serveur chez Denny's — le Denny's proche d'ici d'ailleurs. LSI Logic puis AMD, qui est bien sûr maintenant dirigé par sa cousine germaine issue de germains. Nous lui poserons certainement des questions à ce sujet avant qu'il ne fonde NVIDIA en 1993. La capitalisation boursière de NVIDIA était de 8 milliards de dollars lors du lancement de Stripe en 2011, et elle est maintenant bien sûr plus de 200 fois supérieure à cela. Il a donc été bien occupé depuis. Veuillez accueillir sur scène, Jensen Huang.
Retours sur le Keynote et Services Financiers Définis par Logiciel
Salut tout le monde.
Alors, vous avez regardé le discours d'ouverture plus tôt.
Oui. Je n'avais jamais vu de duo auparavant. Vous étiez si synchronisés. On aurait dit que vous vous connaissiez tous les deux. C'est incroyable.
Une certaine connaissance. Mais d'accord, vous faites des discours d'ouverture depuis longtemps. Vous êtes le GOAT du keynote. Alors donnez-nous — arrêtez ça — donnez-nous votre... nous n'avons même pas encore de tenue emblématique. Nous ne sommes que des amateurs ici. Alors donnez-nous
C'est parce que vous êtes encore jeunes.
Eh bien, donnez-nous votre évaluation de performance du keynote. Qu'en avez-vous pensé ?
J'ai trouvé que c'était un A+. Pas vous ? Vous avez parfaitement expliqué l'objectif de l'entreprise, ce qui vous inspire, ce qui vous tient éveillés, ce qui vous fait travailler si dur, l'écosystème que vous servez, l'incroyable plateforme que vous avez bâtie et la contribution extraordinaire que vous apportez à l'économie mondiale. C'est incroyable. J'ai trouvé ça génial. Et il y avait tout un tas de trucs technologiques, de fonctionnalités, d'argent. Je n'ai rien compris à tout ça. Mais un truc à propos d'un KYC ou quelque chose comme ça. C'était quoi ?
KYC.
KYC, ouais.
C'est un sujet majeur dans notre monde.
C'est vrai ? Kentucky Fried Chicken ?
Nous nous occupons du KYC pour que vous puissiez l'associer à Kentucky Fried Chicken.
D'accord, compris.
Est-ce que les services financiers définis par logiciel, cette idée, avait du sens pour vous ?
Eh bien, tout d'abord, je pense que c'est une idée géante.
Savez-vous d'où ça vient ?
Vous allez me le dire.
Jensen et moi discutions peut-être
La partie que j'ai adorée, c'est la façon dont vous avez réalisé dès le début que les paiements financiers étaient une affaire de code, pas de finance. J'ai trouvé ça incroyable. Et vous avez expliqué cela la première fois que nous nous sommes rencontrés.
Jensen et moi discutions il y a environ 18 mois, et je suppose que cela faisait quelques années que nous ne nous étions pas parlé. Il demandait donc des nouvelles de Stripe et je lui expliquais. Et vous avez dit : 'Oh, c'est donc comme le réseautage défini par logiciel mais pour l'argent.' Et cela résonnait encore dans mon esprit. C'est donc de là que nous est venue cette idée de services financiers définis par logiciel. J'espère que nous n'aurons pas à payer de frais de licence pour cela.
Vous avez eu zéro équité pour cette bonne idée. Très bien.
Vous vous en sortez bien. Je pensais à cela ; les résultats de Tesla sont tombés hier et Elon a annoncé, je crois, que Tesla aura 85 000 H100 d'ici la fin de l'année. Et je me disais que c'était une sacrée réussite de bâtir une entreprise où les PDG rivalisent entre eux pour annoncer qui a dépensé le plus pour acheter votre produit. Je pense que vous avez fait quelque chose d'assez impressionnant. Je veux commencer par parler un peu de
Tous mes amis PDG, ils ont tous le plus de GPU.
Douleur, Souffrance et Grandeur
Je veux commencer par parler un peu d'une remarque que vous avez faite lors d'un événement à Stanford récemment. Vous parliez à la GSB, je crois, et vous avez dit : 'Je vous souhaite d'abondantes doses de douleur et de souffrance.' Développez.
Voyons voir. Il y a un malentendu. Il existe une expression qui dit que vous devriez choisir votre carrière en fonction de votre passion. Habituellement, les gens associent la passion au bonheur. Je pense qu'il manque quelque chose là-dedans. Rien n'est faux, mais il manque quelque chose. Si vous voulez faire de grandes choses, et je sais que c'est vrai pour vous qui avez créé Stripe — d'ailleurs, c'est l'un des meilleurs PDG au monde, aussi jeune soit-il. Comme vous le savez, j'ai rencontré beaucoup de PDG et entendu parler de beaucoup d'entreprises. C'est véritablement l'une des grandes entreprises visionnaires au monde. Je veux juste dire que c'est la raison pour laquelle je suis ici. J'adore ce que
Plus de compliments autorisés. Cela me rend terriblement mal à l'aise.
Je sais, je pouvais le voir commencer à transpirer. Le fait est que quand on veut construire quelque chose de grand, ce n'est pas facile à faire. Et quand on fait quelque chose qui n'est pas facile, on n'y prend pas toujours du plaisir. Je n'aime pas chaque jour de mon travail. Je ne pense pas que chaque jour m'apporte de la joie, et la joie n'a pas non plus besoin d'être la définition d'une bonne journée. Chaque jour je ne suis pas heureux, chaque année je ne suis pas heureux de l'entreprise, mais j'aime l'entreprise chaque seconde. Je pense que ce que les gens comprennent mal, c'est que d'une certaine manière, les meilleurs jobs sont ceux qui vous apportent du bonheur tout le temps. Je ne pense pas que ce soit juste. Il faut souffrir, lutter, s'efforcer et faire ces choses difficiles et les traverser pour vraiment apprécier ce que l'on a fait. Il n'y a pas de grandes choses qui ont été faciles à faire. Par définition, par conséquent, je vous souhaite la grandeur, ce qui est ma façon de dire que je vous souhaite beaucoup de douleur et de souffrance.
Éducation et Premières Expériences
Y a-t-il quelque chose dans votre éducation qui vous a enseigné cette idée ou est-ce simplement inné à votre tempérament ?
Je n'avais pas réalisé que je devais m'allonger pour ça — je m'apprête à vous dire des choses que je n'ai jamais dites à personne, pas même à ma famille. J'étais un immigré et quand je suis arrivé en 1973, j'avais neuf ans ; mon frère aîné en avait presque 11. C'était un pays étranger et il n'y avait rien de facile là-dedans. Nous avons aussi grandi avec des parents vraiment formidables, mais nous n'étions pas riches, alors ils ont travaillé dur — ils travaillent dur aujourd'hui. Ils nous ont transmis beaucoup de leçons de vie sur le travail acharné. J'ai eu toutes sortes d'emplois et nous sommes allés dans une école qui incluait beaucoup de corvées.
C'était au Kentucky.
Oui, Kentucky. Oneida Baptist Institute. Je ne pense pas que ce soit la même chose que le MIT ; le 'I' est le même mot, mais c'est un type d'institut différent. Mon institut exigeait d'aller à l'école, et c'était un dortoir, donc il y avait beaucoup de corvées. J'étais le plus jeune gamin de l'école, donc tous les autres gamins avaient le travail difficile ; ils devaient travailler dans la ferme de tabac. J'ai eu le travail facile — j'avais neuf ans — donc après qu'ils soient partis, je devais nettoyer toutes les toilettes. Je n'ai jamais eu l'impression d'avoir eu le travail facile parce que ce qu'ils laissaient derrière eux — on ne peut pas oublier ce genre de choses. Mais c'était mon travail. Je le faisais avec plaisir. J'ai eu plein d'autres jobs ; Denny's en était un. J'ai commencé comme plongeur, puis je suis devenu commis débarrasseur, puis serveur, et j'ai adoré chacun d'eux. D'une certaine manière, j'ai toujours trouvé — je veux dire de la joie, mais ce n'est pas tout à fait ça — dans tout ce que je faisais, je voulais faire du mieux que je pouvais. Peut-être que c'était ancré dès le début, mais j'étais certainement le meilleur nettoyeur de toilettes que le monde ait jamais vu ; j'en suis sûr.
Structure Organisationnelle et Management
Si nous avançons un peu vers le NVIDIA d'aujourd'hui, quelle est la taille de votre équipe de direction ?
L'équipe de direction de NVIDIA compte 60 personnes.
Et ils vous rapportent tous directement ?
Ils me rapportent tous. 60 subordonnés directs.
Ce qui n'est pas conventionnellement considéré comme une bonne pratique.
Je conviens que c'est la meilleure pratique — je suis certain que c'est la meilleure pratique. Ce n'est pas conventionnel, mais je suis certain que c'est la meilleure pratique. À la fin de ceci, je vais vous convaincre tous d'avoir 60 personnes comme subordonnés directs.
La parole est à vous.
La raison est que la couche hiérarchique dans votre entreprise compte vraiment. L'information compte vraiment. Je crois que votre contribution au travail ne devrait pas être basée sur un accès privilégié à l'information. Je ne fais pas de tête-à-tête et mon personnel est assez nombreux. Presque tout ce que je dis, je le dis à tout le monde en même temps. La raison est que je ne crois pas qu'il y ait d'information sur laquelle je travaille dont une ou deux personnes seulement devraient entendre parler. Ce sont les défis de l'entreprise, ou c'est le problème que j'essaie de résoudre, ou c'est la direction vers laquelle nous essayons d'aller. Ce sont les nouvelles initiatives ; ceci ne fonctionne pas, cela fonctionne bien. Tous ces types d'informations, tout le monde devrait pouvoir les entendre. J'adore le fait que tout le monde travaille sur la même partition. J'adore le fait qu'il n'y ait pas d'accès privilégié à l'information. J'adore que nous soyons tous capables de contribuer à la résolution d'un problème. Quand vous avez 60 personnes dans une salle et souvent — enfin, mes réunions de direction ont lieu une semaine sur deux — tout est basé sur les problèmes, quels que soient les problèmes que nous avons. Tout le monde est là à y travailler en même temps. Tout le monde a entendu le raisonnement du problème et le raisonnement de la solution. Cela donne du pouvoir aux gens. Je crois que lorsque vous donnez à tout le monde un accès égal à l'information, cela donne du pouvoir aux gens. C'est donc le numéro un : l'autonomisation.
Numéro deux, si l'équipe directe du PDG est de 60 personnes, le nombre de niveaux hiérarchiques que vous avez supprimés dans une entreprise est probablement de l'ordre de sept. Je ne pense pas que ce soit extensible vers le bas car on a besoin de plus en plus de supervision selon certains niveaux. Au niveau de l'équipe de direction, si vous avez le malheur de servir dans l'équipe de direction de NVIDIA, il est très peu probable que vous ayez besoin de beaucoup de supervision managériale.
Je me retrouve rarement à devoir défendre la sagesse conventionnelle, mais si je devais me faire l'avocat du diable, je dirais que les tête-à-tête sont l'endroit où l'on assure le coaching, où l'on discute des objectifs ensemble — objectifs personnels, avancement de carrière, etc. — où l'on donne peut-être un feedback sur quelque chose qu'on voit quelqu'un ne pas faire systématiquement très bien. Il y a toutes ces choses qu'on est censé faire conventionnellement dans un tête-à-tête. Est-ce que vous ne faites pas ces choses ou les faites-vous d'une manière différente ?
Très bonne question. Je le fais là, devant tout le monde. Le feedback, c'est de l'apprentissage. Pour quelle raison seriez-vous la seule personné à devoir apprendre cela ? Vous avez créé les conditions à cause d'une erreur que vous avez commise et nous devrions tous apprendre de cette opportunité. Pour moi, raisonner à ce sujet devant tout le monde aide tout le monde à apprendre comment raisonner. Le problème que j'ai avec les tête-à-tête et le fait de mettre les feedbacks de côté, c'est que vous privez tout un tas de gens de ce même apprentissage. Apprendre des erreurs des autres est la meilleure façon d'apprendre. Pourquoi apprendre de ses propres erreurs ou de son embarras ? Il faut apprendre de l'embarras des autres. C'est pour cela que nous avons des études de cas. Nous essayons de lire les catastrophes et les tragédies des autres. Rien ne nous rend plus heureux que cela.
Avez-vous réussi à amener d'autres dirigeants chez NVIDIA à adopter cette pratique ?
Je donne aux gens la possibilité de décider par eux-mêmes, mais je décourage vraiment les tête-à-tête. Rien n'est pire que l'idée que quelqu'un dise : 'Jensen veut que nous fassions cela.' Pourquoi cela doit-il être dit à qui que ce soit ? Tout le monde devrait le savoir. Ou quelqu'un a dit : 'L'équipe de direction a dit cela.' Rien ne me rend plus dingue que ça.
Philosophie de Recrutement et de Rétention
Vous m'avez dit un jour que vous n'aimiez vraiment pas licencier des gens et que vous le faisiez très rarement. Pouvez-vous élaborer ?
Eh bien, je préfère vous améliorer que de vous abandonner. Quand vous licenciez quelqu'un, vous dites : 'Eh bien, ce n'était pas de ta faute', ou 'J'ai fait le mauvais choix'. Il y a très peu d'emplois — écoutez, je nettoyais des toilettes et maintenant je suis le PDG d'une entreprise. Je suis presque sûr qu'on peut apprendre ça. Il y a beaucoup de choses dans la vie que je crois qu'on peut apprendre, et il suffit qu'on vous en donne l'opportunité. J'ai eu l'avantage de regarder beaucoup de gens intelligents faire des choses. Je suis entouré de 60 personnes ; ils font des choses intelligentes tout le temps, et j'apprends constamment de chacun d'eux. Je n'aime pas abandonner les gens parce que je pense qu'ils pourraient s'améliorer. C'est un peu ironique, mais les gens savent que je préfère les torturer vers la grandeur.
C'était la phrase que j'espérais dévoiler. Je me souviens que vous l'aviez mentionnée.
Oui, donc je préfère vous torturer vers la grandeur parce que je crois en vous. Les entraîneurs qui croient vraiment en leur équipe les torturent vers la grandeur. Souvent, ils sont si proches. N'abandonnez pas. La grandeur vient tout d'un coup un jour — c'est comme : 'J'ai compris'. Ce sentiment que vous n'aviez pas compris hier, et puis tout d'un coup un jour, quelque chose a cliqué et vous avez compris. Pourriez-vous imaginer que vous ayez abandonné juste avant de comprendre ? Je ne veux pas que vous abandonniez là-dessus. Alors je vais juste continuer à vous torturer.
Équilibre Vie Professionnelle et Vie Privée
Quel est votre équilibre entre vie professionnelle et vie privée ?
Eh bien, cela dépend à qui vous demandez. Je pense que mon équilibre vie pro-vie perso est vraiment génial. Je travaille autant que je peux. J'ai l'impression qu'il me juge. Je suis plus vieux que vous ; j'ai plus de sagesse que vous.
Ce sont tous les moments forts de nos conversations que je pense que plus de gens devraient entendre.
Je travaille du moment où je me réveille au moment où je me couche, et je travaille sept jours sur sept. Quand je ne travaille pas, je pense au travail. Quand je travaille, je travaille. Je regarde des films mais je ne m'en souviens pas parce que je pense au travail. C'est parce que mon travail ne consiste pas seulement à essayer de résoudre un problème. Vous réfléchissez à ce que l'entreprise peut devenir et s'il y a des choses que nous pourrions faire encore mieux. Parfois, vous imaginez l'avenir — si nous faisions ceci et cela — ça fonctionne, vous fantasmez, vous rêvez. C'est incroyable.
Une Journée dans la Vie de Jensen Huang
Pour concrétiser un peu cela — et nous en viendrons à parler d'IA, dont j'entends dire que c'est la mode ces jours-ci — à quoi ressemble une journée dans la vie de Jensen ? À quelle heure vous réveillez-vous ?
C'est un truc. Officiellement un truc, TM. J'avais l'habitude de me réveiller à cinq heures ; ces jours-ci, je me réveille à six heures à cause de mes chiens. La raison pour laquelle c'est six heures, c'est que nous avons décidé d'une manière ou d'une autre que six heures est l'heure à laquelle ils devraient se réveiller. Cela ne me dérange pas de réveiller qui que ce soit, mais je me sens coupable quand je réveille les chiots. Cela me pèse vraiment. Je ne veux pas bouger, et ils captent la moindre vibration dans la maison et cela les réveille. Donc nous restons au lit et je lis simplement au lit jusqu'à six heures quand il est temps de se réveiller.
Mais vous pensez aux GPU.
Oui, bien sûr. Je suis obsédé par les GPU. Qu'est-ce qu'on y peut ? Je suis constamment
Et ensuite la journée n'est faite que de réunions de groupe parce qu'il ne peut pas y avoir de réunions en tête-à-tête.
Je fais mon travail avant d'aller au travail. Et puis quand j'arrive au travail — pratiquement toute la journée. Je choisis les réunions qui sont vraiment importantes pour moi. J'essaie de ne pas avoir de réunions opérationnelles régulières parce que j'ai des gens formidables dans l'entreprise qui font ces réunions opérationnelles régulières. Nous devrions être des remplaçants de luxe. Les PDG sont des remplaçants de luxe ; nous devrions travailler sur les choses que personne d'autre ne peut faire ou que personne d'autre ne fait.
Donc vous vous lancez dans des projets qui sont bloqués ou qui déraillent, ou dans de nouvelles idées.
Partout où nous pouvons faire bouger les choses. Pas de réunions de compte rendu ; je déteste les réunions de compte rendu. Ils n'ont pas à me faire de compte rendu. Juste des réunions sur des problèmes, des réunions d'idées, des réunions de remue-méninges ou des réunions de création. Ce sont les réunions où je vais. Généralement, c'est moi qui les convoque. J'essaie vraiment de ne pas laisser Outlook gérer ma vie. Nous décidons délibérément du genre de choses sur lesquelles nous voulons travailler. J'essaie de mener une vie pleine de sens et je gère mon temps en conséquence.
Marchés à Zéro Milliard de Dollars et Innovation
Vous avez utilisé une phrase une fois : les marchés à zéro milliard de dollars. Que les marchés à zéro milliard de dollars sont vos marchés préférés. Pourquoi ? Que voulez-vous dire ?
Notre objectif devrait être d'aller faire quelque chose qui n'a jamais été fait auparavant, qui est incroyablement difficile à faire, et qui, si vous y parvenez, pourrait apporter une réelle contribution. Si c'est le cas, et que cela n'a jamais été fait auparavant, ce marché a probablement une taille de zéro milliard de dollars. Je préfère être un créateur de marché qu'un preneur de marché. Je n'aime pas le concept de 'part de marché'. Si vous y réfléchissez, Stripe est né de rien ; vous avez créé quelque chose à partir de vapeur. Ce n'était pas comme s'il y avait déjà un autre quelque chose. J'aime penser que nous pouvons inventer quelque chose qui vaut zéro milliard de dollars. Un marché à zéro milliard de dollars est un bon moyen d'amener l'entreprise à réfléchir à la manière de créer quelque chose pour la première fois.
Notre mission est de faire croître le PIB de l'internet. La clause 'PIB de l'internet' attire généralement l'attention, mais en fait la partie la plus importante est juste le verbe 'faire croître'. Pour rejoindre votre point, nous ne devrions pas réfléchir aux transactions qui ont déjà lieu ou aux entreprises qui existent déjà. Nous devrions réfléchir aux transactions et aux entreprises qui n'existent pas. Le PIB mondial est d'environ 100 billions de dollars, mais il ne doit pas forcément rester à 100 billions. Il pourrait être de 200 billions ou de 1 000 billions.
C'est exactement ça. La majeure partie de la valeur que nous allons créer au cours des prochaines décennies n'est probablement pas limitée par des choses physiques. C'est une période assez extraordinaire.
Avec ce concept de marchés à zéro milliard de dollars, si je suis chez NVIDIA, est-ce que je viens vous voir avec une proposition de projet impliquant plusieurs milliards de dollars de CapEx, une poursuite sur plusieurs années, et alors qu'il n'y a pas de clients pour cela aujourd'hui, aucune demande que je puisse démontrer ; et vous prenez simplement une décision instinctive pour dire que oui, personne ne fait cela aujourd'hui, nous pensons qu'ils pourraient et devraient le faire, et par conséquent nous allons le poursuivre ?
C'est un peu comme ça. C'est une décision instinctive dans le sens où votre intuition dit quelque chose comme thèse de départ. Mais ensuite, il faut raisonner. Le raisonnement est beaucoup plus important pour moi qu'un tableur. Je déteste les tableurs parce qu'on peut leur faire dire ce qu'on veut ; il suffit de taper quelques chiffres. J'aime les mots pour cette raison. Les mots sont du raisonnement. Dites-moi comment vous avez raisonné là-dessus. Quelle est notre intuition ? Pourquoi pensons-nous que cela compte ? Pourquoi pensons-nous que c'est difficile ? J'aime les choses difficiles parce qu'elles prennent beaucoup de temps à réaliser. Si cela prend beaucoup de temps, les gens qui sont moins engagés ne le feront probablement pas. Si c'est vraiment difficile, il faut une personne résiliente, dévouée et engagée pour s'y attaquer. Si cela prend aussi beaucoup de temps, vous pouvez patauger pendant quelques années sans que personne ne s'en aperçoive. Je pourrais être incompétent pendant plusieurs années et tout le monde se dirait : 'Eh bien, qui l'a vu ?'
L'Histoire de CUDA
D'où est venu CUDA ?
CUDA est né à l'origine de deux idées. L'une s'appelle le calcul accéléré. Le calcul accéléré est comme un périphérique d'E/S — quelque chose qui se trouve sur le PCI Express — qui permet à l'application d'interagir avec lui de manière à accélérer certaines parties de l'application. CUDA était une invention en 1993 et c'est une invention profonde ; elle permet au programmeur logiciel de programmer directement un périphérique d'E/S. Écrire une application directement pour le périphérique d'E/S parce que le périphérique d'E/S est virtualisé et architecturalement compatible sur plusieurs générations. Nous avons inventé cette idée appelée calcul accéléré. Nous l'avons appelée Unified Driver Architecture. Quelques années plus tard, nous avons pensé que nous pourrions rendre nos GPU plus programmables pour les langages de programmation de haut niveau et nous avons inventé cette idée appelée CG — C pour graphismes — pour les processeurs graphiques. Cela a ouvert des opportunités vraiment passionnantes, mais le modèle de programmation n'était pas tout à fait correct. Nous avons donc inventé CUDA — compute with — enfin, nous avons inventé cette idée appelée calcul accéléré et ouvert la voie à cette approche.
Mais est-ce que cela a été un succès retentissant du jour au lendemain ?
Non, ce fut un désastre incroyable du jour au lendemain. Ça s'est passé un peu comme ça.
C'est donc l'un de vos marchés à zéro milliard de dollars que vous avez visé.
C'était un désastre parce que c'était un marché à zéro milliard de dollars que nous visions, et cela a coûté si cher que cela a en fait écrasé le marché d'un milliard de dollars dont nous profitions. La raison en est que CUDA a ajouté énormément de coûts à nos puces. Il n'y avait pas d'applications. S'il n'y a pas d'applications, les clients n'apprécient pas le produit et ne vous paieront pas de prime pour celui-ci. Si les gens ne sont pas prêts à vous payer pour cela, mais que vos coûts augmentent, alors vos marges brutes sont écrasées — et nous avons été écrasés. Notre capitalisation boursière était faible, puis elle est descendue très bas, comme un milliard de dollars. J'aurais aimé l'acheter.
Et donc, par conséquent, vous avez immédiatement annulé CUDA pour revenir à l'ancienne stratégie.
Non, je croyais en CUDA parce qu'on raisonne à son sujet. Nous croyions vraiment que le calcul accéléré allait être capable de résoudre des problèmes que les ordinateurs normaux ne pouvaient pas. Si nous voulions étendre l'architecture pour qu'elle soit beaucoup plus polyvalente, nous devions faire ce sacrifice. Je croyais profondément en la mission de notre entreprise et en ses opportunités. Je commence chaque conversation par ce en quoi je crois profondément, et le conseil d'administration y a cru parce qu'il m'a vu y croire profondément. J'ai raisonné à ce sujet ; ce n'était pas un tableur. Ils devaient croire au raisonnement. Il a fallu probablement 10 ans pour que cela commence à fonctionner. 10 ans ; ça va et ça vient. Moins d'un tiers de votre mandat. Ça va et ça vient. Je me souviens à peine de la souffrance.
NVIDIA pourrait-elle avoir autant de succès dans l'IA sans CUDA ?
Non, impossible. C'est potentiellement l'une des inventions les plus importantes de l'informatique moderne. Nous avons inventé le calcul accéléré, et l'idée est si simple mais profondément profonde. Un petit pourcentage du code des programmes occupe 99,999 % du temps d'exécution. Ce petit noyau peut être accéléré. Aujourd'hui, alors que la loi de Moore a fait son temps et que la mise à l'échelle des CPU s'est pratiquement arrêtée, si nous n'accélérons pas les logiciels, vous allez assister à une inflation informatique extraordinaire. La quantité de calcul que le monde effectue double chaque année, pourtant si les CPU n'augmentent pas en performance, votre coût informatique va continuer à augmenter de manière exponentielle. Le moment est venu pour nous de faire cela.
Détermination vs Entêtement
Tout le monde ici dirige une entreprise et tout le monde a probablement une version de CUDA — une chose qui, selon vous, a vraiment du sens pour le secteur ou votre technologie, mais que le marché ne voit pas encore. Pensez-vous qu'il soit possible d'extraire des principes généralisables sur le moment où l'on doit faire confiance à cette vision avec acharnement et quand, peut-être, cela vaut la peine de reconsidérer la situation, comme dans le cas de CUDA et d'autres 'CUDA' qui ont existé au cours de l'histoire de NVIDIA ?
La question est la détermination et l'engagement versus l'entêtement, et cette ligne est floue. Je confronte mes convictions profondes chaque jour. On vérifie par rapport aux principes fondamentaux par lesquels on a raisonné ses stratégies. Ces principes fondamentaux sont faciles à retenir et ce n'est pas une longue liste. Maintenant, la question est : ces principes ont-ils changé de manière fondamentale ? Les conditions externes sont-elles telles qu'elles n'importent plus ? Quelqu'un d'autre a-t-il résolu le problème ? Vous le vérifiez constamment. Il faut faire attention à distiller les principes fondamentaux au lieu de simplement vouloir quelque chose. C'est de l'entêtement. Si vous ne pouvez pas raisonner à ce sujet, vous vous comportez juste comme un enfant de cinq ans. Il faut être astucieux. Nous avons trouvé des moyens de monétiser CUDA, même modestement. Nous avons cherché partout des applications : reconstruction de scanners, traitement sismique, dynamique moléculaire. Ce n'étaient pas des succès foudroyants, mais ils nous ont soutenus juste assez et nous ont fait gagner du temps pour que cela se produise vraiment.
L'Avenir de l'IA et des Centres de Données
Parlons de l'IA. Disons que la capacité de calcul totale de tous les GPU au monde aujourd'hui est X. Quel multiple de X atteindrons-nous dans cinq ans ?
Tout d'abord, vous savez que je vais regretter d'avoir dit cela. Je suis une entreprise publique, espèce de fou. Vous voyez comme c'est agréable d'être privé ?
On peut dire sans risque : considérablement plus.
Raisonnons à ce sujet. Le monde a installé environ un billion de dollars de centres de données. Ces centres de données utilisent l'informatique polyvalente, qui a fait son temps. Nous ne pouvons pas continuer à traiter de cette manière. Le monde va donc tout accélérer. Quand nous accélérerons tout, chaque centre de données sera un serveur accéléré. Il y a environ un billion de dollars d'ordinateurs que nous devons remplacer au cours des quatre à six prochaines années. Si l'industrie informatique continue de croître de 20 %, nous devrons probablement remplacer environ deux billions de dollars d'ordinateurs par du calcul accéléré. Mettez des GPU à la place. C'est le numéro un. Deuxièmement, vous tenez quelque chose d'absolument monumental : une révolution industrielle. Nous produisons pour la toute première fois quelque chose qui n'a jamais été produit auparavant, en très grand volume. La production de cette chose nécessite un nouvel instrument : un GPU. Nous produisons des jetons — des nombres à virgule flottante — en grand volume pour la première fois de l'histoire, et ils ont de la valeur parce que c'est de l'intelligence. Vous prenez ces nombres et vous les reformulez en anglais, en français, en protéines, en produits chimiques, en vidéos ou en articulations robotiques. Nous avons découvert un moyen de produire des jetons de presque n'importe quel type. Le monde va produire une quantité énorme de jetons dans de nouveaux types de centres de données que nous appelons des 'usines d'IA'. Dans la dernière révolution industrielle, les atomes entraient et les électrons sortaient. Dans cette nouvelle révolution industrielle, les électrons entrent et les nombres à virgule flottante sortent. Tout comme avant, les gens trouveront bientôt cela complètement normal. Ces jetons vont créer de nouveaux produits et services, et une productivité accrue au-dessus de cent billions de dollars d'industries. Cette industrie va être gigantesque. Et pour monétiser et effectuer ces transactions, vous aurez besoin de Stripe.
C'est l'une de mes entreprises préférées. La première fois que j'ai rencontré Patrick, il a dû m'expliquer Stripe. C'était tellement compliqué.
Nous avons essayé d'affiner les descriptions au fil du temps, mais vous en aviez une version précoce.
Vous êtes dans un secteur compliqué quoi qu'il en soit. Mais néanmoins, j'ai été tellement inspiré par cela. C'est incroyable ce que vous avez construit.
Allons-nous vous faire migrer vers Stripe Billing maintenant que nous avons la facturation basée sur l'utilisation ?
J'aimerais avoir une entreprise qui nécessite de la facturation.
Je pense que vos documents publics suggèrent que vous faites beaucoup de facturation.
Nous ferons un suivi là-dessus. Très bien. Alors
Ce n'est que 10 transactions, juste pour que vous sachiez.
Votre économie à nous servir n'est rien ; c'est comme 10 transactions.
Saturation des Modèles et Raisonnement
En pensant à ces usines à jetons, une grande question actuellement est de savoir si les modèles saturent. Dans notre démo plus tôt, nous avons converti le langage naturel en SQL. Passer d'un modèle de 7 milliards de paramètres à un modèle de 70 milliards de paramètres pourrait montrer une amélioration conséquente de la précision des requêtes, mais passer à un modèle 10 fois plus grand que cela est peut-être inutile. À un moment donné, arrive-t-on au 'suffisamment bon' ? Pour les cas d'utilisation où les LLM sont déployés, à quoi ressemble cette courbe de saturation, et pour combien de cas d'utilisation a-t-on besoin d'un modèle d'un billion de paramètres ? Atteignons-nous simplement un point où un nombre inférieur à 100 milliards est suffisant ? Avez-vous un point de vue là-dessus, ou est-ce même une façon raisonnable d'aborder la question ?
Décomposons cela et raisonnons. Commençons par un exemple : en 2012, la précision de la reconnaissance d'images d'AlexNet était d'environ 82 %. Au cours des sept années suivantes, le taux d'erreur a diminué de moitié chaque année. C'est la loi de Moore. On double la performance et la précision chaque année. En sept ans, cela devient surhumain. La même chose s'applique à la reconnaissance vocale et à la compréhension du langage naturel. Nous voulons croire que la réponse prédite est exacte. L'industrie va poursuivre cette crédibilité et doubler sa précision chaque année. Bien sûr, l'espace de problèmes est plus complexe, mais je suis certain que nous atteindrons un point où vous croirez vraiment à la réponse qu'il produit. Deuxièmement, les modèles d'aujourd'hui sont à tir unique (one-shot). Mais beaucoup de choses auxquelles nous réfléchissons nécessitent de l'itération. Comment raisonner sur un plan ou une stratégie ? Peut-être avez-vous besoin d'utiliser des outils, de consulter des données propriétaires, de faire des recherches ou de demander à un autre agent ou humain avant de passer à l'étape suivante. Un grand modèle de langage doit itérer et penser à un plan. Ce n'est pas du 'one-shot'. Les futurs modèles seront des modèles de planification avec de nombreux autres modèles autour d'eux, experts dans des compétences particulières. Nous avons encore un long chemin à parcourir.
Open Source et Llama
Meta a attiré beaucoup d'attention la semaine dernière avec la sortie de Llama 3, qui semble être le modèle open source le plus impressionnant à ce jour. Des réflexions sur les modèles open source ?
Si vous demandez quels sont les événements les plus importants des deux dernières années, je dirais ChatGPT et l'apprentissage par renforcement à partir du feedback humain. Cela a démocratisé l'informatique et permis à tout le monde d'être programmeur. Je suis fier du travail accompli par OpenAI. La deuxième chose, tout aussi importante, est Llama 2. Llama 2 a incité chaque industrie à se lancer dans l'IA générative. Cela a ouvert les vannes pour que la santé, les services financiers, la fabrication et le commerce de détail accèdent à cette technologie. Parce que Llama est en open source, il a mobilisé la recherche, les startups et l'industrie. ChatGPT a démocratisé l'informatique ; Llama a démocratisé l'IA générative. Sans cela, il aurait été très difficile de mobiliser toutes les recherches sur la sécurité, le raisonnement et l'apprentissage par renforcement.
AGI et Mesure du Progrès
Dario Amodei était sur le podcast d'Ezra Klein il y a deux semaines et il prédisait l'AGI à relativement court terme, potentiellement dans les deux prochaines années. Des pensées ?
Cela dépend de la façon dont on définit l'AGI. En tant qu'ingénieur, nous ne pouvons résoudre un problème que si on peut le mesurer. Si vous définissez l'AGI comme la liste des tests de référence que nous utilisons actuellement — mathématiques, anglais, examens médicaux et examens du barreau — je suis certain que nous obtiendrons d'excellents résultats d'ici les cinq prochaines années. Le taux d'erreur de ces modèles diminue de moitié tous les six mois. Il n'y a aucune raison pour que nous ne nous attendions pas à ce qu'ils soient bientôt surhumains. Encore une fois, cela ne correspond pas à la norme d'une personne normale qui penserait que c'est de l'AGI, mais c'est une manière d'ingénieur de le définir pour pouvoir répondre à la question. Si c'est indéfinissable, alors nous ne savons pas combien de temps cela prendra.
Conseils pour les Entreprises à l'Ère de l'IA
Tout le monde dans ce public dirige à nouveau une entreprise. Comment savoir si l'on répond de manière appropriée à ces changements ? Des conseils ?
Si vous ne vous engagez pas activement et agressivement dans l'IA, vous êtes désavantagé. Vous n'allez pas perdre votre emploi à cause de l'IA ; vous allez perdre votre emploi au profit de quelqu'un qui utilise l'IA. Votre entreprise ne va pas faire faillite à cause de l'IA, mais parce qu'une autre entreprise a utilisé l'IA. Vous devez adopter l'IA aussi vite que possible pour pouvoir faire des choses qui étaient auparavant trop coûteuses. Si le coût marginal de l'intelligence était pratiquement nul, il y aurait beaucoup de choses que vous feriez et que vous n'auriez pas faites autrement. Remarquez à quelle fréquence nous posons des questions maintenant. Je demande à Perplexity même si je connais la réponse, juste pour voir ce qu'il propose. Nous voulons que le coût marginal soit le plus bas possible afin que vous l'utilisiez en abondance. Les entreprises productives mènent à des revenus plus élevés, plus d'emplois et plus de croissance sociale.
L'IA au sein de NVIDIA
Au-delà de la simple modification de vos plans de fabrication et de vos plans de CapEx, comment l'IA a-t-elle changé la façon dont NVIDIA travaille en interne ?
Nous avons été l'une des premières entreprises technologiques à investir dans nos propres supercalculateurs d'IA. On ne peut plus concevoir une puce sans l'IA. La nuit, nos IA explorent de vastes espaces de conception qui nous coûteraient trop cher à explorer manuellement. Grâce à l'IA, nous pouvons réduire l'énergie utilisée pour nos puces tout en augmentant les performances. On ne peut plus écrire de logiciel sans l'IA ; nous l'utilisons pour optimiser les compilateurs et même pour signaler les bugs. Notre base de données de bugs vous dit ce qui ne va pas dans le code, qui est probablement impliqué et les mobilise pour le corriger. Je veux que chaque organisation de notre entreprise utilise l'IA de manière agressive. Je veux transformer NVIDIA en une seule IA géante. Alors j'aurai un équilibre vie pro-vie perso.
Au-delà du Langage Humain
Y a-t-il des exemples favoris que vous avez entendus d'entreprises où elles ont vraiment concrétisé une partie de cette opportunité ?
La plus grande surprise est que 'grand modèle de langage' ne signifie pas seulement le langage humain. Cela ne signifie pas uniquement l'anglais, le français ou l'irlandais. Existe-t-il un grand modèle de langage pour l'irlandais ?
J'ai essayé. Ça marche bien. John et moi avons passé la majeure partie de notre scolarité en Irlande à recevoir un enseignement en irlandais. Ces modèles sont parmi les premières personnes avec qui j'ai eu la chance de dialoguer en gaélique depuis de nombreuses années. Ils s'en sortent bien. Avez-vous joué avec Suno ?
Suno ?
Suno est une application pour créer de la musique synthétique. J'ai pris plaisir à créer
Musique irlandaise ?
Je l'ai bien sûr testé là-dessus et le dubstep celtique est une chose qu'il peut faire.
Fantastique. S'il peut faire ça, il peut apprendre le langage de la vie. Si un modèle de langage peut comprendre le son, qui est une séquence, il peut apprendre l'articulation robotique, qui est aussi une séquence. Il suffit de trouver comment le transformer en jetons. Tout d'un coup, on réalise qu'il peut apprendre le SQL, l'ABAP, le Lightning et le Verilog. J'ai réalisé que je peux mettre un copilote au-dessus de chaque outil sur la planète.
Modèles Spécialisés vs Modèles Généraux
L'avenir est-il celui de cent mille modèles ou est-ce un modèle unique qui fait tout ?
Ce serait génial d'avoir des supermodèles qui vous aident à raisonner sur les choses en général. Mais les entreprises ayant une expertise spécifique à un domaine devront entraîner leurs propres modèles. Pour nous, la différence entre 99 % et 99,3 % est la différence entre la vie et la mort. C'est trop précieux. Ce n'est pas différent de la détection de fraude pour vous. Quel que soit le niveau de performance du modèle général, vous voudrez l'affiner jusqu'à la perfection.
Famille, Culture et Artisanat
Nous allons bientôt manquer de temps. Il y a un tas de choses qu'on m'a dit que je devais absolument demander, mais il y en a quelques-unes que je voulais vraiment poser, et nous ne sommes que nous deux ici. Lisa Su est votre cousine germaine issue de germains.
Oui.
Génial. Elle est incroyable.
C'est la PDG d'AMD, d'ailleurs.
Et AMD est maintenant l'un de vos concurrents dans le domaine des GPU.
No. Nous sommes de la famille. Nous sommes tous dans l'industrie. Nous achetons chez AMD.
Comment en sommes-nous arrivés à ce que les deux plus importantes sociétés de GPU soient dirigées par des parents proches ?
Il faut rester en famille. Je n'ai aucune idée de comment c'est arrivé. Nous n'avons pas grandi ensemble et ne nous connaissions pas jusqu'à ce qu'elle soit chez IBM. Sa carrière est incroyable et elle est tout à fait extraordinaire.
Vous opérez dans la Silicon Valley depuis le début des années 90. Comment la culture de la Silicon Valley a-t-elle changé pendant cette période ?
Oui.
Comment la culture de la Silicon Valley a-t-elle changé ?
Je n'y ai pas pensé depuis longtemps. Quand j'ai commencé NVIDIA, j'avais 29 ans et de l'acné. On va parler à des cabinets d'avocats et à des investisseurs, et j'avais un gros bouton sur le front. Je n'en ai pas aujourd'hui, donc je me sens à l'aise d'en parler. On se feel peu sûr de soi parce qu'à l'époque, la plupart des PDG portaient des costumes et parlaient comme des adultes. Quand on est jeune, on se sent intimidé, entouré d'adultes. Maintenant, si vous n'avez pas d'acné, je ne pense pas que vous méritiez de créer une entreprise. Nous avons permis à des gens plus jeunes d'être extraordinaires. La jeune génération de PDG sait des choses à un si jeune âge qu'il m'a fallu des décennies pour apprendre.
Dernière question. NVIDIA a une capitalisation boursière d'environ deux billions de dollars. Vous avez 28 000 employés. Vous avez dit en coulisses que l'artisanat ne peut être atteint qu'avec l'ancienneté. NVIDIA est plus petite que d'autres géants et vous semblez penser que l'ancienneté et l'artisanat comptent vraiment. Voulez-vous en dire un peu plus là-dessus ?
Je pense que les bonnes choses sont faites avec l'excellence opérationnelle, mais on ne peut pas faire des choses extraordinaires uniquement par l'excellence opérationnelle. Les grands produits et organisations demandent des soins attentionnés. On ne peut pas mettre de soins attentionnés dans un e-mail ou un processus métier. Chez Stripe, vous parlez d'artisanat et de beauté. Vous devez utiliser ces mots car il n'y a pas d'autres mots pour le décrire. Vous ne pouvez pas spécifier la beauté ou l'artisanat dans une spécification de produit. Vos clients le savent quand ils en font l'expérience. Le travail de Stripe possède beauté, élégance et simplicité. La simplicité et le 'simple' ne sont pas la même chose. Cela résout un problème juste assez sans encombrer l'utilisateur. Cet équilibre est difficile à définir ; on y arrive simplement au feeling. Quand vous avez une équipe qui avance au feeling ensemble, vous encodez la magie de l'entreprise d'une manière qu'aucun mot ne peut décrire. On ne veut pas perdre cela ; on veut passer au niveau supérieur la fois suivante. Je n'aime pas travailler avec de nouvelles personnes pour cette raison. J'ai incarné et déposé tant de douleur, de souffrance, de joie et de connaissances dans les gens avec qui j'ai travaillé. Vous voulez faire perdurer cela. Les petites équipes peuvent faire de grandes choses. NVIDIA est une petite équipe de 28 000 personnes, mais nous boxons bien au-dessus de notre catégorie. C'est incroyable ce que vous avez fait avec 7 000 personnes soutenant un écosystème d'un billion de dollars. Je suis très fier de vous. Jensen, merci.