Beaucoup de gens veulent savoir, vous êtes l'une des personnes les plus productives et brillantes de l'histoire de l'IA. À quoi ressemble une journée productive dans la vie d'Andrej Karpathy ? À quelle heure vous réveillez-vous habituellement ? Imaginez une sorte de danse entre la journée productive moyenne et une journée productive parfaite. La journée productive parfaite est ce vers quoi nous tendons et la moyenne est ce vers quoi elle converge compte tenu de toutes les erreurs et des éventualités humaines. Alors, à quelle heure vous réveillez-vous ? Êtes-vous matinal ?

Je ne suis pas matinal. Je suis un oiseau de nuit, c'est certain.

Est-ce stable ou non ?

C'est semi-stable, vers 8h00 ou 9h00. Pendant mon doctorat, c'était encore plus tard. J'avais l'habitude de me coucher généralement à 3h00 du matin. Je pense que les heures du matin sont précieuses et constituent un moment très intéressant pour travailler parce que tout le monde dort. À 8h00 ou 7h00 du matin, la côte Est est éveillée. Il y a déjà de l'activité, des SMS et des choses qui se passent. On peut aller sur des sites d'actualités et voir des choses distrayantes se produire. À 3h00 du matin, tout est totalement calme. Vous n'allez pas être dérangé et vous avez de solides blocs de temps pour travailler. J'aime ces périodes ; oiseau de nuit par défaut. Pour le temps productif, ce que j'aime faire, c'est créer une dynamique sur un problème sans trop de distractions. Vous devez charger votre RAM, votre mémoire de travail, avec ce problème. Ensuite, vous devez en être obsédé quand vous prenez votre douche ou quand vous vous endormez. Vous devez être obsédé par le problème pour qu'il soit pleinement dans votre mémoire et que vous soyez prêt à vous réveiller et à y travailler.

Est-ce sur une échelle temporelle d'un seul jour, de quelques jours, d'une semaine ou d'un mois ?

Je ne peux pas parler d'un jour de manière isolée car c'est tout un processus. Quand je veux devenir productif sur un problème, j'ai l'impression d'avoir besoin d'une période de quelques jours où je peux vraiment m'y plonger. Je ne veux pas être interrompu et je vais être complètement obsédé par ce problème. C'est là que je fais la majeure partie de mon bon travail.

Vous avez réalisé un tas de petits projets sympas en un temps très court, très rapidement. Cela nécessite de se concentrer uniquement dessus.

Je dois charger ma mémoire de travail avec le problème et être productif car il y a toujours un coût fixe énorme pour aborder n'importe quel problème. J'avais du mal avec ça chez Tesla parce que je voulais travailler sur un petit projet personnel, mais il faut d'abord comprendre comment se connecter en SSH au cluster et lancer un éditeur VS Code. On tombe sur une erreur pour une raison quelconque. On n'en est pas encore au point de pouvoir être productif tout de suite ; on fait face à des barrières. Il s'agit de supprimer toutes ces barrières pour être capable d'entrer dans le problème et d'avoir le problème complet chargé dans sa mémoire.

Et d'une manière ou d'une autre éviter les distractions de toutes formes, comme les actualités et les e-mails, mais aussi les distractions d'autres projets intéressants sur lesquels vous avez travaillé précédemment ou sur lesquels vous travaillez actuellement. Vous voulez juste vraiment concentrer votre esprit.

Je peux prendre un peu de temps pour des distractions entre-temps, mais cela ne peut pas être trop important. La majeure partie de votre journée est consacrée à ce problème. Ensuite, je bois du café, je fais ma routine matinale et je regarde les nouvelles sur Twitter, Hacker News et le Wall Street Journal. C'est super.

Donc vous vous réveillez, vous prenez un café et vous essayez de vous mettre au travail le plus rapidement possible, ou bien commencez-vous par ingérer ce flux de ce qui se passe dans le monde ?

Je trouve intéressant de connaître le monde. Je ne sais pas si c'est utile ou bon, mais cela fait partie de ma routine en ce moment. Je lis un tas d'articles de presse et je veux être informé, mais je me méfie de cette pratique. Actuellement, c'est là que j'en suis.

Voulez-vous dire méfiant quant à l'effet positif de cette pratique sur votre productivité et votre bien-être ?

Mon bien-être psychologique, oui.

Et aussi sur votre capacité à comprendre profondément le monde car avec autant de sources d'information, on n'est pas vraiment concentré on une intégration profonde.

C'est un peu distrayant, oui.

En termes de journée parfaitement productive, pendant combien de temps d'affilée dans une session essayez-vous de travailler et de vous concentrer on une chose ? Est-ce quelques heures, une heure, 30 minutes ou 10 minutes ?

Je peux probablement tenir quelques heures, puis j'ai besoin de pauses entre-temps pour manger et d'autres choses. C'est quand même très difficile de cumuler les heures. J'utilisais un traqueur qui me disait exactement combien de temps je passais à coder dans une journée donnée. Même lors d'une journée très productive, je ne passais encore que six ou huit heures. C'est juste parce qu'il y a tellement de rembourrage : les trajets, parler aux gens, manger, etc. Le coût de la vie quotidienne, du maintien de l'homéostasie et de son entretien en tant qu'humain est très élevé.

Il semble y avoir un désir dans l'esprit humain de participer à la société qui crée ce rembourrage. Les journées les plus productives que j'aie jamais eues consistaient simplement à faire abstraction de tout, du début à la fin, et à rester assis là. On peut alors faire plus de six ou huit heures. Y a-t-il une sagesse quant à ce qui vous donne la force d'affronter des journées difficiles de concentration prolongée ?

Chaque fois que je deviens obsédé par un problème, il faut simplement que quelque chose fonctionne ; il faut simplement que quelque chose existe.

Il faut que ça existe et vous êtes capable de gérer les bugs, les problèmes de programmation, les problèmes techniques et les décisions de conception qui s'avèrent être les mauvaises parce que vous voulez que la chose existe.

Il faut que ça existe. Pour moi, un facteur important est de savoir si d'autres humains vont l'apprécier. C'est une grande partie de ma motivation. Si j'aide des humains et qu'ils semblent heureux — en disant des choses gentilles ou en tweetant à ce sujet — cela me fait plaisir parce que je fais quelque chose d'utile.

Vous vous voyez donc le partager avec le monde, que ce soit sur GitHub, par un article de blog ou à travers des vidéos.

J'y réfléchissais. Supposons que je fasse toutes ces choses mais que je ne les partage pas ; je ne pense pas que j'aurais la même dose de motivation.

Vous appréciez le sentiment que d'autres personnes tirent de la valeur et du bonheur de ce que vous avez créé. Qu'en est-il de l'alimentation ? J'ai vu que vous aviez essayé le jeûne intermittent ; jeûnez-vous ? Est-ce que cela aide ?

J'ai tout essayé.

Parmi les choses que vous avez essayées, qu'est-ce qui a été le plus bénéfique pour votre capacité de concentration mentale, votre productivité et votre bonheur ? Jeûnez-vous toujours ?

Je jeûne toujours, mais je pratique le jeûne intermittent. En réalité, cela signifie que je saute le petit-déjeuner. Je fais environ du 18-6 par défaut dans mon état stable. Si je voyage ou si je fais autre chose, j'enfreindrai les règles, mais dans mon état stable, je ne mange que de 12h00 à 18h00. Ce n'est pas une règle stricte, mais c'est mon défaut. Depuis un an et demi, je suis passé à une alimentation végétale ou 'axée sur les plantes'. J'ai entendu dire que 'plant-forward' sonnait mieux ; je ne connais pas vraiment la différence, mais ça sonne mieux. Ça signifie simplement que je préfère la nourriture d'origine végétale.

Cru ou cuit ?

Je préfère cuit et végétal.

Pour l'alimentation végétale, je ne sais pas vraiment à quel point la catégorie des plantes est large. Comme les pois chiches ?

L'alimentation végétale signifie que vous n'êtes pas militant à ce sujet et que vous pouvez être flexible ; vous préférez simplement manger des plantes. Vous n'essayez pas d'influencer les autres. Si vous allez à une fête chez quelqu'un et qu'on vous sert un steak dont ils sont fiers, vous le mangerez. Vous n'êtes pas dans le jugement.

C'est magnifique. Je suis à l'opposé de ça, mais je suis très flexible. Avez-vous essayé de ne faire qu'un seul repas par jour ?

Je l'ai fait accidentellement, mais pas de manière constante. Je n'aime pas ça ; je pense que ça me fait me sentir mal. C'est un choc trop important.

Je fais ça sans arrêt. Je le fais en ce moment même. Un seul repas par jour est une sensation intéressante. Avez-vous déjà jeûné plus d'une journée ?

J'ai fait plusieurs jeûnes à l'eau parce que j'étais curieux de voir ce qui se passait.

Qu'est-ce qui s'est passé ? Quelque chose d'intéressant ?

Ce qui est intéressant, c'est que vous avez faim pendant deux jours et puis, à partir du troisième jour, vous n'avez plus faim.

N'est-ce pas bizarre ? C'est l'une des nombreuses choses étranges de la biologie humaine. Elle comprend quelque chose, trouve une autre source d'énergie ou relâche le système. Je ne sais pas comment ça fonctionne.

Le corps se dit que vous avez faim, puis il abandonne tout simplement. C'est comme s'il disait : 'D'accord, je suppose qu'on jeûne maintenant'. Ensuite, il se concetre sur le fait de ne pas vous faire ressentir la faim et de vous donner de l'espace pour résoudre la situation alimentaire.

Êtes-vous toujours plus productif la nuit ?

Je le suis, mais il est vraiment difficile de maintenir mon emploi du temps de doctorat. Surtout quand je travaillais chez Tesla, c'était impossible. Même maintenant, les gens veulent se réunir pour des événements ; la société vit sur une certaine période et il faut faire avec.

C'est juste très difficile de faire quelque chose de social et de retourner travailler ensuite.

C'est juste vraiment dur.

Quand je fais des activités sociales, j'essaie de ne pas trop boire pour pouvoir retourner travailler. Dans n'importe quelle entreprise, y a-t-il une convergence vers un emploi du temps ? Est-ce ainsi que les humains se comportent lorsqu'ils collaborent ? Essaient-ils de maintenir un horaire cohérent où vous êtes tous éveillés en même temps ?

J'essaie de créer une routine et un état stable dans lequel je suis à l'aise. J'ai une routine le matin et la journée. J'essaie de garder les choses prévisibles pour que mon corps s'y tienne. Si on sollicite trop cela, comme lorsqu'on voyage et qu'on gère le décalage horaire, on n'est pas capable de s'élever réellement là où on doit aller.

C'est curieux chez les humains avec les habitudes. Que pensez-vous de l'équilibre vie professionnelle-vie privée tout au long d'une vie humaine ? Tesla était connue pour pousser les gens dans leurs retranchements en termes de ce qu'ils sont capables de faire et de la quantité de travail.

Tesla a une réputation un peu trop mauvaise parce que c'est un environnement par à-coups. Mes seuls points de référence sont Google et DeepMind. Je dirais que la base est plus élevée, mais il y a un équilibre ponctué où, de temps en temps, il y a le feu et les gens travaillent très dur. C'est irrégulier et saccadé, et les histoires se concentrent sur ces pics. Cela donne l'apparence d'une folie totale, mais en réalité, c'est juste un environnement plus intense avec des urgences et des sprints. C'est certainement plus intense que Google.

Dans votre propre vie personnelle, que pensez-vous du bonheur de trouver un équilibre entre le travail et la vie, ou est-ce qu'une telle chose n'est pas une bonne expérience de pensée ?

L'équilibre est une bonne chose, mais j'aime aussi avoir des sprints 'hors distribution'. C'est aussi à ce moment-là que j'ai été assez créatif.

Des sprints 'hors distribution', cela signifie que la plupart du temps, vous avez un équilibre.

J'ai un équilibre la plupart du temps, mais j'aime être obsédé par quelque chose de temps en temps.

De temps en temps, c'est quoi ? Une fois par semaine, une fois par mois ou une fois par an ?

Probablement une fois par mois ou quelque chose comme ça.

Et c'est là que nous recevons un nouveau dépôt GitHub d'Andrej.

C'est quand vous vous souciez vraiment d'un problème ; il doit exister. Vous en êtes obsédé. Vous ne pouvez pas simplement le faire ce jour-là ; vous devez payer le coût fixe pour vous mettre dans le bain, puis y rester un certain temps. Ensuite, la société essaiera de vous distraire. La pire chose, c'est quelqu'un qui dit : 'J'ai juste besoin de cinq minutes de votre temps'. Le coût n'est pas de cinq minutes. La société doit changer sa façon de penser aux 'juste cinq minutes' de votre temps.

Ce n'est jamais juste une minute, 30 secondes ou une question rapide. C'est quoi le problème ? Non.