Andrej Karpathy

Au-delà du 'Slop' : L'Analyse de l'Entretien d'Andrej Karpathy

1 janvier 2026

Intelligence Artificielle
Illustration de Andrej Karpathy

La controverse du mot 'slop'

Smitha Dave

Tous les quelques mois, la Silicon Valley trouve un nouveau mot sur lequel se disputer.

Smitha Dave

Cette fois, le mot était "slop". Ce seul mot, venant de l'un des esprits derrière OpenAI et l'Autopilot de Tesla, a plongé tout le monde de la tech dans un mode de confrontation.

Smitha Dave

L'entretien entre Andrej Karpathy et Dwarkesh Patel dure près de deux heures et demie.

Smitha Dave

Et depuis des jours, il provoque des ondes de choc à travers la vallée.

Smitha Dave

Maintenant que la poussière est retombée, il est temps de regarder au-delà des gros titres et de se concentrer sur ce qui compte vraiment.

Smitha Dave

Surtout si vous construisez, déployez ou travaillez avec l'IA en ce moment.

Smitha Dave

Parce que la controverse ne portait pas vraiment sur ce qu'Andrej a dit, mais sur qui l'a dit et quand.

Smitha Dave

Quand le cofondateur d'OpenAI, l'un des ingénieurs derrière l'Autopilot de Tesla et les premiers modèles GPT, qualifie les agents actuels de "slop", cela a un impact différent.

Smitha Dave

Surtout dans une année où le capital-risque injecte des milliards dans des startups d'agents qui peuvent à peine remplir une feuille de calcul.

Smitha Dave

Ses commentaires n'ont pas seulement contesté un titre. Ils sont entrés en collision frontale avec le cycle du battage médiatique.

Smitha Dave

Ce n'était pas un débat technique. C'était un rappel à la réalité.

Le point de vue d'un bâtisseur

Smitha Dave

Pour comprendre la réaction, il faut comprendre d'où vient Andrej.

Smitha Dave

Ce n'est pas un commentateur sur Twitter. Ce n'est pas un bricoleur de prompts à la recherche de viralité.

Smitha Dave

C'est l'un des bâtisseurs qui a aidé à définir ce domaine.

Smitha Dave

Il s'exprime depuis le sommet de la pile, le monde de l'architecture des modèles, des pipelines de données et des dynamiques d'entraînement.

Smitha Dave

C'est un monde très différent de celui auquel la plupart d'entre nous sont confrontés lorsque nous utilisons les outils d'IA d'aujourd'hui en production.

Smitha Dave

Et cette différence entre la recherche et la pratique, entre le laboratoire et le terrain, est ce qui rend cette conversation fascinante.

La réalité des agents actuels

Smitha Dave

Alors, qu'a-t-il dit concrètement ?

Smitha Dave

La phrase la plus citée d'Andrej était simple.

Smitha Dave

Les agents utiles ne seront là que dans une décennie.

Smitha Dave

Son point : les agents d'aujourd'hui manquent de trois choses : la mémoire, la robustesse et la fiabilité.

Smitha Dave

Il a qualifié les résultats actuels de "slop". Les gens se sont accrochés à l'insulte.

Smitha Dave

Il décrivait une capacité.

Smitha Dave

Les agents d'aujourd'hui ne se souviennent pas et n'apprennent pas intrinsèquement.

Smitha Dave

Leur robustesse vient de l'architecture, pas des agents eux-mêmes.

Smitha Dave

Et dans les entreprises, ils sont liés aux processus métier, aux flux de travail des API et à la supervision humaine.

Smitha Dave

Ils n'agissent pas librement. Ils vivent à l'intérieur de la structure.

Smitha Dave

Cela ne les rend pas inutiles. Cela signifie que nous sommes encore dans la phase d'ingénierie de l'intelligence.

Smitha Dave

Nous payons pour la fiabilité par l'architecture et le ROI est réel, bien que non magique.

Smitha Dave

Ces outils ne remplacent pas les gens. Ils les prolongent, automatisant les décisions répétitives, coordonnant les données et agissant comme copilotes à travers les processus.

Smitha Dave

Dans tous les secteurs, cela permet déjà d'économiser des millions en productivité, pas des milliards du jour au lendemain.

Smitha Dave

Mais des progrès mesurables et constants.

Recherche vs Pratique

Smitha Dave

Le calendrier d'Andrej ne diminue pas cette valeur.

Smitha Dave

Il nous rappelle que l'architecture est un multiplicateur.

Smitha Dave

Il existe un fossé entre la façon dont les chercheurs et les bâtisseurs définissent le fonctionnement.

Smitha Dave

Les chercheurs visent l'autonomie, des agents qui s'autocorrigent et persistent à travers les tâches.

Smitha Dave

Les bâtisseurs se soucient des résultats, des systèmes qui font gagner du temps, passent à l'échelle ou réduisent les coûts maintenant.

Smitha Dave

Les deux ont raison, ils opèrent simplement sur des horloges différentes.

Smitha Dave

Le monde d'Andrej tourne sur des décennies. Le nôtre sur des trimestres.

Smitha Dave

Confondre les deux est ce qui crée le bruit.

Les limites du pré-entraînement

Smitha Dave

Andrej l'a très bien formulé : le pré-entraînement, c'est comme aspirer la supervision à travers une paille.

Smitha Dave

En langage clair, c'est comme enseigner en notant les examens finaux sans jamais voir les devoirs.

Smitha Dave

Vous obtenez un score à la fin, juste ou faux, oui ou non, mais aucun retour d'information en cours de route.

Smitha Dave

C'est pourquoi les modèles ont du mal avec les nuances.

Smitha Dave

Le pré-entraînement est un instrument grossier.

Smitha Dave

Des milliards d'exemples sont nécessaires avant qu'un système ne commence à généraliser.

Smitha Dave

Et cela explique pourquoi deux personnes peuvent obtenir des réponses complètement différentes du même modèle.

Smitha Dave

Les LLM ne détiennent pas une vision unique du monde, ils reflètent la vôtre.

Smitha Dave

Votre formulation, votre ton et même l'ordre de vos mots façonnent les schémas qui s'activent.

Smitha Dave

Vous ne parlez pas à un seul esprit.

Smitha Dave

Vous échantillonnez à partir d'une distribution de schémas, et pourtant, cela fonctionne.

L'apprentissage par renforcement

Smitha Dave

Si l'IA s'arrêtait d'évoluer aujourd'hui, nous aurions encore une décennie de valeur à déployer.

Smitha Dave

Le plafond est plus haut que ce que le battage médiatique admet et le plancher est plus stable que ce que croient les critiques.

Smitha Dave

Quand Andrej a dit que l'apprentissage par renforcement est terrible, il ne voulait pas dire cassé.

Smitha Dave

Il voulait dire incomplet. Actuellement, les modèles ne reçoivent un retour qu'à la fin, un simple oui ou non.

Smitha Dave

C'est comme enseigner le piano en notant le récital, sans jamais corriger le rythme ou la tonalité pendant l'entraînement.

Smitha Dave

Il appelle à un retour d'information plus fin étape par étape ou à une meilleure mémoire, des moyens pour que les modèles apprennent non seulement les résultats, mais le raisonnement.

Smitha Dave

C'S'est ainsi que les systèmes passent de l'imitation à la compréhension.

L'AGI et la courbe de croissance économique

Smitha Dave

La plupart des gens imaginent que l'AGI est un saut soudain, un boom qui remodèle tout.

Smitha Dave

Andrej ne le pense pas et je suis totalement d'accord.

Smitha Dave

Il pense que l'IA se fondra dans la même longue courbe d'automatisation qui façonne notre monde depuis des siècles.

Smitha Dave

Alors, qu'entend-il par là ?

Smitha Dave

L'innovation humaine est déjà intégrée dans notre croissance économique de base.

Smitha Dave

Cette croissance annuelle régulière du PIB de 2 % dont parlent les économistes comprend déjà des siècles de technologies de rupture.

Smitha Dave

La machine à vapeur, l'électricité, les ordinateurs, Internet, et maintenant l'IA.

Smitha Dave

Chacune a changé nos vies de façon spectaculaire, mais aucune n'a fait grimper soudainement le PIB pour toujours.

Smitha Dave

Au lieu de cela, elles nous ont maintenus sur à peu près la même courbe exponentielle, fluide, continue et cumulative.

Smitha Dave

L'argument d'Andrej est donc simple.

Smitha Dave

Nous ne devrions pas nous attendre à ce que l'AGI provoque un nouveau saut dans la courbe.

Smitha Dave

Elle prolongera probablement la trajectoire existante, le même schéma de 2 % simplement alimenté par de nouvelles formes d'automatisation.

Smitha Dave

En d'autres termes, l'IA s'intégrera, elle ne fera pas exploser le graphique.

Smitha Dave

Cela ne veut pas dire qu'elle ne transformera pas notre façon de vivre ou de travailler.

Smitha Dave

Elle le fera. Cela signifie qu'au niveau macroéconomique, ces transformations sont absorbées dans le rythme plus large du progrès à long terme.

Smitha Dave

Son message n'est pas pessimiste. Il est très pragmatique.

Smitha Dave

Le pouvoir de l'IA réside dans la continuité, en superposant une nouvelle intelligence sur ce qui fonctionne déjà sans le briser.

L'ère de l'intégration et le défi de la mémoire

Smitha Dave

Andrej appelle cette prochaine décennie l'ère de l'intégration.

Smitha Dave

L'accent passe de la démonstration de l'intelligence à celle de la fiabilité.

Smitha Dave

Les gagnants ne seront pas ceux qui courent après les gros titres sur l'AGI, ce seront ceux qui recâblent les industries, construisent des systèmes qui passent réellement à l'échelle et conçoivent une gouvernance qui fonctionne.

Smitha Dave

C'est là que la plupart d'entre nous vivent, dans ce milieu complexe où l'intelligence rencontre l'infrastructure.

Smitha Dave

Tout au long de la conversation, Andrej revient sans cesse sur la mémoire.

Smitha Dave

Sans elle, les systèmes ne peuvent pas apprendre le contexte ou la continuité. Ils ne peuvent pas personnaliser, ils se réinitialisent simplement.

Smitha Dave

Il a raison, la mémoire est le goulot d'étranglement.

Smitha Dave

La plupart des équipes aujourd'hui font discrètement de l'ingénierie de la mémoire, décidant de ce dont les agents se souviennent, où cela réside et qui le contrôle.

Smitha Dave

Si we résolvons la mémoire durable à grande échelle, nous débloquons la prochaine phase d'utilité.

Smitha Dave

Si nous ne le faisons pas, les agents resteront intelligents mais oublieux.

Smitha Dave

Comme un poisson qui oublie ce qu'il a vu il y a deux secondes.

Smitha Dave

Ils continueront de nager en rond, faisant des choses impressionnantes sur le moment mais n'apprenant jamais vraiment de l'expérience.

IA : Outil ou Évolution ?

Smitha Dave

Dans l'un des détours les plus fascinants, Andrej a rejeté une comparaison qui apparaît souvent dans le débat sur l'IA.

Smitha Dave

L'idée que l'apprentissage automatique est comme l'évolution.

Smitha Dave

Dwarkesh Patel a évoqué la célèbre idée du regretté Richard Sutton, "la leçon amère".

Smitha Dave

La notion que l'intelligence, biologique ou artificielle, émerge toujours de systèmes d'apprentissage à usage général qui fonctionnent assez longtemps pour découvrir leurs propres règles.

Smitha Dave

Andrej n'est pas d'accord.

Smitha Dave

Il dit que c'est une mauvaise métaphore parce que nous ne menons pas l'expérience de la nature.

Smitha Dave

L'évolution est un processus d'optimisation biologique. Elle prend des milliards d'années et n'optimise pas pour la compréhension ou la sécurité. Elle optimise pour la survie.

Smitha Dave

Les cerveaux ont évolué pour se répliquer, pas pour s'aligner.

Smitha Dave

Nous n'avons pas ce genre de temps ni de tolérance pour le hasard.

Smitha Dave

Nous n'essayons pas de faire évoluer l'intelligence par accident. Nous l'étudions délibérément.

Smitha Dave

C'est pourquoi Andrej trace la ligne si clairement.

Smitha Dave

Nous ne construisons pas des animaux, nous construisons des outils.

Smitha Dave

C'est plus qu'une simple distinction technique.

Smitha Dave

C'est une distinction philosophique.

Smitha Dave

Si vous considérez l'IA comme la vie, vous lui donnerez la liberté, l'autonomie, l'évolution et ses propres objectifs.

Smitha Dave

Si vous considérez l'IA comme un outil, vous la concevrez pour le contrôle, la fiabilité et la responsabilité.

Smitha Dave

Ce cadrage change tout : la façon dont nous réglementons l'IA, comment nous mesurons le succès, et même notre relation avec elle en tant que créateurs.

Smitha Dave

Parce que les outils peuvent servir l'humanité, tandis que les êtres vivants sont en compétition avec elle.

Smitha Dave

L'ADN compresse peut-être la vie, mais nous concevons des systèmes intentionnels.

Smitha Dave

Nous ne copions pas la biologie, nous exprimons une discipline d'ingénierie.

Smitha Dave

Quand on voit l'IA comme un outil, on construit pour la responsabilité, pas pour l'émerveillement. Pour la valeur, pas pour la vanité.

Smitha Dave

Et cette distinction entre révérence et responsabilité pourrait être la plus importante de tout le débat.

La marche des neuf

Smitha Dave

Ma partie préférée de la conversation : ce qu'Andrej appelle la "marche des neuf".

Smitha Dave

Et je pourrais commencer à lui emprunter cette expression.

Smitha Dave

Il a dit que chaque neuf supplémentaire représente une quantité constante de travail.

Smitha Dave

Quand vous obtenez une démo qui fonctionne à 90 %, ce n'est que le premier neuf.

Smitha Dave

Ensuite, il faut le deuxième neuf, un troisième, un quatrième et un cinquième, et c'est pourquoi cela prend si longtemps.

Smitha Dave

Les voitures autonomes en sont le parfait exemple.

Smitha Dave

Chaque neuf de fiabilité supplémentaire, de 90 % à 99,999 %, coûte le même labeur.

Smitha Dave

Le progrès semble soudain de l'extérieur, mais il paraît sans fin de l'intérieur.

Smitha Dave

L'IA suivra le même schéma.

Smitha Dave

Chaque neuf est le prix de la confiance. Soyez patients, mais acharnés.

Eureka et l'éducation adaptative

Smitha Dave

Vers la fin, Andrej parle d'Eureka, sa Starfleet Academy pour la maîtrise technique.

Smitha Dave

Il imagine une éducation adaptative, personnalisée et alimentée par des tuteurs IA qui imitent les grands enseignants. Réactifs, stimulants, empathiques et précis.

Smitha Dave

Il ne parle pas seulement des salles de classe.

Smitha Dave

Il décrit un changement culturel, une évolution de l'apprentissage humain lui-même. Un apprentissage adaptatif pour les humains, tout comme les LLM s'adaptent pour les machines.

Smitha Dave

Et c'est peut-être là la véritable histoire : nous évoluons nous aussi.

Smitha Dave

Nous apprenons en temps réel comment maîtriser ces machines.

Smitha Dave

Tout comme nos ancêtres ont appris à être plus rusés que les animaux qui les chassaient autrefois, nous apprenons à guider une nouvelle forme d'intelligence.

Smitha Dave

Une intelligence qui pourrait nous dépasser si nous arrêtions d'apprendre à ses côtés.

Conclusion : Un calibrage nécessaire

Smitha Dave

Les gros titres sont pourtant passés à côté de l'essentiel.

Smitha Dave

Ce n'étaient pas des funérailles pour l'IA.

Smitha Dave

Je crois que c'était un calibrage.

Smitha Dave

Le message d'Andrej est simple. Le progrès prend du temps.

Smitha Dave

La fiabilité nécessite une architecture. La mémoire nécessite une conception.

Smitha Dave

Si vous construisez aujourd'hui, c'est votre avantage. Supposez la continuité. Concevez pour la fiabilité.

Smitha Dave

Traitez la mémoire comme une stratégie, pas comme un correctif. Attendez-vous au progrès, pas aux miracles.

Smitha Dave

L'IA ne nous remplace pas, elle nous reflète.

Smitha Dave

Elle montre où s'arrête la cognition humaine et où commencent nos systèmes.

Smitha Dave

Ce n'est pas la décennie de la perfection, c'est la décennie des agents, imparfaits, évolutifs et immensément puissants.

Smitha Dave

La décennie où nous apprenons à construire avec une intelligence qui apprend encore elle-même.