La semaine dernière, alors que je me rendais à l'université, je consultais mon téléphone et j'ai découvert que Y Combinator avait publié une nouvelle vidéo mettant en scène Andrej Karpathy. Les gens annulent littéralement leur mariage pour regarder une conférence d'Andrej Karpathy. Ne puis-je pas simplement manquer un cours pour regarder Andrej Karpathy ? Oui, j'ai manqué mon cours et j'ai appris des choses sur le Software 3.0, et je vais vous en parler aujourd'hui. Plongeons dans le vif du sujet. Il s'agissait d'un événement appelé AI Startup School par Y Combinator et Andrej Karpathy y était invité.

Parlons du Software 3.0. Le Software 3.0 est l'idée que le prochain langage de programmation est l'anglais. Nous ne travaillons plus avec des logiciels déterministes. Les grands modèles de langage sont des simulations stochastiques d'êtres humains. Ils sont l'esprit des gens selon le langage d'Andrej Karpathy. Les LLM ne sont pas des personnes, mais ils sont entraînés sur nos voix, façonnés par nos mots et agissent comme des échos stochastiques de la pensée humaine. C'est pourquoi Andrej Karpathy l'a appelé l'esprit des gens. Troisièmement, nous devrions construire nos logiciels en partant du principe que les humains devront être des validateurs dans la boucle. L'IA peut générer et les humains doivent valider toutes ces données. Nous devons considérer le logiciel comme un problème de conception de ce point de vue.

Parlons des caractéristiques clés du Software 3.0. Premièrement, des modèles au lieu de programmes. Ici, vous n'avez pas besoin d'écrire des programmes explicitement à partir de zéro, il vous suffit d'entraîner vos réseaux de neurones. Deuxièmement, les données sont le nouveau code source. Vous n'avez pas besoin de réécrire les programmes à partir de zéro, il vous suffit d'avoir des jeux de données étiquetés. Troisièmement, l'entraînement remplace le débogage. Vous ajustez les poids de vos modèles via l'entraînement et non en corrigeant des bogues logiques. Quatrièmement, le comportement de type boîte noire. Les modèles peuvent être puissants, mais nous devons les entraîner correctement avec les bons jeux de données.

Jetons un coup d'œil aux points clés à retenir pour les ingénieurs et les entrepreneurs. Premièrement, les données sont le nouveau code source. La qualité de vos données déterminera la qualité de votre logiciel. Deuxièmement, les modèles sont les nouveaux programmes. Vous n'avez pas toujours besoin d'entraîner votre modèle à partir de zéro. Vous pouvez simplement affiner, prompter ou structurer d'énormes modèles pré-entraînés. Troisièmement, la programmation devient une itération. Dans le Software 1.0, nous avions l'habitude d'écrire du code, de compiler puis de déboguer. Mais dans le Software 3.0, nous collectons les données, entraînons notre modèle, évaluons et itérons. Quatrièmement, les prompts sont les nouvelles interfaces. Le prompting est un nouveau langage de programmation ou, en d'autres termes, l'anglais est le nouveau langage de programmation. Cinquièmement, le MLOps est une infrastructure essentielle. Le Software 3.0 nécessite des GPU, des jeux de données, du MLOps et des boucles de rétroaction. Sixièmement, pensez en probabilités, pas en règles. Vous ne scriptez pas le comportement, vous le guidez avec les données appropriées pour obtenir les résultats souhaités.

C'est tout pour aujourd'hui, à la prochaine, et vous pouvez télécharger les notes dans la description.