Et il y a quelques années, j'ai observé que le logiciel changeait et qu'il y avait un nouveau type de logiciel, et j'ai appelé cela le Software 2.0 à l'époque. L'idée était que le logiciel 1.0 est le code que vous écrivez pour l'ordinateur, le logiciel 2.0 ce sont essentiellement des réseaux de neurones et, en particulier, les poids d'un réseau de neurones. Vous n'écrivez pas ce code directement — au cas où vous seriez curieux, le cercle géant et le point au milieu sont les paramètres de Flux, le générateur d'images. Chaque fois que quelqu'un ajuste un LoRA par-dessus un modèle Flux, vous créez un commit git dans cet espace et vous créez un type différent de générateur d'images. Donc, fondamentalement, le logiciel 1.0 est le code informatique qui programme un ordinateur, le logiciel 2.0 sont les poids qui programment les réseaux de neurones. Fait remarquable, ces prompts sont écrits en anglais. C'est donc un langage de programmation très intéressant.

Oh, il a fait ça en 2017. Des réseaux de neurones ? Est-ce que c'est du logiciel ou est-ce juste un algorithme ? Appelez-vous vraiment les algorithmes des logiciels ? Je n'en sais rien. J'en ai codé beaucoup à la main — je sais que cela va en choquer certains, mais quand j'ai décidé d'apprendre le JavaScript, j'ai écrit une bibliothèque il y a 12 ans et elle fait des réseaux de neurones, des RBF, ANFIS, des optimisations par colonies de fourmis et des algorithmes évolutionnaires. Regardez ça, c'est mon e-mail. C'est mon ancien e-mail. J'écris du Software 2.0 depuis un certain temps. C'était à l'époque où je passais mon master dans l'ancienne IA. Est-ce le même graphique, sauf que c'est à quoi ça ressemble quand on est sous acide ? Où est Mordoria ? Oui, c'est vrai, nous avons Prumptoria, mais où est Mordoria ? Au fait, cette photo date certainement des années 70 ou 80. Le clavier QWERTY n'existait pas avant les années 70. Je parie sur les années 70. Les années 70 ont dû sortir, probablement 72, QWERTY, peut-être 68. Quoi qu'il en soit, j'ai du mal à classer le logiciel 2.0 comme des réseaux de neurones. Mais je vais l'accepter et dire que le logiciel 2.0, ce sont ces fonctions d'apprentissage de réseaux de neurones pour être de meilleurs classificateurs.

Pour résumer la différence, si vous faites de la classification de sentiments, par exemple, vous pouvez imaginer écrire du Python pour faire de la classification de sentiments, ou vous pouvez entraîner un réseau de neurones, ou vous pouvez prompter un grand modèle de langage. C'est un prompt 'few-shot' et vous pouvez imaginer programmer l'ordinateur d'une manière légèrement différente.

Le logiciel 3.0, ce sont les prompts. Je soutiendrais que le logiciel 3.0 est en fait plus proche du logiciel 1.0, c'est juste que les LLM sont un compilateur. N'est-ce pas tout ce que c'est — le LLM n'est vraiment qu'un compilateur à ce stade ? C'est juste un compilateur stochastique qui ne génère pas tout à fait la même chose à chaque fois selon le jour, le mois, les mots utilisés, et tout ça. Est-ce que le logiciel 2.0 ne repose pas sur ces modèles statistiques ajustés pour faire une seule activité vraiment bien ? Et celui-ci est en fait plus proche du logiciel 1.0 où vous allez programmer un ordinateur, compiler l'anglais en code, et puis, avec un peu de chance, le code s'exécute. Si vous regardez le logiciel Python 1, vous avez littéralement un ensemble de mots codés en dur. Vous avez deux ensembles de mots codés en dur et vous dites que si nous sommes dans le positif, alors vous obtenez plus de points, si nous sommes dans le négatif, vous obtenez moins de points et nous ignorons tous les autres mots. Ensuite, nous pouvons dire que cette chose était positive. Vous voyez l'idée — et puis celui-ci, c'est que vous donnez tout un tas d'exemples positifs, tout un tas d'exemples négatifs, vous créez le MLP qui a effectivement tous les poids ajustés pour être capable de faire ce genre de classificateur binaire. Peut-être que vous avez deux MLP, un pour faire le positif, un pour faire le négatif. Bada bing, bada boom, ça marche tout simplement, vous faites ce truc d'entraînement. Et puis avec celui-ci, vous n'avez pas besoin de tous les exemples ; c'est déjà intégré dans celui-là. Je ne saisis pas vraiment la différence entre les deux. Ce qu'il dit, c'est que dans le logiciel 2.0, vous entraînez un de ces réseaux de neurones pour un cas d'utilisation spécifique. J'entraîne ce réseau de neurones pour résoudre ce seul et unique problème. Alors qu'avec les LLM, ce sont juste des MLP massifs à bien des égards où, au lieu de cela, il a chaque problème effectivement résolu en dessous. Donc ils ont juste entraîné davantage, compris.

Nous avons le logiciel 1.0, le logiciel 2.0, et je pense que vous avez vu que beaucoup de code GitHub n'est plus seulement du code, il y a beaucoup d'anglais parsemé de code, donc je pense qu'il y a une catégorie croissante de nouveau code. Non seulement c'est un nouveau paradigme de programmation, mais ce sont aussi des systèmes d'exploitation d'une manière assez unique par rapport aux débuts de l'informatique. J'ai écrit sur cette propriété particulière qui me semble très différente cette fois-ci. C'est que les LLM inversent la direction de la diffusion technologique qui est habituellement présente. Par exemple, avec l'électricité, la cryptographie, l'informatique, l'aviation, Internet et le GPS, de nombreuses technologies transformatrices, ce sont généralement le gouvernement et les entreprises qui sont les premiers utilisateurs parce que c'est nouveau et coûteux, et ce n'est que plus tard que cela se diffuse aux consommateurs. Mais j'ai l'impression que les LLM sont inversés. Avec les premiers ordinateurs, tout tournait autour de la balistique.

Pouvons-nous juste regarder ça une petite seconde ? C'est tout ce que j'ai à say. Maintenant que j'ai évacué ça, nous pouvons continuer. C'est un très bon point. C'est quelque chose de très unique : si vous réfléchissez à la façon dont Internet a été inventé, la DARPA en 1960 et quelques, c'était largement utilisé par diverses universités.