La façon dont les LLM sont entraînés consiste à prendre un morceau de texte, à en retirer certains mots, à les masquer, à les remplacer par des marqueurs vides, et à entraîner un réseau de neurones gigantesque pour prédire les mots manquants. Et si vous construisez ce réseau de neurones d'une manière particulière, de sorte qu'il ne puisse regarder que les mots qui se trouvent à gauche de celui qu'il essaie de prédire, alors ce que vous avez est un système entraîné pour prédire le mot suivant dans un texte.

Ensuite, vous pouvez lui soumettre un texte, un prompt, et lui demander de prédire le mot suivant. Il ne peut jamais prédire le mot suivant avec exactitude. Ce qu'il va donc faire, c'est produire une distribution de probabilité sur tous les mots possibles d'un dictionnaire. En fait, il ne prédit pas des mots, il prédit des jetons qui sont des unités sous-mots. Il est donc facile de gérer l'incertitude dans la prédiction car il n'y a qu'un nombre fini de mots possibles dans le dictionnaire, et on peut simplement calculer la distribution sur ceux-ci.

Ensuite, ce que fait le système, c'est qu'il choisit un mot dans cette distribution. Bien sûr, il y a plus de chances de choisir des mots qui ont une probabilité plus élevée dans cette distribution. On échantillonne donc à partir de cette distribution pour produire réellement un mot. Ensuite, on réinjecte ce mot dans l'entrée. Cela permet maintenant au système de prédire le deuxième mot. Une fois que vous faites cela, vous le réinjectez dans l'entrée. C'est ce qu'on appelle la prédiction autorégressive, c'est pourquoi ces LLM devraient être appelés LLM autorégressifs, mais nous les appelons simplement LLM.