L'évolution et l'universalité des lois d'échelle
28 juillet 2025
Intelligence Artificielle
Origine et généralisation des lois d'échelle
Ainsi, au départ, l'article que nous avons publié et qui l'a montré pour la première fois date du début de 2020, année où nous l'avons d'abord démontré pour le langage. Il y a ensuite eu des travaux fin 2020, où nous avons montré la même chose pour d'autres modalités comme les images, la vidéo, le texte vers l'image, l'image vers le texte, les mathématiques, montrant qu'elles suivaient toutes le même schéma. Et vous avez raison. Maintenant, il existe d'autres étapes comme le post-entraînement ou de nouveaux types de modèles de raisonnement. Et dans tous ces cas que nous avons mesurés, nous observons des types de lois d'échelle similaires.