C'est l'avenir d'Internet : le contenu sur Internet sera personnalisé et généré sur mesure pour l'utilisateur concerné.

Aux étudiants qui savent qu'ils veulent faire quelque chose avec l'intelligence artificielle, je recommanderais de ne pas attendre qu'on leur explique quelque chose en cours, mais de l'étudier par eux-mêmes pendant leur temps libre.

J'ai étudié ces choses en tant qu'étudiant à l'Université de technologie de Brno (VUT) et je n'ai pas attendu que quelqu'un me conseille.

Le conseil le plus simple est que les gens fassent ce qui les passionne. Je considère l'IA comme la technologie la plus intéressante de ce siècle, alors n'attendez plus.

Ils exploiteraient le potentiel qui est en friche en Europe. Les gens devraient avoir ici la possibilité de réaliser leurs ambitions et de travailler sur des technologies de pointe.

Ce sont des modèles qui peuvent commencer à générer du texte caché pendant la réflexion, lorsqu'ils veulent résoudre quelque chose ou diviser un problème en sous-problèmes.

Ce n'est plus un modèle de langage classique lorsqu'il est introduit dans la phase d'entraînement.

Mesdames et messieurs, bienvenue au 23e épisode du podcast AITAKRAJTA avec un invité spécial, Tomáš Mikolov. Tomáš, merci d'avoir accepté notre invitation et de venir discuter d'IA avec nous. Pour commencer, je te demanderais si tu pouvais te présenter. Tu es très connu dans la communauté de l'IA, mais pour le contexte, dis-nous quelques phrases sur toi et nous aborderons ensuite les thèmes de l'IA.

L'IA m'intéresse depuis l'enfance. Des jeux vidéo, je suis passé aux réseaux neuronaux, puis aux modèles de langage, qui n'étaient pas populaires à l'époque. J'ai créé la première boîte à outils accessible au public pour l'entraînement de modèles de langage neuronaux et j'ai proposé des idées comme la génération de texte ou le gradient clipping, qui sont encore utilisées aujourd'hui. J'ai travaillé chez Google, Facebook et je suis finalement revenu en République tchèque. Maintenant, nous avons la startup Bottlecap AI, où nous essayons de faire bouger les choses. Le nom suggère notre direction. Quand DeepSeek est sorti, on a vu que l'Amérique mène dans les technologies modernes et que la Chine la rattrape, tandis que l'Europe réfléchit seulement à la façon d'avoir peur et à ce qu'il faut réguler. Nous aimerions briser cela pour que les gens fassent aussi des choses intéressantes ici, regardent vers l'avenir avec optimisme et essaient de se battre pour une place au soleil technologique.

Super. Nous connaissons Bottlecap, pourrais-tu nous présenter davantage ce que vous y faites, quels sont les progrès actuels et l'idée générale ?

Nous avons réuni une équipe d'environ dix personnes. Nous travaillons sur de nouveaux modèles et algorithmes, créons de nouvelles versions de modèles de langage et essayons de faire quelque chose de révolutionnaire. Nous voulons créer quelque chose d'unique dans le domaine des modèles de langage. C'est un domaine où évoluent des centaines d'entreprises, de Nvidia aux petites startups, et nous essayons de trouver une place qui n'est pas encore occupée. Nous voulons montrer que les modèles de langage ne sont pas seulement des chatbots, mais une technologie générale aux multiples usages. Je garde les détails précis pour moi pour l'instant.

D'accord. Jirka, tu avais des questions complémentaires, alors n'hésite pas à continuer.

Je vais essayer de demander quelles technologies spécifiques vous utilisez. J'ai remarqué votre défi sur GitHub, où l'on optimise le temps pour atteindre une perte de validation fixe sur un seul GPU. Est-ce que cela a un arrière-plan spécial pour vous, ou est-ce plutôt une tâche pour les juniors talentueux que vous souhaitez recruter ?

C'est une bonne tâche pour les juniors comme pour les seniors. Il s'agit d'égaliser les conditions. Si nous voulions seulement des résultats sur un benchmark, cela favoriserait ceux qui ont accès à de meilleurs jeux de données ou matériels. Nous voulions que le plus grand nombre de personnes possible puisse participer, y compris les plus jeunes, et montrer comment les gens savent réfléchir et quelle est leur propre inventivité. J'ai passé la moitié de ma vie à peaufiner des modèles et je sais que les compétitions sont super car même des personnes sans grande expérience peuvent avoir une chance de battre les autres si les règles sont bien définies. Nous voulions donner une chance à tous ceux qui sont intelligents et qui ont de bonnes idées.

Merci. Je suppose qu'une startup comme Bottlecap AI avec de grandes ambitions peut avoir des difficultés à trouver des talents en République tchèque. Profitons de cet épisode pour attirer de nouvelles personnes. D'ailleurs,

Ce serait super.

profitez-vous du fait que certaines personnes seniors aux États-Unis sont agacées par l'administration Trump ? Est-ce un sujet pour vous ?

Nous visons plutôt l'Europe centrale. Nous avons vu un vide ici – beaucoup de gens intelligents dans les écoles qui veulent faire des choses de pointe en IA, mais qui ne trouvent pas de travail correspondant ici. Les succursales des grandes corporations n'ont généralement pas de sièges sociaux ici et les gens n'accèdent pas aux choses les plus intéressantes. Auparavant, pour que quelqu'un de République tchèque réussisse quelque chose, il devait déménager, ce qui fut mon cas. La différence de conditions entre la République tchèque et l'Amérique était abyssale. Nous voulons combler cet espace vide et donner aux gens une chance de faire quelque chose d'intéressant ici aussi. Tout le monde ne veut pas s'installer à l'étranger. Nous aimerions lancer ici un OpenAI européen pour que les gens puissent travailler sur des choses vraiment intéressantes.

Ça a l'air super. J'ai noté que vous cherchez déjà des gens. Peux-tu dire quel est le succès de la recherche de talents et combien de personnes vous avez déjà recrutées, pour mettre cela dans un contexte plus large ?

Nous sommes actuellement environ dix ingénieurs de recherche. Ce ne sont pas seulement des gens de République tchèque, nous avons aussi des collègues de Slovaquie et de Pologne. Nous voulons continuer à recruter. Pour notre défi, la difficulté est raisonnable, mais ce n'est pas le plus simple. Nous voulions placer la barre de manière à ce que les personnes qui savent déjà faire quelque chose ou qui sont prêtes à l'apprendre par elles-mêmes postulent. Je recommanderais aux étudiants de ne pas attendre qu'on leur explique quelque chose en cours et d'étudier l'IA pendant leur temps libre. C'est ce que j'ai fait aussi à la VUT de Brno. L'IA est la technologie la plus intéressante de ce siècle, alors n'attendez rien. C'est beaucoup d'expérimentation et d'expérience empirique. Le domaine avance si vite que personne n'est expert en tout. L'état de l'art change chaque semaine. Si cela vous passionne, lancez-vous par vous-mêmes, l'école peut plutôt vous ralentir.

Puisque tu as mentionné la République tchèque, la Slovaquie et la Pologne, est-ce que Bottlecap AI fonctionne en full remote, ou quelle est votre approche ?

Nous ne sommes pas en full remote. Bien que les gens viennent de différents pays, nous travaillons tous sur site à Prague, rue Národní.

D'accord.

J'ai une question sur le fait que les étudiants ne doivent pas attendre l'école. Peux-tu imaginer comment le système éducatif devrait changer pour que les étudiants y acquièrent la majorité de leur expérience ? Le fossé se creuse entre la vitesse à laquelle le domaine évolue et ce que propose l'école. As-tu un avis tranché là-dessus ?

L'éducation aujourd'hui n'est souvent qu'un ensemble de rituels par inertie. On enseigne des choses vieilles de plusieurs décennies qui ne sont pas nécessaires dans la vie réelle avec les technologies modernes. Au travail, personne ne se soucie de savoir si vous vous souvenez de la bataille de la Montagne Blanche, mais si vous pouvez faire le travail rapidement et bien. Les écoles considèrent ChatGPT comme un outil pour tricheurs, ce qui passe à côté du but de l'éducation. C'est censé être une préparation à une vie réussie. Si un ordinateur peut accomplir une tâche en cinq secondes, pourquoi ne pas lui confier ? Les entreprises sur le marché mondial sont en compétition avec la Chine ou l'Amérique et l'efficacité est essentielle. La réforme devrait lier l'éducation au monde réel et l'accélérer. En Amérique, les gens ont une licence de Stanford à 21 ans et vont chez Google. Chez nous, cela traîne. Nous devons accélérer l'éducation, nous concentrer sur les choses importantes et collaborer avec l'industrie sur des projets réels. Les étudiants devraient faire ce pour quoi il y a une demande, au lieu de tâches fictives. Commencer son premier travail tardivement, à 26 ou 27 ans, me semble être une perte de temps.

Tu es controversé de la bonne manière. Comment utilisez-vous vous-mêmes l'IA pour accélérer votre propre travail dans une entreprise d'IA de premier plan ? Les LLM ont une base de données limitée pour les choses à la pointe de la technologie, mais vous êtes des experts, alors comment abordez-vous cela ?

Chacun chez nous l'aborde individuellement. Certains utilisent les modèles comme conseillers ou pour suivre les nouveautés. Je suis plus sceptique et je préfère réfléchir par moi-même. De plus, je gère la sécurité – je ne veux pas discuter de nos nouveautés avec un modèle où les données sont enregistrées et où la concurrence peut les extraire par scraping. Je vois plutôt l'avenir dans la recherche personnalisée sur Internet. Le contenu sera généré sur mesure pour l'utilisateur afin qu'il trouve plus rapidement ce qu'il cherche. ChatGPT est le même pour tout le monde pour l'instant, mais ce sera plus simple et plus intuitif.

En raison de la sécurité et des fuites d'informations, avez-vous établi des règles à ce sujet ?

Nous en avons discuté pour que les gens gardent à l'esprit que lorsqu'on invente un nouvel algorithme, ils ne devraient pas le partager immédiatement avec OpenAI. Cela arrive parfois parce que les gens utilisent ces outils sans réfléchir. De même, Google enregistre tout ce que vous écrivez dans le moteur de recherche.

N'avez-vous pas envisagé d'utiliser un LLM local à cette fin ?

Nous y avons pensé. Mais pour l'instant, l'avantage est la disponibilité et la qualité des outils open-source connus. Je ne les utilise pas beaucoup, mais mes collègues utilisent ChatGPT, Grok et d'autres.

Mhm.

Utilisez-vous des assistants d'IA pour la programmation, comme GitHub Copilot ?

Je ne l'utilise pas, pour les autres c'est individuel. Nous sommes une startup, pas une corporation, ils ont donc de la liberté. À l'avenir, nous traiterons cela davantage lorsque nous créerons la culture d'entreprise. Pour l'instant, la politique principale est de ne pas consulter OpenAI directement sur ce sur quoi nous travaillons, car c'est le plus risqué.

Nous parlions d'efficacité. Dans la sphère académique, il y a le concept "publier ou périr", qui vise l'efficacité, mais aujourd'hui cela me semble hypertrophié et contre-productif. Quel est ton point de vue ?

Lorsqu'on définit des fonctions mesurables claires, la communauté les sur-optimise souvent et fait autre chose que ce qui était prévu. En République tchèque, par exemple, on ne comptait que les articles dans les revues, ce qui a porté préjudice à des domaines comme l'IA, où le cycle de vie est beaucoup plus rapide et personne n'attend un an pour une publication. Ensuite, des dizaines d'articles de mauvaise qualité sont créés juste pour remplir les métriques, tandis qu'un travail révolutionnaire est évalué de la même manière. Cela crée du lest. Mesurer la qualité de la science est difficile car les métriques peuvent être piratées – par exemple par des citations convenues ou en publiant des modèles faibles pour de nouveaux jeux de données. Une réforme nécessiterait de bonnes intentions et de s'inspirer de l'étranger, là où cela fonctionne mieux.

Le problème est aussi la boucle de rétroaction, où les scientifiques doivent publier dans des revues à impact et les institutions étatiques achètent ensuite des licences à ces éditeurs pour des centaines de millions par an.

C'est insensé. Il me semble qu'il doit y avoir des commissions là-dedans, sinon on ne ferait pas de telles bêtises. L'argent pour la science disparaît dans les frais de licence des grands éditeurs. Pourtant, nous avons des alternatives comme arXiv, où la publication est gratuite et accessible au public. Je vois peut-être les choses en noir, mais j'ai l'impression que les solutions gratuites ne donnent de commission à personne, et c'est pourquoi on préfère dépenser des millions en licences.

Passons à quelque chose de plus optimiste. Je voulais t'interroger et présenter aux auditeurs comment naît l'architecture d'un modèle comme ChatGPT. La plupart des gens comprennent la collecte de données sur Internet, mais que se passe-t-il ensuite et comment fonctionne l'entraînement ? Pourrais-tu l'expliquer simplement ?

C'est un sujet complexe, mais je vais essayer de simplifier. Nous avons besoin d'un modèle mathématique – une transformation qui prend des données en entrée et renvoie un résultat, ce qui est aujourd'hui un réseau neuronal. Le modèle apprend à prédire le mot suivant dans le texte. Même si cela semble simple, la prédiction du futur permet de résoudre de nombreuses tâches, des questions aux énigmes mathématiques. Le modèle essaie de deviner le symbole suivant et compare sa prédiction avec la réalité dans les données d'entraînement. S'il fait une erreur, il ajuste ses paramètres pour prédire plus correctement la fois suivante. Il y a des milliards de ces étapes et le modèle approxime ainsi progressivement le langage. Il n'y a aucune conscience là-dedans, c'est un modèle mathématique respectant les régularités des données d'entraînement.

Merci pour l'introduction. Tu mentionnes souvent le mot-clé "paramètres". Les gens voient sur Hugging Face des modèles avec des billions de paramètres, mais n'ont aucune idée de ce que cela signifie. Pourrais-tu l'expliquer ?

Imagine un dé à jouer déséquilibré. Pour apprendre ses probabilités, tu dois le lancer peut-être mille fois. Chaque face a un paramètre – une probabilité. Pour un dé, tu en as six. Dans le langage, nous avons par exemple 100 000 mots possibles, ce qui fait déjà 100 000 paramètres, plus les relations entre eux. Il s'avère que plus on a de données et de paramètres dans un réseau neuronal, plus on crée un modèle précis. Un modèle avec peu de paramètres sera imprécis, tandis qu'un modèle avec beaucoup de paramètres sera plus précis mais plus exigeant en termes de calcul.

Peut-on expliquer simplement la différence entre perplexité et entropie croisée ?

C'est essentiellement la même chose à une échelle différente. La perplexité exprime le degré d'incertitude du modèle – parmi combien de choix tout aussi probables il choisit. Pour un dé équilibré, la perplexité est de six, pour une pièce, elle est de deux. Plus la perplexité est basse, plus le modèle est certain. L'entropie croisée exprime la probabilité logarithmique. Les deux métriques visent l'entropie des données.

Ok.

J'ai lu qu'à partir d'un certain seuil de complexité, les modèles commencent à se comporter de manière raisonnable et certains comparent cela à une conscience émergente. Qu'en penses-tu ?

C'est en grande partie du marketing. Le deep learning est une combinaison de travail empirique et de gros marketing. Il s'agit souvent de réinventer la roue sous de nouveaux noms, comme "large language models" ou "small language models". Il n'existe aucune limite magique de paramètres à laquelle la conscience apparaît. Les modèles plus grands sont simplement meilleurs, ce que je montrais déjà dans ma thèse en 2012. Les gens inventent des histoires autour de cela pour mieux vendre les choses.

C'est clair, mais un grand sujet concerne les "edge devices". S'il était possible de faire fonctionner ces modèles sur iPhone, de nouveaux modèles économiques apparaîtraient.

Ils peuvent déjà fonctionner sur iPhone, c'est juste une question de compromis. Ce ne sont pas de nouveaux types de modèles, ils sont juste gonflés grâce à un meilleur matériel et de meilleures données. Au fil du temps, les coûts diminueront et les modèles de langage seront courants sur les téléphones, dès que leur exploitation sera économiquement rentable. Ce n'est certainement pas comme si, à un certain nombre de paramètres, le modèle prenait soudainement vie.

Pouvons-nous aborder l'AGI ? Est-il possible que les modèles de langage soient capables d'émuler le comportement humain au point que nous leur confiions des tâches économiques. Quand les modèles seront-ils capables de comprendre qu'ils sur-optimisent une métrique et de la remplacer par une autre ? Comment vois-tu cela ? Par exemple, François Chollet a le benchmark ARC-AGI pour cela.

L'AGI est censée être une intelligence générale au niveau humain et au-delà. Avec la technologie actuelle, nous n'y sommes pas, mais les modèles de langage ont le potentiel d'y parvenir. Une innovation intéressante est celle des "thinking tokens" – des modèles qui génèrent du texte caché pendant leur réflexion et divisent les problèmes en sous-problèmes. Si le modèle pouvait s'améliorer lui-même sans données supplémentaires, cela pourrait mener à l'AGI. Un autre domaine clé est la mémoire à long terme et épisodique. Les modèles actuels comme ChatGPT influencent tous les paramètres en même temps lors de l'entraînement. Pour l'AGI, il ne nous manque peut-être que quelques idées, mais leur développement peut prendre des années. Les N-grammes ont été utilisés pendant 60 ans avant d'être dépassés par les réseaux neuronaux. OpenAI annonce peut-être des nouveautés tous les deux jours, mais le chemin vers l'AGI peut encore durer 20 ans. Ou alors, un hack génial apparaîtra et ce sera plus tôt.

Ce stockage en mémoire m'a rappelé la recherche Titans de Google. Est-ce que vous expérimentez aussi cela chez Bottlecap ?

Nous avons cela en projet, mais pour l'instant nous travaillons sur des choses plus simples. Nous devons d'abord lancer l'entreprise et construire l'équipe pour pouvoir y mener des recherches plus complexes. Nous devons y arriver progressivement, comme OpenAI.

Quelle est votre relation avec OpenAI et les grandes corporations ? Les voyez-vous comme des concurrents ? Quel est votre objectif dans deux ans ?

J'aimerais utiliser le potentiel européen et donner aux gens la possibilité de réaliser leurs ambitions sur des technologies de pointe. Une seule idée géniale peut faire avancer les modèles de langage plus qu'une tonne de données. ChatGPT lui-même a commencé comme un projet parallèle. Les capacités des modèles m'ont surpris moi aussi. L'économie de l'IA est actuellement tendue – Nvidia a grandi sur les opérations matricielles pour l'IA. Nous voulons créer un environnement pour des idées révolutionnaires et bâtir une entreprise qui rivalisera dans la course mondiale. L'Europe devrait soutenir ses propres entreprises, pas seulement les réguler. Nous devrions acheter des solutions à nos propres entreprises pour ne pas devenir seulement une colonie technologique. Nous sommes dans une course mondiale et nous devons faire ce que font ceux qui nous dépassent.

En fin de compte, tout est question de bonnes idées. On parle d'open source dans l'IA. Les Chinois s'y mettent sérieusement et utilisent des modèles puissants pour créer les leurs. Où vois-tu Bottlecap AI dans tout cela ? Prévoyez-vous de passer des choses en open source ?

J'évolue dans le machine learning depuis longtemps. Ma première solution open source, RNNLM, a été l'état de l'art pendant des années. J'ai aussi publié Word2vec chez Google. Auparavant, l'open source avait du sens pour moi comme moyen de promouvoir une nouvelle technologie. Aujourd'hui, je pense que l'Europe ne devrait pas participer à l'open source. Cela ne fait que renforcer les corporations américaines qui intègrent gratuitement nos idées dans leurs produits. Ce faisant, nous ne faisons qu'accroître le fossé. Nous devons nous efforcer de construire nos propres entreprises fortes et veiller à ce que les investissements dans la recherche nous reviennent, et non à nos concurrents.

Merci beaucoup, Tomáš. Nous approchons de la fin. C'était super et nous serons ravis de discuter à nouveau à l'avenir. Nous recommandons Bottlecap AI aux auditeurs. Merci et à une prochaine fois.

Merci beaucoup. J'espère que cela vous a plu et que cela vous a donné matière à réflexion. Portez-vous bien.

Merci beaucoup. Au revoir.

Merci beaucoup. Salut.