Mesdames et messieurs, je suis Sara Polak et je vous souhaite la bienvenue au premier épisode de notre nouveau podcast technologique. Mon premier invité n'est nul autre que la personne et l'ami formidable Tomáš Mikolov, que vous avez peut-être déjà vu quelques fois avec moi. Tomáš est l'un des meilleurs scientifiques au monde dans le domaine de l'intelligence artificielle, l'un des plus cités et surtout un expert pluridisciplinaire. Je suis très reconnaissante que tu sois là avec moi. Salut Tomáš.

Salut.

On nous a confié pour ce premier épisode la tâche d'aborder les phénomènes technologiques en profondeur. Dans notre cas, il s'agira de l'intelligence artificielle et de l'apprentissage automatique. Nous ne voulons pas seulement discuter de lignes de code, mais replacer le sujet dans un contexte socio-économique et examiner différentes applications, plus précisément dans les secteurs de la finance et de la santé. Nous parlerons également de la génération d'images comme DALL-E et Midjourney. Nous examinerons cela en détail, nous regarderons sous le capot ainsi que le marché autour de l'intelligence artificielle, car c'est un grand mot à la mode associé à beaucoup d'argent et à des personnalités intéressantes qui tentent de profiter de ce battage médiatique. Tomáš, pour commencer, tu es revenu après un mois à Singapour. Qu'est-ce que tu y as fait et comment cela s'inscrit-il dans ta carrière ?

À Singapour, j'ai visité l'équipe nouvellement créée SEA AI Labs. Ils comptent environ 30 scientifiques et veulent créer quelque chose comme DeepMind en Asie. Comme j'ai travaillé dans diverses équipes scientifiques pendant de nombreuses années, ils m'ont invité pour les conseiller. J'y ai passé un mois, j'ai eu de nombreuses discussions et j'ai visité quatre universités. L'entreprise qui m'a invité souffre de la crise économique en Asie du Sud-Est causée par la hausse mondiale des prix de l'énergie. Leurs clients des régions plus pauvres comme l'Indonésie ou la Malaisie sont touchés par la crise. C'est un phénomène mondial, même en Amérique, les entreprises technologiques arrêtent les embauches et se préparent à des temps plus difficiles. L'équipe a été créée il y a un an et demi, quand tout croissait rapidement. Pendant le COVID, les gens passaient beaucoup de temps chez eux, ce dont l'entreprise a profité. Ils ont grandi rapidement, ont fondé une équipe pour la concurrence mondiale, mais l'année dernière, leurs actions ont chuté de 80 %, ils doivent donc économiser. Il était intéressant de voir que les scientifiques là-bas ont toujours l'ambition de réaliser quelque chose de grand. L'Asie a un énorme potentiel inexploité. Les étudiants là-bas ont une éthique de travail différente et travaillent très dur. Leur responsable me disait qu'il travaillait 72 heures par semaine la majeure partie de sa vie. À Singapour, il se demande maintenant si le style européen de 40 heures par semaine ne serait pas meilleur. Les gens là-bas sont travailleurs, mais ils se rendent compte qu'ils sont perçus comme une usine à articles. Ils produisent beaucoup de travail qui parvient aux meilleures conférences, mais l'innovation est pour l'instant plus faible. La science de pointe en IA se fait toujours en Amérique et en Europe. Même si l'Asie investit beaucoup, la créativité y est nettement inférieure.

Tu as esquissé une chose intéressante, l'évolution du secteur technologique. Tu as rejoint Google en 2012 ?

2012.

Tu étais là à la naissance du déploiement des réseaux de neurones via les modèles de langage. Comment perçois-tu le changement du secteur technologique ? À Londres en 2014 chez Palantir, il suffisait d'avoir un nom de domaine et un compte Twitter pour obtenir des investissements. Maintenant, le public comprend mieux les mécanismes des technologies et commence à être plus sceptique. J'ai l'impression que les entreprises sont coincées dans une roue de hamster, où l'on améliore progressivement la précision des algorithmes de quelques pourcents car cela rapporte des millions, mais l'innovation stagne. Inventer quelque chose de nouveau est un grand risque avec un retour financier incertain. Ton idée de 2012 implémentée chez Google était révolutionnaire et a rapporté beaucoup d'argent aux entreprises. Comment perçois-tu l'évolution de l'innovation dans le domaine de l'intelligence artificielle ?

Chez Google, l'un de mes premiers projets était Word2vec, qui calculait des représentations de mots à partir d'une grande quantité de textes. Pour que les modèles d'apprentissage automatique fonctionnent, nous devons convertir l'entrée en une représentation numérique. Grâce au pré-entraînement non supervisé, ces représentations étaient de meilleure qualité que les méthodes précédentes. En 2010, à l'université Johns Hopkins, j'ai rencontré Zhifei Li, qui m'a donné des jeux de données pour la traduction automatique. J'ai alors réussi à surpasser ses cinq années de travail en deux heures, ce qui m'a confirmé l'avenir des réseaux de neurones. Zhifei est ensuite parti chez Google Translate. Maintenant, nous nous sommes rencontrés à Singapour au SEA AI Labs. Il a fondé une startup où ils utilisaient également Word2vec. À l'origine, ils développaient du matériel, mais ils perdaient 100 millions de dollars par an et ne pouvaient pas rivaliser avec Apple. Maintenant, ils essaient de passer au logiciel et développent des chatbots. Il y a un grand fossé entre le financement en Chine et à Prague, ce qui rend la compétition déloyale. En Europe, nous sommes en retard. La recherche de pointe en IA a lieu en Amérique, tandis que l'Asie domine dans les applications. En Europe, la connexion entre les universités et les entreprises ne fonctionne pas. En Asie, le protectionnisme fonctionne. La Chine a introduit des réglementations strictes pour garder ses données et ses gens. L'Europe est le cas inverse, nous n'avons introduit aucune réglementation sur les services. Google a acquis une position de monopole en Europe, n'y paie pas d'impôts et n'y fait pas de recherche. Des États comme Singapour prédisent l'évolution de l'économie des décennies à l'avance. En Europe, les gouvernements ne règlent que les problèmes actuels, mais ne se soucient pas de l'autonomie économique dans dix ans. Les entreprises locales paient des impôts élevés, tandis que les multinationales paient 0 %.

C'est intéressant ce que tu dis. J'ai grandi au Vietnam au tournant du millénaire. C'est incroyable la façon dont Saïgon et sa sphère technologique se développent actuellement. À Singapour, le lien entre la science et l'industrie était automatique. La recherche et le développement dans les entreprises technologiques étaient extrêmement bien rémunérés et des scientifiques de Harvard revenaient à Singapour pour faire de la science de pointe. L'Europe est le deuxième plus petit continent et ne profite plus des colonies comme avant. En République tchèque, on est content d'un investissement de 5 millions d'euros, alors qu'en Amérique, c'est dix fois plus pour une idée moins élaborée. Comment penses-tu que les acteurs dominants et les investissements dans le domaine de l'intelligence artificielle ont changé ces dix dernières années ?

De mon point de vue, la Silicon Valley reste la région la plus riche. Entre 2012 et 2014, je connaissais des étudiants de Stanford qui, après leur doctorat, fondaient une startup et recevaient des millions de dollars sans plan d'affaires. Beaucoup d'entreprises ont réussi, même si celles qui ont fait faillite ne sont pas visibles. En Europe, le système est rongé par les subventions, ce qui est une aberration. Les impôts sont redistribués par des fonctionnaires qui n'ont aucun intérêt dans les profits futurs et changent tous les quatre ans. À Singapour, ils ont une vision à long terme. Le gouvernement y a attiré un prix Nobel de physique et lui a donné des centaines de millions pour un centre de recherche. Des entreprises comme SEA investissent des millions de dollars dans les universités. En République tchèque, nous n'avons pas cette culture. Les gens riches chez nous ont souvent acquis leur fortune dans les années 90 et la lignée entre la richesse et la science a été interrompue par le communisme. Dans les classements des entreprises technologiques les plus valorisées, on ne trouve que des sociétés américaines et chinoises. Singapour, avec la moitié de la population tchèque, parvient à créer une entreprise d'une valeur de 200 milliards de dollars. En Europe, les plus grandes entreprises technologiques sont Spotify ou SAP, mais leur valeur marchande n'est pas faramineuse par rapport au reste du monde.

Tomáš a raison de dire que nous sommes en retard. Ce qui me fascine dans l'apprentissage automatique, c'est la rapidité avec laquelle il se normalise. Maintenant, tout le monde considère cela comme un terme familier, mais quand tu le prônais il y a quinze ans, c'était une utopie pour beaucoup. Je voudrais montrer aux gens le lien entre le traitement du langage naturel et les images génératives comme Midjourney et DALL-E. Comment ce battage médiatique s'inscrit-il dans ton travail ?

Mon travail portait principalement sur les modèles de texte génératifs. J'ai été le premier au monde à créer un modèle de langage neuronal générant du texte, c'était en 2007. Les modèles d'images génératifs comme DALL-E ou Midjourney sont très populaires cette année et la technologie a évolué. Les images sont mieux liées à l'invite textuelle, même si les gens ne voient que les meilleurs résultats. Pour l'avenir, je vois un potentiel dans la génération de musique, de parole ou le doublage automatique de films. On pourrait créer des bandes dessinées ou des animations entières sans avoir besoin de savoir dessiner. La technologie repose sur les mégadonnées et la mise à l'échelle des modèles, ce sur quoi je travaillais déjà dans ma thèse. Quand les ressources de calcul seront moins chères, nous verrons des jeux avec des graphismes et du texte générés en temps réel. Chaque partie de jeu sera originale. Toute technologie peut être détournée à des fins de propagande ou de falsification. Si quelqu'un vend un résultat de DALL-E comme son propre travail doté d'une âme, c'est pour moi au-delà des limites.

Ce qui me fascine dans l'apprentissage automatique, c'est la rapidité avec laquelle il se normalise. Avant, c'était une utopie sans perspective de profit pour les gens. Sur YouTube, je vois maintenant des publicités pour la génération de personnages 3D, ce qui permet de créer son propre film sans connaissances en programmation. C'est génial pour l'éducation et la reconversion. Mais la science manque de soutien pour les projets à haut risque et à haut gain. Comme le retour sur investissement n'est pas immédiatement clair, les investisseurs préfèrent soutenir des modèles connus pour les boutiques en ligne. Comment pourrait-on soutenir la science pour que les personnes ayant de nouvelles idées n'aient pas à être des martyrs ?

C'est difficile, car dès que l'on formule une idée à haut risque, quelqu'un arrive avec un projet à faible risque, le nomme ainsi et obtient l'investissement. En Europe, nous avons les bourses de l'ERC, mais elles vont souvent à des applications où le résultat est prévisible. À Singapour, la situation est similaire, les professeurs se plaignent de la bureaucratie et de la pression du gouvernement sur le retour sur investissement, ce qui est impossible dans la recherche fondamentale. Si les personnes qui ont déjà prouvé quelque chose ont la possibilité de faire avancer d'autres choses, il y a plus de chances de percée. C'est probablement mieux en Amérique, où les entreprises ont des revenus énormes et peuvent se permettre d'investir dans des projets utopiques. Grâce à cela, l'investissement dans la science et les universités y est le plus dynamique.

Tu mentionnes une chose intéressante concernant l'interconnexion des aspects de la society. Les technologies ne servent à rien si elles ne peuvent pas être mises à l'échelle. Je vais donner l'exemple de l'escrime. L'entraîneur Petr Anderle a développé une application connectée à une montre qui analyse statistiquement les erreurs de pointage. L'analyse par vidéo ne fonctionne pas car la pointe de l'épée est trop rapide et trop petite. Il voulait placer sous l'équipement une veste avec des fils pour enregistrer précisément les touches. Développer une telle veste nécessite une collaboration avec le département des matériaux d'une université et des fonds importants. Personne ne donnera d'argent pour une application d'escrime. Même si la technologie existe, sans connexions et sans financement, les idées stagnent. Dans des universités comme Oxford ou Harvard, l'approche 'alumni' fonctionne. Les gens y construisent des réseaux sociaux qui leur permettront plus tard d'obtenir des investissements d'un simple coup de fil. En République tchèque, cette approche manque. Nous avons des gens talentueux, mais le soutien à la mise à l'échelle manque. L'apprentissage automatique dans le e-commerce rapporte, mais dans la banque ou la santé, il se heurte à des plafonds systémiques. En Suède, ils ont un seul système logiciel pour tous les hôpitaux, ce qui permet un traitement efficace et un contrôle des médicaments. En République tchèque, nous avons des dizaines de systèmes non connectés dans chaque hôpital. Comment vois-tu l'évolution de l'apprentissage automatique dans la santé ?

Je ne vois pas cela comme si nous étions en colère, mais nous y voyons un potentiel. Pour l'apprentissage automatique dans la santé, nous avons besoin de données et de l'interconnexion des systèmes d'information. Aux États-Unis, les hôpitaux sont privés et gardent leurs données pour eux, même si Google Health essaie d'y percer. En Amérique, la santé engloutit beaucoup d'argent et les acteurs actuels ne veulent pas qu'il y en ait moins. La valeur ajoutée de la numérisation serait que les médecins aient un conseiller pour la prescription de médicaments. Par exemple, pour l'hypertension artérielle, on pourrait minimiser la consommation de médicaments et les effets négatifs. Cela réduirait certes les revenus des multinationales, mais les gens se porteraient mieux et pourraient payer moins d'impôts. En Europe, nous avons une taxation élevée, souvent autour de 50 %, même si c'est masqué. Si nous étions plus efficaces, les gens seraient en meilleure santé et les examens préventifs plus utiles. Le problème est qu'en politique, les ministres changent tous les six mois et personne ne planifie de projets à long terme. Je suis sceptique quant aux plans à long terme dans notre politique. À Singapour, ils ont un gouvernement stable qui a réussi à faire d'un pays pauvre l'un des plus riches. Ils misent sur une tolérance zéro pour la corruption, ce qui profiterait à la République tchèque. Chez nous, les scandales politiques sont étouffés. À Singapour, les politiciens sont très bien payés, ce qui attire des gens de qualité et élimine le besoin de voler. Les discours populistes sur la réduction des salaires des politiciens n'amélioreront pas la situation.

C'est intéressant ce que tu dis. Une chose est de gérer le battage médiatique, mais une autre est de changer réellement quelque chose. Dans la santé, les compagnies d'assurance jouent un rôle. En Suède, ils prennent des décisions basées sur des données et des études scientifiques. Ils ont découvert qu'il est plus efficace d'irradier un patient une fois avec une dose plus élevée, mais chez nous, on le fait cinq fois avec une dose plus faible parce que l'assurance peut facturer à chaque fois. L'assurance ne s'intéresse pas au modèle statistique, mais aux processus. Il en va de même pour la recommandation de médicaments. En Suède, ils ont un indice d'efficacité des médicaments basé sur des études, et non sur le marketing des firmes pharmaceutiques. Les médecins disposent de bases statistiques. Chez nous, nous avons des documents PDF obsolètes pour chaque médicament. Ensuite, l'intelligence artificielle peut être n'importe quoi, elle n'atteindra pas l'utilisateur. Tu as mentionné l'inflation et la crise. L'apprentissage automatique peut-il être bénéfique pour le citoyen ordinaire dans le cadre de la gestion des finances ?

Je perçois une différence entre l'investissement personnel en Amérique et en Europe. Les startups promettant de l'IA dans l'investissement ne sont souvent que des ruses pour l'argent. Je recommande de suivre Warren Buffett. La plupart des fonds gérés activement, qui facturent des frais élevés, perdent face aux indices passifs. Buffett a fait ce pari et a gagné. En Europe, la sensibilisation est plus faible et les gens paient des frais allant jusqu'à 2 % par an, ce qui est fou comparé aux 0,03 % américains. Historiquement, le marché boursier croît de 6 à 8 % par an, mais les frais et la mauvaise gestion dévorent les bénéfices. Il existe divers trucs pour convaincre les gens d'investir dans des fonds actifs, par exemple en choisissant le fonds virtuel le plus performant parmi mille. J'attire l'attention sur les intermédiaires qui gardent une partie du profit pour un travail nul. Faites vos recherches et cherchez les frais les plus bas.

Chez Palantir, la scène fintech a beaucoup évolué. Les produits Gotham et Metropolis centralisaient les données des banques et des bourses pour la prédiction du marché. Nous recrutions des développeurs de fonds spéculatifs quantitatifs comme Renaissance, où les gens travaillaient 15 heures par jour. C'était un business énorme avec des salaires et des bonus insensés. Malheureusement, nous arrivons déjà à la fin, même si nous pourrions rester assis ici jusqu'à Noël.

Renaissance a été fondé par un mathématicien qui a recruté des gens du groupe de parole d'IBM. Je connais certains d'entre eux, le monde est petit. Peter Brown, le PDG de Renaissance, est milliardaire en dollars. Les offres pour les experts en apprentissage automatique dans les fonds spéculatifs se chiffraient en millions de dollars par an. On m'a proposé 8 millions de dollars pour deux ans. Ils offrent de telles sommes parce qu'ils gagnent beaucoup plus grâce à ces personnes. Distinguer les vrais experts des escrocs n'est pas simple. Ceux qui réussissent n'ont souvent pas besoin de faire beaucoup de publicité et s'intéressent aux technologies.

Tu as mentionné l'importance de savoir se vendre. Pour les personnes techniquement compétentes, il en découle : soit déménager à Singapour, soit aller dans un fonds spéculatif. Mais nous voulons aussi stimuler la communauté avec des conseils concrets. À quoi une personne technologique en République tchèque devrait-elle se consacrer ? Quelle direction dans l'IA est prometteuse et que faire au niveau de l'implémentation pour que cela mène à quelque chose ?

Si quelqu'un veut créer une entreprise et gagner de l'argent, l'Amérique mène devant l'Europe. Je recommande d'essayer cela pendant quelques années après les études. Les salaires plus élevés aux États-Unis ne signifient pas forcément beaucoup plus de travail, c'est une question de géographie. Pour le même travail, on y reçoit plus d'argent et on acquiert de l'expérience. La meilleure voie peut être de se construire des réseaux à l'étranger et de revenir en République tchèque avec des investissements.

Merci, Tomáš. Tomáš a vécu tout cela et c'est génial qu'il en parle publiquement dans son contexte. Je suis ravie que tu sois de retour de Singapour. Nous aborderons d'autres sujets comme les opérations d'apprentissage automatique, la latence ou la cybersécurité. De mon côté, je me consacre à l'interconnexion de l'archéologie, de la philosophie et de l'IA. Informez-vous dans le domaine de l'intelligence artificielle et ne croyez pas les charlatans. Priez de lire n'importe quoi de Tomáš Mikolov. C'était Tomáš Mikolov, je suis Sara Polak et je vous donne rendez-vous pour le prochain épisode. Au revoir.

Salut.