Salut, je suis Craig Smith et voici Eye On A.I.

L'épisode d'aujourd'hui est avec le lauréat du prix Turing Yoshua Bengio et son collègue Iulian Serban, le cofondateur de Korbit, une startup edtech en IA ayant pour but de démocratiser l'éducation.

C'est le premier d'une série en deux parties sur l'IA dans l'éducation. Ces dernières années, les chercheurs se sont penchés sur l'amélioration de l'éducation grâce à l'application de systèmes d'apprentissage profond capables de suivre le comportement des étudiants, de prédire les performances et de proposer des stratégies pour à la fois améliorer ces performances et empêcher les étudiants de perdre tout intérêt.

C'est une nouvelle technologie puissante qui pourrait à terme redéfinir l'éducation telle que nous la connaissons.

Dans cet épisode, Yoshua et Iulian parlent de l'état actuel de leurs travaux et de la manière dont ils voient le domaine progresser avec l'application des mécanismes d'attention et l'utilisation éventuelle d'avatars virtuels pour aborder les aspects psychologiques des interactions élève-enseignant.

Iulian épelle son nom I-U-L-I-A-N, et nous alternons entre les prononciations. Les deux lui conviennent.

J'espère que vous trouverez cette conversation importante.

Je m'intéresse particulièrement à l'éducation. Je pense que les problèmes de l'éducation aux États-Unis sont à la racine de nombre de nos problèmes sociaux. L'éducation est en difficulté depuis longtemps et maintenant, avec la pandémie, elle est en crise. Il existe des solutions avec l'intelligence artificielle qui peuvent grandement améliorer la prestation, le contenu et l'efficacité de l'éducation.

Surtout dans un contexte à distance comme celui que nous connaissons actuellement.

C'est exact. La genèse de votre startup en éducation précède la COVID. Iulian, pouvez-vous commencer par vous présenter, puis Yoshua, vous pourrez faire une brève introduction et expliquer comment vous avez lancé Korbit. C'est providentiel car nous n'avons jamais eu autant besoin d'une plateforme éducative de ce type.

Je m'appelle Iulian et je suis le cofondateur de Korbit. J'ai étudié l'apprentissage automatique et l'intelligence artificielle avec Yoshua pendant cinq ans, explorant les systèmes d'assistants personnels comme Siri, Google Now et Amazon Alexa, en essayant de les rendre plus intelligents pour que les humains puissent mieux interagir avec cette technologie.

Construire des assistants personnels intelligents est un objectif de recherche colossal. Cela implique de nombreux problèmes, notamment le traitement du langage naturel et l'apprentissage par renforcement. L'idée était qu'en essayant de s'attaquer à ce problème plus vaste, nous aurions également un impact sur la recherche fondamentale en TAL et en apprentissage par renforcement.

La raison pour laquelle je me soucie de l'éducation est que j'ai été privilégié la majeure partie de ma vie. J'ai grandi dans un pays développé avec des parents instruits qui m'ont enseigné dès mon plus jeune âge. En dehors de l'école, j'ai bénéficié d'une aide aux devoirs et d'un soutien. Même à l'école, j'avais des enseignants qui se souciaient de leur travail. Peu de gens ont cette chance.

À 17 ans, j'ai rejoint une organisation à but non lucratif appelée Operation A Day's Work, spécialisée dans la démocratisation de l'éducation. Des étudiants du monde entier prennent un jour de congé scolaire pour travailler et donner l'argent gagné afin que d'autres enfants puissent recevoir une éducation.

Nous donnions de l'argent pour construire des écoles et former des enseignants. Après le lycée, j'ai rejoint l'organisation en tant que membre du conseil d'administration et bénévole à plein temps. Nous avions un projet au Niger où j'ai visité des écoles pour parler aux enseignants et mener une campagne de relations publiques afin de lever davantage de fonds.

J'ai réalisé l'importance de l'éducation. Ayant été privilégié moi-même, j'ai vu l'impact de l'éducation. La COVID-19 l'a exacerbé, mais il y a toujours eu une énorme inégalité dans l'éducation mondiale et c'est probablement le facteur décisif de la manière dont les économies et les sociétés se développent. L'éducation est la solution à long terme pour améliorer la société.

Yoshua, présentez-vous et expliquez comment vous en êtes venu au projet Korbit.

Je suis professeur à l'Université de Montréal et directeur scientifique du Mila. Cet institut rassemble des chercheurs en apprentissage automatique, se concentrant sur l'apprentissage profond et l'apprentissage par renforcement, avec pour objectif de faire progresser la recherche fondamentale et d'agir d'une manière bénéfique pour la société.

Le thème de l'IA pour le bien social est quelque chose que nous avons exploré au Mila dans de nombreuses directions, y compris les travaux sur le changement climatique et les soins de santé, mais l'éducation est une nouvelle direction de recherche.

C'est une direction qui aura le plus d'impact à long terme, en aidant les gens à prendre de meilleures décisions sur le changement climatique et les soins de santé, et en contribuant au bien-être de la société.

Iulian voulait faire quelque chose dans ce domaine et il m'a convaincu, ainsi que d'autres professeurs du Mila, de soutenir ce projet, et nous sommes ravis d'en faire partie.

Vous travaillez sur une suite de produits que vous prévoyez de déployer. Pouvez-vous parler théoriquement de la manière dont vous appliquez l'intelligence artificielle à l'enseignement et parler spécifiquement de certaines des applications sur lesquelles vous travaillez ?

L'idée centrale était de personnaliser et de rendre l'éducation active. Grâce à un apprentissage actif personnalisé, les étudiants apprendront plus efficacement et seront plus motivés.

À partir de cette idée, nous avons travaillé à rebours vers une solution technologique : un tuteur IA personnalisé qui guide l'étudiant du début à la fin.

Korbit crée pour eux un programme personnalisé, évaluant leurs connaissances et leurs objectifs, et leur enseigne individuellement.

L'enseignement se fait par vidéo et par texte, mais aussi par des exercices interactifs et pratiques où les étudiants reçoivent des commentaires du tuteur IA. Nous avons également des exercices de programmation où ils reçoivent des retours du tuteur.

C'est aujourd'hui une plateforme avec environ 10 000 étudiants sur korbit.ai. Tout le monde peut s'inscrire gratuitement. Il y a de nombreux problèmes d'IA, y compris le traitement du langage naturel, que nous devons résoudre.

J'ai écrit sur les tuteurs en IA pour le New York Times. À l'époque, il s'agissait principalement de systèmes experts reposant sur une logique à base de règles ou des arbres de décision. S'ils se trompent, ils sont orientés dans une direction ; s'ils réussissent, ils sont orientés dans une autre.

S'agit-il d'un système à base de règles ? La limite de ces systèmes était que la construction d'une base de connaissances prenait énormément de temps pour que l'arbre de décision puisse fonctionner, contrairement à un système qui pourrait s'adapter à n'importe quel domaine. Pouvez-vous parler des différences entre le vôtre et les anciens systèmes ?

Les anciens systèmes étaient basés sur des règles, et les chercheurs passaient des mois ou des années à créer un seul cours. C'était l'inconvénient majeur et l'une des raisons principales pour lesquelles ils n'étaient pas largement utilisés.

Korbit a commencé avec l'apprentissage profond et une IA de pointe. Le système Korbit n'est pas un système à base de règles. Il est basé sur les dernières technologies en matière de TAL, d'apprentissage profond, de traitement du langage naturel, de plongements de mots, de plongements de phrases et d'apprentissage par renforcement.

Grâce à cette technologie, nous pouvons créer de nouveaux cours plus rapidement. Les enseignants peuvent créer de nouveaux modules en quelques heures. Nous avons surmonté l'obstacle des milliers de règles dans un arbre de décision.

Où réside le contenu ? Est-ce que quelqu'un peut télécharger du contenu qu'il utiliserait normalement, ou doit-il le mettre dans un format spécial ?

Cela nécessite un format spécial. Une personne peut l'apprendre en un ou deux jours, mais le tuteur IA doit savoir quelle vidéo correspond à quel concept et quels exercices correspondent à cette vidéo. Il faut un alignement.

La création de contenu fait partie du processus, ce n'est pas différent des enseignants qui créent leurs propres vidéos pour d'autres plateformes. Il doit être réorganisé et étiqueté. Korbit parcourt également le Web, comme Wikipédia et les ressources éducatives libres.

Il parcourt des centaines de milliers de ressources de contenu et entraîne des modèles d'apprentissage automatique. L'apprentissage profond peut traiter du contenu non structuré et apprendre des représentations significatives de n'importe quel domaine. Comme l'éducation dispose de beaucoup de contenu gratuit, l'IA apprend à partir de celui-ci.

C'est fascinant. Elle existe maintenant en tant que plateforme. Est-ce aux éducateurs de l'adapter pour leurs élèves, ou est-ce une plateforme qui contient déjà des cours ? S'agit-il d'une plateforme B2C ou B2B ?

Nous nous concentrons sur la plateforme d'entreprise B2B. Il existe une demande énorme en formation d'entreprise pour les sociétés qui doivent requalifier ou perfectionner leurs employés. Nous avons commencé par la science des données et l'IA. J'ai créé les premières vidéos et, un an plus tard, j'ai convaincu Yoshua et d'autres professeurs d'en créer davantage.

Nous ciblons le marché des entreprises. Nous avons réalisé une étude auprès de 600 employés d'une grande entreprise d'externalisation et ils mènent un deuxième projet pilote avec nous.

La formation personnalisée est nécessaire en entreprise parce que les employés sont différents. Chacun a un ensemble de compétences, un parcours et une destination différents, la personnalisation est donc la clé.

Les utilisateurs sont des étudiants. Le modèle d'affaires n'est pas celui d'utilisateurs individuels achetant la plateforme, mais d'entreprises l'achetant pour un groupe de personnes. Les enseignants opèrent avec l'aide des experts de Korbit.

Compte tenu de la crise de l'éducation due au fait que tout est passé en ligne, cela peut-il être appliqué de la maternelle à la terminale ou à l'enseignement supérieur ?

Oui, nous avons des étudiants allant du lycée à l'université, ainsi que des professionnels qui suivent le cours. Nous nous concentrons sur les professionnels ayant une formation scientifique ou technique qui se lancent dans la science des données, mais il n'y a aucune limitation.

La contrainte principale est de disposer de la technologie et de parler anglais pour travailler avec un tuteur IA en ligne.

Quand avez-vous commencé à développer la plateforme ?

Nous avons commencé en 2017 comme un projet parallèle. J'ai travaillé avec notre autre cofondatrice Ekaterina Kochmar, professeure à l'Université de Cambridge, qui a passé cinq ans à étudier l'IA dans l'éducation. C'est de là que nous est venue l'idée du tuteur IA.

L'interface se fait-elle par la parole ou par un clavier ?

C'est par texte. Il pourrait prendre en charge la parole, mais les équations et les exercices de programmation sont difficiles à énoncer à haute voix.

Quels tests de performance avez-vous effectués ? Acuitus a développé un système pour la Marine qui est arrivé en tête des programmes de la DARPA.

Avez-vous effectué des tests de performance ou disposez-vous de mesures qui évaluent comment cela fonctionne par rapport à quelqu'un qui suit un MOOC ?

Nous avons une approche scientifique des choses. Nous testons tout et réalisons des études de cohortes. Nous avons publié des articles à ce sujet lors de la conférence AIED 2020.

D'autres articles sont en préparation. Nous croyons au partage des connaissances issues de la recherche et à la contribution à la communauté. Dans l'edtech, de nombreuses entreprises partagent leurs résultats.

Il est difficile de comparer car chaque entreprise a son propre contenu et sa propre approche. Nous avons réalisé une étude auprès de 600 étudiants comparant Korbit à un MOOC classique.

Dans un MOOC classique, ils ont des vidéos et des quiz. Avec Korbit, il y a eu une augmentation de 73 % du temps d'étude. Nous espérons pouvoir amener les étudiants à étudier deux fois plus avec Korbit, démontrant ainsi la puissance de l'IA dans l'éducation.

Yoshua, pouvez-vous nous dire comment cela pourrait changer le paysage ? L'apprentissage en ligne ne disparaîtra pas maintenant qu'il s'est imposé à tout le monde.

L'impact potentiel pourrait être énorme dans les pays moins favorisés car il n'y a pas assez d'éducateurs qualifiés. Nous ne voulons pas remplacer les enseignants ; nous en avons besoin d'autant que possible.

Korbit peut fournir des conseils personnalisés. Idéalement, il y aurait un enseignant par élève. Un enseignant humain peut aider un groupe, tandis que chaque individu reçoit des conseils personnalisés sur l'exercice qu'il devrait faire.

La personnalisation est là où l'apprentissage automatique intervient. Vous voulez apprendre ce que la personné sait et quel style d'apprentissage lui convient le mieux afin de pouvoir présenter le meilleur matériel.

À quelle distance sommes-nous d'un monde où chaque élève disposant d'une connexion Internet serait guidé par un tuteur en IA à travers l'arithmétique, l'algèbre et les sciences supérieures ?

C'est une question d'années. Iulian et ses collaborateurs se concentrent sur un marché de niche pour développer leur expertise et passer à l'éducation de base.

D'autres organisations profiteront des progrès de l'IA. Je m'intéresse à la manière dont nous pouvons construire une meilleure compréhension du langage naturel et du dialogue au-delà de la reconnaissance de formes, pour comprendre les connaissances dans une base de connaissances.

Il y a des défis fondamentaux. Il faudra peut-être une décennie pour atteindre le point où le tuteur personnalisé aura la fluidité du langage naturel et la compréhension sémantique nécessaires pour toucher tout le monde sur la planète.

Nous avons atteint un seuil ces dernières années. La reconnaissance vocale a mis des décennies à franchir un seuil d'utilisabilité. Quelque chose de similaire se produit pour les assistants personnels éducatifs ; Korbit montre que nous pouvons franchir ce seuil où il y a un impact positif.

Même si le TAL n'est pas parfait, il rend un service. Cela permettra de passer à l'échelle supérieure et d'attirer des investissements.

Nous avons résolu le problème du contenu, nous pouvons donc nous développer aussi vite que n'importe quelle autre plateforme. Nous travaillons sur les problèmes de TAL les plus complexes, mais nous constatons des améliorations dans la rétention des étudiants et les résultats d'apprentissage.

Nos études montrent que les étudiants apprennent mieux et plus vite. Il y a deux semaines, nous avons intégré un nouveau modèle d'apprentissage automatique appelé BERT et avons constaté une amélioration. Nous menons de nouvelles expériences pour voir comment cela impacte les étudiants.

Iulian, tu devrais mentionner les publications qui présentent ces études comparatives.

Nous avons publié deux articles dans l'AIED et en préparons deux autres. Nous avons une étude avec 600 employés et nous commençons une étude avec des collèges à Montréal pour étudier l'utilisation des tuteurs IA dans les salles de classe.

Le site web korbit.ai propose des contenus axés sur la science des données. Tout le monde peut-il s'inscrire et étudier gratuitement ?

Oui, n'importe qui peut s'inscrire gratuitement avec une connexion Internet et un appareil.

Avez-vous été contacté par des universités ou des districts scolaires intéressés par son utilisation ?

Nous avons des projets avec l'Université Concordia et le Collège Dawson. Nous avons reçu des demandes d'autres professeurs, mais nos ressources sont limitées. Il y a sans aucun doute beaucoup d'intérêt.

Il semble que cela pourrait résoudre les problèmes de beaucoup de gens si c'était disponible.

Le tuteur IA d'aujourd'hui est comme un téléphone portable dans les années 90. C'est la première génération de tuteurs IA et il faudra du temps pour les construire. Ces technologies prennent des décennies à être perfectionnées.

La technologie s'améliore à mesure que les recherches avancent et que davantage de jeux de données sont disponibles. En attendant d'avoir ce tuteur IA 'oracle' capable de tout enseigner parfaitement, cela prendra du temps.

Où en êtes-vous dans le lancement de votre entreprise ?

Nous avons lancé en mai 2019. Yoshua et d'autres professeurs ont donné des cours que nous avons mis en ligne avec Korbit. Nous avons 10 000 étudiants sur la plateforme.

Nous avons obtenu des financements d'investisseurs, dont Khosla Ventures. Vinod Khosla parle de l'IA changeant l'éducation depuis une décennie. Il a investi près de 2 millions de dollars, et nous avons levé un cycle d'amorçage important.

Nous sommes passés de six personnes à 26. C'est incroyable de voir à quelle vitesse les choses se développent une fois qu'il y a une dynamique.

Quelle est la suite de la feuille de route ? Vous travaillez avec des institutions et sur le traitement du langage naturel.

Nous savons que les étudiants apprennent plus efficacement avec Korbit, mais nous n'avons pas encore généré de revenus.

Nous trouvons l'adéquation produit-marché avec des clients d'entreprise qui ont besoin de Korbit pour former leurs employés en science des données et en IA. C'est la prochaine étape.

Yoshua, y a-t-il des recherches fondamentales menées ailleurs qu'au Mila et à l'Université de Montréal ?

D'autres commenceront à faire des choses similaires. Il y a une frontière passionnante dans l'apprentissage profond de système 2, qui est pertinente pour les systèmes de tutorat en IA.

L'apprentissage profond a été bon pour la perception, mais il lui manque la compréhension sémantique de haut niveau et le raisonnement. Nous avons fait quelques progrès avec les mécanismes d'attention.

Les systèmes basés sur l'attention comme les transformers sont à la pointe en TAL, mais ils n'ont pas été intégrés dans un système qui comprend comment le monde fonctionne et le représente de manière structurée pour raisonner à la volée.

Les humains sont doués pour traiter consciemment un contenu sémantique de haut niveau, ce qui est lié à notre capacité à donner du sens au langage. L'apprentissage profond de nouvelle génération qui capture le raisonnement pourrait transformer les assistants personnels.

En particulier dans l'éducation, cela pourrait changer la donne, mais cela pourrait prendre de nombreuses années.

Pouvez-vous approfondir les systèmes d'attention et l'algorithme transformer ?

Un réseau de neurones traditionnel n'a pas d'attention ; il traite des vecteurs à travers des couches. C'est ainsi que fonctionne votre système visuel.

Le traitement de plus haut niveau implique de se concentrer sur quelques aspects à la fois. Cette capacité à manipuler l'information de manière sélective est au cœur de l'attention.

Les mécanismes d'attention sont devenus le pain quotidien des architectures de réseaux de neurones pour le langage naturel.

Les réseaux de neurones basés sur l'attention opèrent sur des sous-ensembles d'éléments sélectionnés. Votre esprit utilise l'attention pour sélectionner des éléments afin d'imaginer quelque chose, de trouver une explication ou d'effectuer un calcul.

Le langage est ainsi ; nous nous concentrons sur quelques éléments à la fois. Les architectures basées sur l'attention opèrent sur des ensembles où le contenu et l'interaction importent plus que l'ordre. C'est un paradigme différent pour les réseaux de neurones.

Les chercheurs en IA classique soutenaient que les réseaux de neurones ne pouvaient pas faire certaines choses, comme la logique et les règles, mais celles-ci peuvent être réalisées à l'aide de réseaux de neurones basés sur l'attention. Les Transformers sont l'exemple le plus réussi de ces architectures.

J'ai parlé aux gens d'Alexa de leur défi de bot social. C'est frustrant parce qu'il sert une intention prédéfinie à partir de mots-clés sans raisonnement ni attention.

La compréhension est superficielle. La recherche fondamentale sur la cognition de haut niveau basée sur l'attention est cruciale pour la prochaine étape des assistants personnels.

Une fois que vous avez cela, vous pourriez le marier à un avatar.

Qui provient également du Mila.

Vous pourriez avoir le visage réaliste d'une personné qui vous enseigne directement.

Les tutoriels d'IA actuels ne se penchent pas sur l'aspect psychologique. L'interaction visuelle avec un visage qui exprime des émotions et du soutien est importante. Il y aura des recherches multidisciplinaires combinant psychologie, pédagogie et IA.

Pourquoi l'éducation n'a-t-elle pas été au centre des recherches sur l'IA jusqu'à récemment ?

Nous avons fait suffisamment de progrès en compréhension du langage naturel pour qu'il soit utilisable. Nous n'en sommes qu'au début.

Les chercheurs analysent depuis des décennies la façon dont les élèves réussissent aux examens et prédisent leurs difficultés. Il a fallu beaucoup de temps pour dépasser les modèles simples.

Ce n'est que récemment que les chercheurs ont exploré l'apprentissage profond. Les éducateurs ne disposaient pas de la panopille d'outils de l'IA jusqu'à ce que l'apprentissage profond devienne pratique.

Vous avez mentionné que des produits révolutionnaires allaient bientôt sortir. Faisiez-vous référence à quelque chose de spécifique ?

Nous avons publié des exercices de programmation interactifs où le tuteur IA analyse le code et donne des commentaires. C'est une étape dans la personnalisation de l'enseignement du codage.

C'est fascinant et opportun. J'espère que cela progressera rapidement afin de pouvoir être mis en œuvre dans le système éducatif. Y a-t-il autre chose que vous aimeriez dire ?

Nous devons démocratiser l'IA. La connaissance de l'IA et de l'apprentissage profond est concentrée. Pour faire face à des problèmes comme les fausses nouvelles et les biais algorithmiques, nous devons éduquer les gens sur l'IA et la science des données.

Nous devons enseigner l'IA et la science des données pour que les gens soient conscients des conséquences éthiques et aient un esprit critique lorsqu'ils prennent des décisions.

C'est tout pour l'épisode de cette semaine. Merci Yoshua et Iulian. Vous pouvez trouver une transcription sur notre site web, eye-on.ai. Visitez korbit.ai pour essayer Korbit vous-même.

La singularité n'est peut-être pas proche, mais l'IA est sur le point de changer votre monde. Soyez attentifs.