Ce qui suit est une conversation avec Andrew Ng, l'un des éducateurs, chercheurs, innovateurs et dirigeants les plus influents dans le domaine de l'intelligence artificielle et de l'espace technologique en général.

Il a cofondé Coursera et Google Brain, a lancé DeepLearning.AI, Landing AI et l'AI Fund, et a été le scientifique en chef chez Baidu.

En tant que professeur à Stanford et avec Coursera et DeepLearning.AI, il a aidé à éduquer et à inspirer des millions d'étudiants, dont moi.

Ceci est l'Artificial Intelligence Podcast. Si vous l'appréciez, abonnez-vous sur YouTube, donnez-lui cinq étoiles sur Apple Podcast, soutenez-le sur Patreon ou connectez-vous simplement avec moi sur Twitter à Lex Fridman, orthographié F-R-I-D-M-A-N.

Comme d'habitude, je vais faire une ou deux minutes de publicités maintenant et jamais de publicités au milieu qui pourraient interrompre le flux de la conversation. J'espère que cela vous convient et ne gâche pas l'expérience d'écoute.

Cette émission est présentée par Cash App, l'application de finance numéro un dans l'App Store. Lorsque vous l'obtenez, utilisez le code LexPodcast.

Cash App vous permet d'envoyer de l'argent à des amis, d'acheter des Bitcoins et d'investir en bourse avec seulement un dollar. Les services de courtage sont fournis par Cash App Investing, une filiale de Square et membre de la SIPC.

Puisque Cash App vous permet d'acheter des Bitcoins, laissez-moi mentionner que la crypto-monnaie dans le contexte de l'histoire de la monnaie est fascinante. Je recommande "Ascent of Money" comme un excellent livre sur cette histoire.

Les débits et les crédits sur les grands livres ont commencé il y a plus de 30 000 ans. Le dollar américain a été créé il y a plus de 200 ans, et le Bitcoin, la première crypto-monnaie décentralisée, a été lancé il y a un peu plus de 10 ans.

Compte tenu de cette histoire, la crypto-monnaie en est encore à ses débuts de développement, mais elle vise toujours à redéfinir la nature de la monnaie, et elle pourrait bien y parvenir.

Alors encore une fois, si vous téléchargez Cash App sur l'App Store ou Google Play et utilisez le code LexPodcast, vous recevrez dix dollars et Cash App fera également un don de dix dollars à FIRST, l'une de mes organisations préférées qui aide à faire progresser la robotique et l'éducation STEM pour les jeunes du monde entier.

Et maintenant, voici ma conversation avec Andrew Ng.

Les cours que vous avez enseignés sur l'apprentissage automatique à Stanford et plus tard sur Coursera, que vous avez cofondé, ont éduqué et inspiré des millions de personnes. Quelles personnes ou quelles idées vous ont incité à vous lancer dans l'informatique et l'apprentissage automatique quand vous étiez jeune ? Quand êtes-vous tombé amoureux de ce domaine pour la première fois ?

En grandissant à Hong Kong et à Singapour, j'ai commencé à apprendre à coder quand j'avais cinq ou six ans. À cette époque, j'apprenais le langage de programmation BASIC et je prenais ces livres qui vous disaient de taper ce programme dans votre ordinateur. Je tapais ce programme dans mon ordinateur et, à la suite de toute cette saisie, je pouvais jouer à ces jeux de tir très simples que j'avais implémentés sur mon petit ordinateur. Je trouvais fascinant, en tant que jeune enfant, de pouvoir écrire ce code, en le copiant simplement d'un livre dans mon ordinateur, pour ensuite jouer à ces petits jeux vidéo sympas.

Un autre moment pour moi a été quand j'étais adolescent et que mon père, qui est médecin, lisait des articles sur les systèmes experts et les réseaux neuronaux. Il m'a fait lire certains de ces livres et j'ai trouvé vraiment cool de pouvoir programmer un ordinateur pour qu'il commence à faire preuve d'intelligence.

Ensuite, je me souviens avoir fait un stage pendant que j'étais au lycée à Singapour où j'étais assistant de bureau et je faisais beaucoup de photocopies. Le moment fort de mon travail était quand j'utilisais cette déchiqueteuse. L'adolescent que j'étais se souvient avoir pensé : si seulement nous pouvions écrire un logiciel, construire un robot ou quelque chose pour automatiser cela, je pourrais peut-être faire autre chose.

Une grande partie de mon travail depuis lors s'est donc centrée sur le thème de l'automatisation. Même dans la façon dont je conçois l'apprentissage automatique aujourd'hui, nous sommes très doués pour écrire des algorithmes d'apprentissage capables d'automatiser des choses que les gens peuvent faire. Même en lançant les premiers MOOC, ces cours en ligne ouverts à tous, qui ont plus tard mené à Coursera, j'essayais d'automatiser ce qui pouvait l'être dans ma façon d'enseigner sur le campus.

Dans le processus d'éducation, vous avez essayé d'en automatiser des parties pour avoir plus d'impact à partir d'un seul enseignant.

En enseignant à Stanford, j'enseignais l'apprentissage automatique à environ 400 étudiants par an à l'époque et je me retrouvais à filmer exactement la même vidéo chaque année, à raconter les mêmes blagues dans la même salle. Je me suis dit : pourquoi est-ce que je fais ça ? Pourquoi ne pas simplement prendre la vidéo de l'année dernière et consacrer mon temps à établir une relation plus profonde avec les étudiants ? Ce processus de réflexion sur la manière de procéder a conduit aux premiers MOOC que nous avons lancés.

Et puis vous avez plus de temps pour écrire de nouvelles blagues. Avez-vous des souvenirs préférés de vos débuts à Stanford, où vous enseigniez à des milliers de personnes en personne, puis à des millions de personnes en ligne ?

Pour l'enseignement en ligne, ce que peu de gens savent, c'est que beaucoup de ces vidéos ont été tournées entre 22h00 et 03h00 du matin. Lorsque nous lancions les premiers MOOC à Stanford, nous avions déjà annoncé le cours, environ 100 000 personnes s'étaient inscrites, nous venions de commencer à écrire le code et nous n'avions pas encore réellement filmé les vidéos. Il y avait beaucoup de pression, avec 100 000 personnes qui attendaient que nous produisions le contenu.

De nombreux vendredis et samedis, je sortais dîner avec mes amis, puis je me demandais : est-ce que je veux rentrer chez moi maintenant ou est-ce que je veux aller au bureau pour filmer des vidéos ? L'idée de pouvoir aider potentiellement 100 000 personnes à apprendre l'apprentissage automatique m'a fait penser : d'accord, je vais à mon bureau. J'allais dans mon minuscule petit studio d'enregistrement, je réglais ma webcam Logitech, je réglais ma tablette Wacom, je vérifiais que mon micro-cravate était allumé, puis je commençais à enregistrer, souvent jusqu'à 2h00 ou 3h00 du matin. On ne voit pas que cela a été enregistré si tard dans la nuit, mais c'était vraiment inspirant de pouvoir créer du contenu pour aider autant de personnes à découvrir l'apprentissage automatique.

Qu'est-ce que vous avez ressenti ? Le fait d'être seul, d'enregistrer avec une webcam Logitech et de rentrer seul à 1h00 ou 2h00 du matin en sachant que cela allait atteindre des milliers de personnes, et finalement des millions de personnes ? Y a-t-il un sentiment de satisfaction d'être allé jusqu'au bout ?

C'était une leçon d'humilité et je ne pensais pas à ce que je ressentais. Une chose que je suis fier de dire que nous avons réussie dès les premiers jours, c'est que j'ai dit à toute mon équipe que la priorité numéro un est de faire ce qu'il y a de mieux pour les apprenants. Ainsi, quand j'entrais dans le studio d'enregistrement, la seule chose que j'avais en tête était : que puis-je dire, comment puis-je concevoir mes diapositives, que dois-je dessiner pour rendre ces concepts aussi clairs que possible pour les apprenants.

J'ai vers des instructeurs tentés de parler de leur travail ou de leurs recherches pour que quelqu'un cite leurs articles. L'une des choses que nous avons réussies en lançant les premiers MOOC et plus tard en construisant Coursera a été de mettre en place ce principe fondamental : faisons simplement ce qu'il y a de mieux pour les apprenants et oublions tout le reste. Ce principe directeur s'est avéré vraiment important pour l'essor du mouvement MOOC.

Et le type d'apprenant que vous imaginiez dans votre esprit était aussi large que possible, aussi mondial que possible, essayant d'atteindre autant de personnes intéressées par l'apprentissage automatique et l'IA que possible.

Je voulais vraiment aider toute personne intéressée par l'apprentissage automatique à percer dans le domaine. Des gens m'ont demandé pourquoi je passais autant de temps à expliquer la descente de gradient. Ma réponse était qu'une bonne compréhension des bases les mettrait dans une meilleure position pour construire ensuite une carrière à long terme. Nous essayons de prendre systématiquement des décisions basées sur ce principe.

L'une des choses que vous avez révélées à la communauté de l'IA et au monde entier, c'est que le nombre de personnes réellement intéressées par l'IA est bien plus important que ce que nous imaginions. Par votre enseignement et la popularité qu'il a acquise, vous avez montré qu'il ne s'agit pas seulement d'une petite communauté de personnes qui vont aux NeurIPS ; c'est bien plus vaste. Ce sont des développeurs et des gens du monde entier. Je suis Russe, donc tout le monde en Russie est vraiment intéressé, et il y a un nombre énorme de programmeurs intéressés par l'apprentissage automatique en Inde, en Chine, en Amérique du Sud, partout. Il y a des millions de personnes intéressées par l'apprentissage automatique. Quelle ampleur donnez-vous à ce nombre de personnes intéressées ?

Les chiffres ont augmenté au fil du temps. C'est l'un de ces succès soudains qui a mis des années à se concrétiser. Ma première incursion dans ce type d'éducation en ligne a été lorsque nous filmions mon cours à Stanford et que nous mettions les vidéos sur YouTube. C'était essentiellement la vidéo d'une heure et quinze minutes que nous mettions sur YouTube.

Ensuite, we avons eu quatre ou cinq autres versions de sites Web que j'avais construits, dont vous n'auriez probablement jamais entendu parler car ils atteignaient de petits publics, mais cela nous a permis, à mon équipe et à moi, d'itérer pour apprendre quelles idées fonctionnent et lesquelles ne fonctionnent pas. Par exemple, l'une des fonctionnalités qui m'enthousiasmait et dont j'étais fier était un site Web où plusieurs personnes pouvaient être connectées en même temps.

Si deux personnes, disons vous et moi, regardions une vidéo ensemble devant un ordinateur, le site Web pouvait nous demander à tous les deux de taper nos mots de passe afin que l'ordinateur sache que nous regardions ensemble et nous accorde un crédit à tous les deux.

J'ai implémenté cette fonctionnalité et je l'ai déployée dans une école de San Francisco avec environ 20 utilisateurs. Devinez quoi ? Personne n'a utilisé cette fonctionnalité. Il s'avère que les gens qui étudient en ligne veulent regarder les vidéos seuls afin de pouvoir les relire et faire une pause à leur propre rythme. C'était un exemple d'une petite leçon apprise qui nous a permis de nous concentrer sur l'ensemble des fonctionnalités qui fonctionnent.

Cela ressemble à une fonctionnalité brillante, donc la leçon est qu'il y a quelque chose qui semble incroyable sur le papier et que finalement personne n'utilise. J'ai vu que vous êtes passé par beaucoup de fonctionnalités et d'idées différentes pour arriver à Coursera, cette chose finale et puissante qui a montré au monde que les MOOC peuvent éduquer des millions de personnes.

Le mouvement de l'apprentissage automatique n'est pas né de nulle part ; au contraire, à mesure que de plus en plus de personnes découvraient l'apprentissage automatique, elles en parlaient à leurs amis, et leurs amis voyaient comment cela s'appliquait à leur travail, et la communauté n'a cessé de croître. Je ne sais pas à l'avenir quel pourcentage de tous les développeurs seront des développeurs en IA. Je pourrais facilement imaginer que ce soit plus de 50 %, car il y a tellement de développeurs en IA au sens large, pas seulement ceux qui font de la modélisation d'apprentissage automatique, mais aussi ceux qui construisent l'infrastructure, les pipelines de données et tous les logiciels entourant le modèle central.

C'est peut-être même plus important. J'ai l'impression qu'aujourd'hui presque chaque ingénieur logiciel a une certaine compréhension du cloud. À l'avenir, nous approcherons peut-être de 100 % des développeurs étant d'une certaine manière des développeurs en IA, ou ayant au moins une appréciation de l'apprentissage automatique.

Mon espoir est qu'il y ait ce genre d'effet où des gens qui ne sont pas vraiment intéressés par la programmation, comme des biologistes, des chimistes et des physiciens, même des ingénieurs en mécanique, toutes ces disciplines disposent de grands ensembles de données. Ils ne pensaient pas être intéressés par la programmation jusqu'à ce qu'ils réalisent qu'il existe ces outils d'apprentissage automatique qui permettent d'utiliser l'ensemble de données. Ils apprennent donc à programmer et deviennent de nouveaux programmeurs. De plus en plus, le type de personnes qui deviennent des développeurs croît de manière significative.

Il fut un temps où seule une petite partie de l'humanité était alphabétisée. Vous auriez pu penser que tout le monde n'avait pas besoin d'apprendre à lire et à écrire, que l'on pouvait simplement aller écouter quelques moines vous faire la lecture. Mais ce que nous avons découvert, c'est qu'en donnant à presque tout le monde une alphabétisation de base, cela a considérablement amélioré les communications humaines et nous pouvons maintenant écrire pour un seul destinataire, comme un e-mail.

En informatique, nous en sommes encore à cette phase où si peu de gens savent coder que les codeurs doivent principalement coder pour des publics relativement larges. Mais si la plupart des gens devenaient des développeurs à un certain niveau, j'adorerais voir les propriétaires d'un petit magasin de quartier être capables d'écrire un peu de code pour personnaliser l'affichage TV de leur promotion de la semaine. Cela améliorera les communications homme-machine, qui deviennent de plus en plus importantes dans le monde d'aujourd'hui.

Vous pensez donc qu'il est possible que l'apprentissage automatique devienne semblable à l'alphabétisation, où tout le monde, dans tous les domaines de la vie, aurait un certain degré de capacité de programmation ?

Je pourrais voir la société y arriver. Il y a une autre chose intéressante. Si je parle à beaucoup de gens dans leurs professions quotidiennes, je n'avais pas auparavant de bon argument pour expliquer pourquoi ils devraient apprendre à coder. Mais ce que j'ai constaté avec l'essor de l'apprentissage automatique et de la science des données, c'est que le nombre de personnes ayant une utilité concrète pour la science des données dans leur vie quotidienne est peut-être même plus important que le nombre de personnes ayant une utilité concrète pour l'ingénierie logicielle.

Par exemple, si vous dirigez un petit commerce de proximité et que vous pouvez analyser les données relatives à vos ventes et à vos clients, cela a une réelle valeur. Pour beaucoup de mes amis dans diverses professions, qu'ils soient recruteurs, comptables ou personnes travaillant en usine, j'ai le sentiment que s'ils étaient des scientifiques des données à un certain niveau, ils pourraient immédiatement utiliser cela dans leur travail. La science des données et l'apprentissage automatique pourraient être une porte d'entrée encore plus facile dans le monde des développeurs pour beaucoup de gens que la voie de l'ingénierie logicielle.

C'est intéressant et magnifiquement formulé. Nous vivons dans un monde où la plupart des cours et des conférences s'appuient sur des diapositives, et pourtant vous utilisez encore souvent, et c'est célèbre, un marqueur et un tableau blanc. La simplicité de cette méthode est séduisante et agréable à regarder.

Merci.

Pourquoi aimez-vous utiliser un marqueur et un tableau blanc, même sur les plus grandes scènes ?

Cela dépend du concept que vous voulez expliquer. Pour les concepts mathématiques, il est agréable de construire l'équation pièce par pièce, et le marqueur de tableau blanc est un moyen très facile de construire un concept complexe pendant que vous en parlez, ce qui améliore parfois la compréhension. L'inconvénient de l'écriture est que c'est lent. Il y a des avantages et des inconvénients, et parfois j'utilise des diapositives, parfois un tableau blanc ou un stylet.

La lenteur d'un tableau blanc est aussi son avantage car elle vous oblige à tout réduire à l'essentiel. Certains de vos exposés qui utilisent le tableau blanc se concentrent sur les principes les plus simples, ce qui impose un minimalisme d'idées excellent pour l'éducation. Un bon exposé est celui qui énonce clairement quelques idées simples, et le tableau blanc impose cela d'une manière ou d'une autre.

Pieter Abbeel, qui est aujourd'hui l'un des meilleurs roboticiens et experts en apprentissage par renforcement au monde, a été votre premier étudiant en doctorat. J'imagine que cela a dû être une période intéressante de votre vie. Avez-vous des souvenirs préférés de votre travail avec Pieter, surtout avant que l'apprentissage profond n'explose vraiment ?

J'ai eu beaucoup de chance d'avoir Pieter Abbeel comme premier étudiant en doctorat, et même mon succès professionnel à long terme repose sur les premiers travaux auxquels Pieter a tant contribué. Ce que peu de gens savent, c'est à quel point la recherche était, et reste, difficile.

La thèse de doctorat de Pieter consistait à utiliser l'apprentissage par renforcement pour faire voler des hélicoptères et, aujourd'hui encore, le site Web heli.stanford.edu est toujours en ligne : vous pouvez y regarder des vidéos de nous faisant voler un hélicoptère à l'envers et faire des boucles.

C'est l'une des vidéos de robotique les plus incroyables de tous les temps. Ça date d'environ 2008.

Oui, elle a plus de 10 ans.

Cela a été vraiment inspirant pour beaucoup de gens.

Ce que peu de gens voient, c'est à quel point c'était difficile. Pieter, Adam Coates, Morgan Quigley et moi travaillions sur diverses versions de l'hélicoptère, et beaucoup de choses ne fonctionnaient pas. Par exemple, il s'avère que l'un des problèmes les plus difficiles que nous ayons eus était : quand l'hélicoptère vole la tête en bas en faisant des cascades, comment le localiser ?

Une seule unité GPS ne fonctionne pas car lorsque vous volez à l'envers, l'unité GPS est tournée vers le bas et vous ne pouvez pas voir les satellites. Nous avons essayé d'avoir deux unités GPS, mais cela n'a pas fonctionné car l'unité orientée vers le bas ne pouvait pas se synchroniser si vous basculiez rapidement.

Morgan Quigley explorait cette configuration folle de matériel spécialisé pour interpréter les signaux GPS. Il a passé environ un an à travailler là-dessus et ça n'a pas marché. Je me souviens de Pieter et moi assis dans mon bureau, regardant certaines des dernières choses que nous avions essayées et qui n'avaient pas fonctionné, et nous disant : et maintenant ? Nous avons essayé tellement de choses et ça ne marchait tout simplement pas.

Au final, Adam Coates a été crucial pour cela. Nous avons placé des caméras au sol et nous les avons utilisées pour localiser l'hélicoptère, ce qui a résolu le problème de localisation, nous permettant ainsi de nous concentrer sur les techniques d'apprentissage par renforcement pour faire voler l'hélicoptère.

Quand je faisais ce travail à Stanford, il y avait à l'époque beaucoup d'articles théoriques sur l'apprentissage par renforcement, mais peu d'applications pratiques. Le travail sur l'hélicoptère autonome était l'une des rares applications pratiques de l'apprentissage par renforcement à l'époque.

J'ai l'impression que nous avons peut-être presque bouclé la boucle car aujourd'hui il y a un tel enthousiasme pour l'apprentissage par renforcement, mais là encore, nous cherchons davantage d'applications pour toutes ces excellentes idées que la communauté a trouvées.

Quel a été le moteur face au fait que la plupart des gens font du travail théorique ? Qu'est-ce qui vous a motivé, malgré l'incertitude et les défis de la localisation, à faire du travail appliqué, à faire fonctionner le système réel ?

J'aime les choses qui marchent. J'adore le monde physique, donc on en revient à la déchiqueteuse.

J'aime la théorie, mais quand je travaille moi-même sur la théorie, j'apprécie personnellement davantage si je sens que le travail que je fais influencera les gens, aura un impact positif ou aidera quelqu'un.

Je me souviens avoir parlé avec un professeur de mathématiques et lui avoir demandé pourquoi il faisait ce qu'il faisait. Il a répondu qu'il faisait ce qu'il faisait parce que cela l'aidait à découvrir la vérité et la beauté dans l'univers. Il avait des étoiles dans les yeux en disant cela.

Je pense que c'est formidable que quelqu'un fasse cela, et j'ai beaucoup de respect pour ces personnes, mais je suis plus motivé quand je vois comment le travail de mes équipes et le mien aident les gens.

Le monde a besoin de toutes sortes de personnes, je n'en suis qu'un type. Quand je me plonge dans la théorie ou la pratique, si j'ai personnellement la conviction qu'il y a un chemin pour que cela aide les gens, je trouve cela plus satisfaisant.

C'est votre voie. Vous étiez un partisan de l'apprentissage profond avant qu'il ne soit largement accepté. Qu'avez-vous vu dans ce domaine qui vous a donné confiance ? Quel était votre processus de réflexion dans les années 2000 ?

Ce sur quoi nous nous sommes vraiment trompés, c'est l'importance précoce de l'apprentissage non supervisé. Aux débuts de Google Brain, nous avons consacré beaucoup d'efforts à l'apprentissage non supervisé plutôt qu'à l'apprentissage supervisé.

Il y avait cet argument vers 2005, après la fin de NeurIPS, alors que Geoff Hinton et moi déjeunions. Geoff a sorti une serviette et a commencé à esquisser cet argument qui était très convaincant.

Le cerveau humain possède environ 100 billions de connexions synaptiques. Vous vivrez environ 10 puissance 9 secondes. Si chaque connexion synaptique du réseau neuronal de votre cerveau possède un paramètre d'un seul bit, cela représente 10 puissance 14 bits que vous devez apprendre en 10 puissance 9 secondes de votre vie.

Cela représente 10 puissance 5 bits par seconde que vous devez apprendre dans votre vie. J'ai une fille d'un an, et je ne lui montre pas 10 puissance 5 bits par seconde d'étiquettes.

Donc, à partir de cet argument très rudimentaire, il est tout simplement impossible que l'essentiel de ce que nous savons passe par l'apprentissage supervisé. On peut obtenir tellement de bits d'information en absorbant des images, du son et des expériences dans le monde. Cet argument m'a vraiment convaincu de la puissance de l'apprentissage non supervisé.

C'est la partie sur laquelle nous nous sommes trompés. Je pense toujours que l'apprentissage non supervisé est vraiment important, mais il y a 15 ans, beaucoup d'entre nous pensaient que c'était la voie à suivre.

Vous dites donc que c'était peut-être la mauvaise intuition pour l'époque ?

Pour l'époque. La partie que nous avons bien comprise était l'importance de l'échelle. Adam Coates avait mené ces expériences à Stanford montrant que plus l'algorithme d'apprentissage est entraîné sur une grande échelle, meilleures sont ses performances.

Plus on agrandit cette chose, meilleures sont ses performances, la précision étant l'axe vertical. C'est sur la base de ce graphique que j'ai eu la conviction de proposer le lancement d'un projet chez Google, qui est devenu le projet Google Brain.

Vous avez cofondé Google Brain et là, l'intuition était que l'échelle apporterait la performance, nous devions donc viser une échelle de plus en plus grande. Je pense que les gens ne réalisent pas à quel point c'est une idée simple mais révolutionnaire : de plus grands ensembles de données entraîneront de meilleures performances.

C'était controversé à l'époque. Certains de mes amis bien intentionnés de la communauté de l'apprentissage automatique sont venus me donner des conseils amicaux, disant que je voulais juste viser l'échelle et que c'était une mauvaise décision de carrière.

Si vous voulez faire une percée, vous devez parfois avoir des convictions et faire quelque chose avant que ce ne soit populaire, car cela vous permet d'avoir un impact plus important.

Je me retrouve à argumenter avec des gens qui disent qu'une plus grande échelle, surtout dans le contexte de l'apprentissage actif, va mener à encore plus de percées dans l'apprentissage profond. Il y a actuellement une opposition à l'idée que des ensembles de données plus importants ne sont plus nécessaires. Je crois que des ensembles de données plus grands avec les mêmes méthodes d'apprentissage que nous avons actuellement entraîneront de meilleures performances. Quelle est votre intuition ?

Je pense que les deux sont importants et cela dépend aussi du problème. Pour quelques ensembles de données, nous approchons peut-être du taux d'erreur de Bayes ou surpassons les performances humaines. Mais il existe de nombreux problèmes pour lesquels nous sommes encore assez loin des performances humaines et des ensembles de données plus importants, sans innovation algorithmique supplémentaire, suffiront à nous mener plus loin.

D'un autre côté, les récentes percées utilisant des réseaux transformeurs pour les modèles de langage ont été une combinaison d'architecture nouvelle et d'échelle. Si l'on regarde ce qui s'est passé avec GPT-2 et BERT, je pense que l'échelle a joué un rôle prépondérant.

On ne parle pas souvent de l'échelle et de la qualité de l'ensemble de données. Il existe déjà une certaine supervision faible sur un très grand ensemble de données dont les gens ne parlent pas souvent.

Aujourd'hui, nous avons des processus matures pour gérer le code, comme Git. Il nous a fallu beaucoup de temps pour élaborer de bons processus. Nous sommes très peu matures en termes d'outils pour gérer les données, réfléchir à la manière de les nettoyer et de résoudre des problèmes de données très complexes et désordonnés. Je pense qu'il y a encore beaucoup d'innovations à faire de ce côté-là.

J'adore l'idée que vous fassiez du versionnage par e-mail.

Je vais vous donner un exemple. Quand nous travaillons avec des entreprises manufacturières, il n'est pas rare du tout que plusieurs étiqueteurs soient en désaccord les uns avec les autres. En travaillant sur l'inspection visuelle, nous prenions une pièce en plastique et la montrions à un inspecteur, qui disait : c'est clairement un défaut.

Apportez la même pièce à un autre inspecteur et il dira : cette rayure est petite et c'est correct. Parfois, vous prenez la même pièce en plastique, vous la montrez au même inspecteur l'après-midi plutôt que le matin, et il donnera une opinion différente.

Que doit faire une équipe d'IA si parfois une même personne n'est pas d'accord avec elle-même au cours d'une journée ? Ce sont les types de problèmes de données très pratiques et complexes auxquels mes équipes sont confrontées. Dans le cas de grandes entreprises Internet grand public avec un milliard d'utilisateurs, vous avez beaucoup de données, donc vous ne vous en souciez pas.

Dans le cas d'autres contextes industriels où nous n'avons pas de données massives, si vous avez seulement de petits ensembles de données, ces petites erreurs d'étiquetage ont un impact important. Comment nettoyer cela ? C'est un exemple des types de choses avec lesquelles mes équipes se débattent pour gérer les petites données, ce qui arrive tout le temps dès que l'on sort de l'Internet grand public.

C'est fascinant. Vous investissez plus d'efforts et de temps dans la réflexion sur le processus d'étiquetage lui-même et sur la manière dont les désaccords sont résolus. C'est un espace passionnant.

J'encourage de plus en plus les étudiants de Stanford à essayer de trouver leur propre projet pour le projet de fin d'études, plutôt que de simplement télécharger l'ensemble de données bien nettoyé de quelqu'un d'autre. C'est en fait beaucoup plus difficile si vous devez trouver votre propre problème et votre propre ensemble de données.

Vous dirigez maintenant trois initiatives : l'AI Fund, Landing AI et DeepLearning.AI. L'AI Fund participe à la création de nouvelles entreprises à partir de zéro, Landing AI aide les entreprises établies à intégrer l'IA et DeepLearning.AI se consacre à l'éducation. Concernant DeepLearning.AI, comment une personne intéressée par l'apprentissage profond peut-elle débuter dans ce domaine ?

DeepLearning.AI travaille à la création de cours pour aider les gens à percer dans l'IA. Mon cours sur l'apprentissage automatique que j'ai enseigné à Stanford reste l'un des cours les plus populaires sur Coursera.

À ce jour, c'est probablement l'un des cours que les gens citent toujours comme la raison pour laquelle ils sont tombés amoureux de l'apprentissage automatique. Le nombre de personnes que vous avez influencées est incroyable. Pour cela, je vous dis un grand merci.

Merci. Je lisais un jour un article de presse qui disait qu'un tiers des programmeurs sont autodidactes. Je me suis dit que cela n'avait pas de sens parce que tout le monde est autodidacte. Je n'enseigne pas aux gens, ils apprennent par eux-mêmes.

C'est bien dit. Comment débute-t-on dans l'apprentissage profond et quelle est la place de DeepLearning.AI dans ce processus ?

La spécialisation en apprentissage profond proposée par DeepLearning.AI est un moyen très populaire pour les gens de tout apprendre, des réseaux neuronaux à la façon de régler un réseau neuronal, en passant par les ConvNets et les modèles de séquence. La spécialisation en apprentissage profond guide chacun à travers ces algorithmes afin que vous les compreniez en profondeur et puissiez les implémenter.

Quels seraient selon vous les prérequis pour que quelqu'un suive la spécialisation en apprentissage profond, en termes de mathématiques ou de programmation ?

Vous devez comprendre la programmation de base car il y a des exercices de programmation en Python, et les prérequis en mathématiques sont assez élémentaires. Aucun calcul n'est nécessaire. Si vous savez multiplier deux matrices, c'est parfait.

Donc un peu d'algèbre linéaire de base, c'est génial.

De l'algèbre linéaire de base et un peu de programmation. Je pense que les personnes qui ont suivi le cours d'apprentissage automatique trouveront la spécialisation en apprentissage profond un peu plus facile, mais il est également possible de se lancer directement dans la spécialisation.

Pourriez-vous mentionner brièvement certains des concepts clés de l'apprentissage profond que les étudiants devraient apprendre au cours de la première année environ ?

Si vous suivez la spécialisation en apprentissage profond, vous apprenez les bases de ce qu'est un réseau neuronal, comment construire un réseau neuronal à partir d'une seule unité logistique jusqu'à un empilement de couches et différentes fonctions d'activation. Vous apprenez à entraîner les réseaux neuronaux.

Une chose dont je suis très fier dans cette spécialisation, c'est que nous passons en revue beaucoup de savoir-faire pratique. Quelles sont les différences entre les différents algorithmes d'optimisation ? Que faire si l'algorithme fait du surapprentissage ? Quand collecter plus de données ? Quand ne pas s'embêter à collecter plus de données ?

Il y a des ingénieurs qui passeront six mois à essayer de collecter plus de données parce qu'ils ont entendu dire que plus de données ont de la valeur. Mais parfois, on peut faire des tests et se rendre compte que pour ce problème particulier, collecter plus de données ne servira à rien.

Nous passons donc en revue beaucoup de savoir-faire pratique afin que, lorsque vous suivez la spécialisation en apprentissage profond, vous ayez ces compétences pour être très efficace dans la manière dont vous construisez ces réseaux.

Plongez directement pour jouer avec le réseau, pour l'entraîner et pour effectuer l'inférence sur un ensemble de données particulier afin de construire une intuition à ce sujet sans passer six mois sans aucune intuition.

Oui, et aussi les cadres de pensée systématiques sur la manière de construire un apprentissage automatique pratique. Quand nous apprenons à coder, nous devons apprendre la syntaxe d'un langage de programmation. Mais une partie tout aussi importante du codage est de comprendre comment agencer ces lignes de code en un ensemble cohérent.

Quand j'étais étudiant de premier cycle à Carnegie Mellon, l'un de mes amis déboguait son code en essayant d'abord de le compiler. Chaque ligne présentant une erreur de syntaxe, il la supprimait simplement. C'était très efficace pour se débarrasser des erreurs de syntaxe, mais c'était une stratégie de débogage horrible.

Je pense qu'en apprentissage automatique, la façon dont on débogue un programme d'apprentissage automatique est très différente de la façon dont on utilise un débogueur pour tracer le code en ingénierie logicielle traditionnelle. Les personnes qui sont vraiment douées pour déboguer des algorithmes d'apprentissage automatique sont facilement 10 fois, peut-être 100 fois plus rapides pour faire fonctionner quelque chose.

Et le processus de base du débogage consiste à se demander pourquoi cette chose ne s'améliore pas, ce qui renvoie aux questions de surapprentissage et à tout ce genre de choses.

La question est : pourquoi cela ne fonctionne-t-il pas encore et quelles sont les choses que je pourrais essayer ? Changer l'architecture, plus de données, plus de régularisation, un algorithme d'optimisation différent, différents types de données. Répondre systématiquement à ces questions afin de ne pas passer six mois dans une impasse.

Quels sont les concepts de l'apprentissage profond avec lesquels vous pensez que les étudiants ont le plus de mal ?

Comme pour l'apprentissage des mathématiques, je pense que l'un des défis de l'apprentissage profond est qu'il y a beaucoup de concepts qui s'appuient les uns sur les autres. Dans la spécialisation en apprentissage profond, nous essayons de décomposer les concepts pour maximiser les chances que chaque composant soit compréhensible. Ainsi, lorsque vous passez aux choses plus avancées comme les ConvNets, vous avez, espérons-le, suffisamment d'intuitions acquises dans les sections précédentes pour comprendre ensuite pourquoi nous les structurons d'une certaine manière et enfin pourquoi nous construisons des RNN ou des modèles d'attention en nous basant sur les concepts précédents.

Je suis curieux, puisque vous enseignez beaucoup vous aussi, avez-vous un moment préféré où les étudiants trouvent un concept difficile ?

J'enseigne toujours l'apprentissage par renforcement dans l'un de mes cours à Stanford et ma thèse de doctorat portait sur ce sujet, donc j'adore clairement ce domaine. Je trouve que si j'essaie d'enseigner aux étudiants les techniques les plus utiles qu'ils peuvent utiliser aujourd'hui, je finis par réduire le temps que je consacre à l'apprentissage par renforcement. Ce n'est pas ce qui fonctionne aujourd'hui. Mais si on regarde cela en pourcentage de l'impact global, du moins aujourd'hui, en dehors des jeux vidéo, il n'y a pas encore beaucoup de grands exemples probants.

Ce qui est triste, c'est qu'il n'y a pas eu d'application réelle et percutante de l'apprentissage par renforcement. Son plus grand impact a été dans le domaine des jeux et des simulations. Se concentrer sur les fondamentaux de l'apprentissage supervisé dans le contexte d'un ensemble de données simples est la bonne voie à suivre. Le plaisir que j'ai vu les gens prendre avec l'apprentissage par renforcement a été formidable, mais pas dans l'impact appliqué sur le monde réel. C'est un compromis entre l'impact que vous voulez avoir et le plaisir que vous voulez prendre.

L'apprentissage profond est passionnant, mais les équipes d'IA ne devraient pas se contenter de l'utiliser. Mes équipes utilisent un éventail d'outils. Certains jours, nous utilisons un réseau de neurones, d'autres une ACP, d'autres encore un modèle graphique probabiliste et parfois un graphe de connaissances, qui a un impact industriel considérable. Je pense que l'apprentissage par renforcement devrait faire partie de cet éventail et il s'agit d'équilibrer l'enseignement de toutes ces choses.

Quelle est pour vous l'idée la plus belle, la plus surprenante ou la plus inspirante de l'apprentissage profond ? Est-ce la performance qui peut être atteinte grâce à l'échelle ou y a-t-il d'autres idées ?

Si mon seul travail consistait à être un chercheur universitaire et que je me concentrais uniquement sur l'impact à long terme, je passerais probablement tout mon temps à faire des recherches sur l'apprentissage non supervisé. Je pense toujours que l'apprentissage non supervisé est une idée magnifique. Lors du dernier NeurIPS, j'écoutais divers exposés sur l'apprentissage auto-supervisé, qui est un segment de l'apprentissage non supervisé qui me passionne.

Veuillez le décrire.

Voici un exemple d'apprentissage auto-supervisé. Disons que nous récupérons beaucoup d'images non étiquetées sur Internet. Je vais prendre chaque image et la faire pivoter d'un multiple aléatoire de 90 degrés. Ensuite, je vais entraîner un réseau neuronal supervisé pour prédire quelle était l'orientation d'origine. Vous pouvez générer une quantité infinie de données étiquetées parce que c'est vous qui avez fait pivoter l'image, vous connaissez donc l'étiquette réelle. De nombreux groupes font un travail passionnant et je pense que c'est un moyen de générer des données étiquetées à l'infini. Je trouve que c'est un aspect très excitant de l'apprentissage non supervisé.

Donc, à long terme, vous pensez que cela va débloquer beaucoup de puissance dans les systèmes d'apprentissage automatique ?

Je pense que cet élément, l'apprentissage auto-supervisé, commence à gagner du terrain. Les plongements de mots sont déjà très utiles, mais je pense que nous nous rapprochons d'un impact réel significatif dans la vision par ordinateur et la vidéo. Il y aura d'autres concepts autour de cela. Nous reviendrons aux fondamentaux de l'apprentissage de représentation qui a réellement lancé ce mouvement de l'apprentissage profond.

Je pense qu'il y a beaucoup plus de travail que l'on pourrait explorer autour de ce thème.

Si nous pouvions revenir aux spécificités de la spécialisation en apprentissage profond, combien de temps faut-il pour terminer le cours ?

La durée officielle de la spécialisation en apprentissage profond est d'environ quatre mois, mais c'est à votre propre rythme. Certaines personnes l'ont terminée en moins d'un mois en travaillant intensément. Lorsque nous avons créé la spécialisation en apprentissage profond, nous voulions la rendre très accessible et abordable. Si pour quelqu'un, payer quoi que ce soit constitue une difficulté financière, il peut demander une aide financière et l'obtenir gratuitement.

Que recommanderiez-vous comme emploi du temps quotidien pour les personnes en plein apprentissage ?

Prendre l'habitude d'apprendre est essentiel, et cela signifie de la régularité. Nous envoyons une newsletter hebdomadaire tous les mercredis, afin que les gens sachent qu'ils peuvent passer un peu de temps le mercredi à rattraper leur retard. J'ai pris l'habitude de passer du temps chaque samedi et chaque dimanche à étudier. Je n'ai pas à prendre de décision car c'est tout simplement ce que je fais. Le fait que ce soit une habitude facilite les choses. Si quelqu'un peut prendre cette habitude, c'est comme se brosser les dents tous les matins.

Dans ma propre vie, je me force à jouer de la guitare tous les jours pendant au moins cinq minutes. C'est une période de temps ridiculement courte, mais parce que j'ai pris cette habitude, c'est incroyable ce que l'on peut accomplir en un an ou deux. Cela finit par s'accumuler.

Il ne s'agit souvent pas de sursauts d'efforts soutenus et de nuits blanches. C'est l'effort soutenu sur une longue période. Lire deux articles de recherche par semaine pendant un an signifie que vous avez lu cent articles et que vous apprenez énormément.

Avez-vous d'autres conseils d'étude généraux pour l'apprentissage profond que les gens devraient utiliser pendant leur apprentissage ?

Une chose que je fais encore quand j'essaie d'étudier quelque chose de très profond, c'est de prendre des notes manuscrites. Je sais que cela ne fonctionne pas pour tout le monde, mais quand je suis des cours sur Coursera, je sors toujours mon petit carnet et je note ce que l'instructeur dit. Cet acte de prendre des notes, de préférence à la main, augmente la rétention.

Donc, pendant que vous regardez la vidéo, vous faites une pause et vous notez les informations de base sur papier ?

L'écriture manuscrite est plus lente, elle vous oblige donc à recoder les connaissances dans vos propres mots et ce processus de recodage favorise la rétention à long terme. Comme vous ne pouvez pas écrire autant de mots, vous devez prendre ce qu'ils ont dit et le résumer en moins de mots. Ce processus de résumé nécessite un traitement plus approfondi du sens.

Je me demande si c'est aussi simple que le fait que le temps nécessaire pour écrire soit plus long.

J'ai passé énormément de temps à étudier la pédagogie parce que j'aime vraiment apprendre comment aider plus efficacement les autres à apprendre. Lors de la création de vidéos, j'essaie de me demander si une minute passée avec nous sera une expérience d'apprentissage plus efficace qu'une minute passée n'importe où ailleurs. Lors du montage, je dis souvent à mon équipe que chaque mot doit se battre pour sa survie.

C'est incroyable que vous pensiez ainsi parce que des millions de personnes sont touchées par votre enseignement. Comment fait-on carrière à partir d'un intérêt pour l'apprentissage profond ?

La chose la plus importante est de commencer. Au début d'une carrière, des cours comme la spécialisation en apprentissage profond sont un moyen très efficace de maîtriser ce sujet. En fait, certains de mes étudiants en doctorat veulent se lancer immédiatement dans la recherche et je leur dis de consacrer du temps à suivre des cours parce que cela pose des bases.

Au-delà d'un certain point, il existe des supports qui n'existent pas dans les cours. Après avoir épuisé les cours, la plupart des gens doivent travailler sur des projets et aussi poursuivre leur apprentissage en lisant des articles de blog et des articles de recherche. Réaliser des projets est vraiment important. Il est important de commencer petit et de simplement faire quelque chose. Faire votre propre projet de loisir amusant est la façon dont vous acquérez les compétences qui vous permettront de réaliser des projets de plus en plus importants.

Faire de petits pas est la clé. Les étudiants devraient-ils poursuivre un doctorat ? On peut avoir tellement d'impact avec l'apprentissage automatique sans jamais obtenir de doctorat. Qu'en pensez-vous ?

Il existe plusieurs bonnes options dont faire un doctorat pourrait être l'une d'entre elles. Si quelqu'un obtient un emploi dans une équipe d'IA de premier plan, je pense que c'est aussi une très bonne expérience. Il y a certaines choses pour lesquelles un doctorat est encore nécessaire, par exemple si l'aspiration de quelqu'un est d'être professeur dans une université de premier plan. Mais si votre objectif est de créer une entreprise ou de faire un excellent travail technique, un doctorat est une bonne expérience, mais je pèserais le pour et le contre de toutes les options.

Quels rêves et objectifs finaux pensez-vous que les gens devraient avoir ? On peut travailler dans l'industrie pour une grande entreprise, ou dans des groupes de recherche comme Google Brain. On peut aussi être professeur dans le milieu universitaire ou créer sa propre entreprise. Y a-t-il quelque chose qui se démarque parmi ces options ?

Je pense que la chose qui affecte le plus votre expérience est la personne avec qui vous interagissez quotidiennement. Même dans les grandes entreprises, l'expérience des individus dans différentes équipes est très différente. Ce qui compte le plus, ce sont les personnes avec qui vous interagissez chaque jour. Nous sommes des créatures sociales et nous avons tendance à devenir plus semblables aux personnes qui nous entourent. Si vous travaillez avec des gens formidables, vous apprendrez plus vite. Je conseille d'ailleurs aux gens, s'ils obtiennent un emploi dans une entreprise, de demander qui seront leur manager et leurs pairs.

C'est un conseil profond que nous n'envisageons parfois pas rigoureusement. Ce n'est pas le logo sur le mur qui compte, ce sont les gens. C'est un problème de recherche difficile.

Quand quelqu'un passe un entretien dans une université ou une grande entreprise, il est bon d'insister pour demander qui sont les gens. S'ils refusent de vous le dire, c'est une réponse inquiétante. Si vous n'avez pas d'atomes crochus avec les gens, c'est un signal important à prendre en compte. Dans mon cours à Stanford ainsi que lors d'une conférence ACM, j'ai donné un exposé d'une heure sur les conseils de carrière, y compris sur le processus de recherche d'emploi, les gens peuvent donc trouver ces vidéos en ligne.

L'AI Fund aide les startups d'IA à décoller. Quel est votre conseil sur la manière de construire une startup d'IA réussie ?

Dans la Silicon Valley, beaucoup d'échecs de startups proviennent de la construction d'un produit dont personne ne voulait. J'ai tendance à être très axé sur les résultats et obsédé par le client. En fin de compte, ce n'est pas nous qui votons pour notre réussite ou notre échec, seul le client le fait sur le long terme.

Ainsi, au fur et à mesure que vous construisez une startup, vous devez constamment vous poser la question : le client donnera-t-il son approbation ?

Je le pense. Les startups obsédées par le client et qui le comprennent profondément ont plus de chances de réussir. Je pense que nous ne devrions tous faire que des choses qui, selon nous, créent un bien social et font avancer le monde. Personnellement, je ne veux pas construire de produits numériques addictifs juste pour vendre des publicités. Mais si nous pouvons trouver des moyens de servir les gens de manière significative, cela peut être une excellente chose.

Pouvez-vous me donner l'idée de pourquoi vous avez lancé l'AI Fund ?

Quand je dirigeais le groupe IA chez Baidu, je devais lancer systématiquement de nouvelles lignes d'activité en utilisant les capacités d'IA de l'entreprise. L'équipe de voitures autonomes et l'équipe de haut-parleurs intelligents sont sorties de mon groupe. J'ai trouvé que c'était la partie la plus amusante de mon travail. J'ai voulu créer l'AI Fund en tant que studio de startups pour créer systématiquement de nouvelles startups à partir de zéro.

La capacité de former de nouvelles équipes pour exploiter ce vaste champ d'opportunités est un mécanisme très important pour mener à bien ces projets. Un studio de startups est un concept relativement nouveau, mais j'ai l'impression que de nombreuses équipes cherchent encore à comprendre comment construire systématiquement des entreprises avec un taux de réussite élevé. Je trouve fascinant de chercher les mécanismes par lesquels nous pourrions construire systématiquement des équipes performantes dans des domaines que nous jugeons significatifs.

Un studio de startups est donc un lieu et un mécanisme permettant aux startups de passer de zéro au succès en développant un plan directeur.

C'est un endroit où nous construisons des startups à partir de zéro. Nous faisons souvent venir des fondateurs et travaillons avec eux, ou nous associons des fondateurs à des idées existantes, puis cela se transforme en entreprises prospères.

À quel point êtes-vous proche de trouver un moyen d'automatiser le processus de création à partir de zéro d'une startup d'IA réussie ?

Nous avons constamment amélioré et itéré nos processus. Combien d'appels clients devons-nous passer pour obtenir une validation ? Comment s'assurer que la technologie peut être construite ? Une grande partie de nos entreprises nécessite des algorithmes d'apprentissage automatique de pointe développés au cours des deux dernières années. Nous sommes en fait devenus bien meilleurs pour donner aux entrepreneurs un taux de réussite élevé.

Pensez-vous qu'il y a certains aspects de ce processus qui sont transférables d'une startup à une autre ?

Tout à fait. Créer une entreprise est, pour la plupart des entrepreneurs, une chose vraiment solitaire et j'ai vu tellement d'entrepreneurs ne pas savoir comment prendre certaines décisions. Il y a des centaines de décisions que les entrepreneurs doivent prendre et faire une erreur dans quelques décisions clés peut avoir un impact énorme sur le sort de l'entreprise. Un studio de startups offre la structure de soutien qui fait de la création d'une entreprise une expérience beaucoup moins solitaire.

Il y a donc quelqu'un avec qui échanger des idées lors de ces points de décision très difficiles.

Et aussi pour les aider à reconnaître ce qu'ils ne réalisent peut-être même pas comme étant un point de décision clé.

Créer des entreprises est une chose, mais il est vraiment important que nous créions des entreprises qui font avancer le monde. Au sein de l'équipe de l'AI Fund, il y a eu une fois une idée pour une nouvelle entreprise qui, si elle avait réussi, aurait conduit les gens à regarder beaucoup plus de vidéos dans un certain segment étroit. J'ai tué l'idée en partant du principe que je ne pensais pas qu'elle aiderait réellement les gens. C'est à chacun de nous de déterminer la différence qu'il veut faire dans le monde.

Avec Landing AI, vous aidez des entreprises déjà établies à développer leurs efforts en matière d'IA. Comment une grande entreprise intègre-t-elle l'apprentissage automatique ?

L'IA est une technologie à usage général et elle transformera tous les secteurs. Notre communauté a déjà transformé le secteur de l'Internet logiciel. Mais quand je regarde en dehors de ce secteur, il y a tellement d'opportunités sur lesquelles très peu de gens travaillent. La prochaine vague de l'IA consiste à transformer toutes ces autres industries. Une grande partie de cet impact se fera en dehors du secteur de l'Internet logiciel.

Quels sont les secteurs les plus importants où l'IA peut aider en dehors du secteur de la technologie logicielle ?

Franchement, je pense que ce sont tous. Certains de ceux sur lesquels je passe beaucoup de temps sont l'industrie manufacturière, l'agriculture et la santé. Dans l'industrie manufacturière, nous faisons beaucoup de travail d'inspection visuelle où aujourd'hui des gens utilisent l'œil humain pour vérifier si une pièce présente une rayure. Nous pouvons utiliser une caméra et l'apprentissage profond pour vérifier si elle est défectueuse et aider les usines à améliorer la qualité et le rendement.

Il s'avère que les problèmes pratiques auxquels nous sommes confrontés sont très différents de ceux que l'on peut lire dans la plupart des articles de recherche. Nous sommes confrontés à des problèmes de petites données. Les usines changent constamment d'environnement, donc cela fonctionne bien sur votre ensemble de test, puis quelque chose change dans l'usine. Je trouve que nous rencontrons beaucoup de problèmes pratiques qui ne sont pas aussi largement discutés dans le milieu universitaire.

Quelle est la première étape qu'une entreprise devrait franchir pour numériser ce processus ?

J'ai publié en ligne un document intitulé l'AI Transformation Playbook. La première étape est de commencer petit. J'ai vu beaucoup plus d'entreprises échouer en commençant trop grand qu'en commençant trop petit. Quand j'ai lancé Google Brain, c'était controversé. Mon premier client interne chez Google a été l'équipe Google Speech, qui n'est pas le projet le plus important de Google. En commençant petit, mon équipe a aidé l'équipe Speech à construire un système de reconnaissance vocale plus précis. Cela a permis aux autres équipes d'avoir plus confiance en l'apprentissage profond.

Il y a donc un effet d'entraînement où vous montrez que cela fonctionne et ensuite cela se propage dans toute l'entreprise.

Les premiers projets à petite échelle aident les équipes à gagner la confiance et à apprendre ce que font ces technologies. Notre premier serveur GPU était un serveur sous le bureau d'un gars, et cela nous a appris les premières leçons sur la façon dont plusieurs utilisateurs partagent un ensemble de GPU. Ces premières leçons étaient importantes et ont aidé les équipes à réfléchir à la manière de passer à des déploiements beaucoup plus importants.

Y a-t-il des défis concrets auxquels les entreprises sont confrontées ?

Construire et déployer des systèmes d'apprentissage automatique est difficile. Il y a un fossé énorme entre quelque chose qui fonctionne dans un notebook Jupyter et quelque chose qui tourne dans un environnement de production. Beaucoup d'équipes sous-estiment le reste des étapes nécessaires. J'ai entendu cette conversation entre des spécialistes de l'apprentissage automatique et des gens du business. Le spécialiste dit que l'algorithme réussit bien sur l'ensemble de test, et la personne du business dit que ça ne marche pas.

Il y a un fossé entre ce qu'il faut pour bien réussir sur un ensemble de test et ce qu'il faut pour bien fonctionner dans un cadre de déploiement. Vous déployez quelque chose dans une usine et l'éclairage peut changer, donc la distribution de l'ensemble de test est radicalement différente. Nous ne sommes vraiment pas doués pour cela. Le modèle d'apprentissage automatique représente peut-être 5 % ou même moins par rapport à l'ensemble du système logiciel que vous devez construire.

Un bon travail d'ingénierie logicielle est donc fondamental ici pour construire un système d'apprentissage automatique réussi.

Le système logiciel doit s'interfacer avec les flux de travail des gens. L'apprentissage automatique est l'automatisation sous stéroïdes. Si nous prenons une tâche parmi tant d'autres effectuées dans une usine, comme l'inspection visuelle, et que nous l'automatisons, cela peut être très précieux, mais vous devrez peut-être repenser les autres tâches autour d'elle. Par exemple, si l'algorithme d'apprentissage automatique identifie un défaut, vous devez décider s'il faut le jeter, demander à un humain de revérifier ou le retravailler.

Vous devez repenser les tâches autour du processus automatisé, planifier la gestion du changement, vous assurer que le logiciel est cohérent avec le nouveau flux de travail et prendre le temps d'expliquer le processus aux gens. Landing AI est devenu doué pour travailler avec nos partenaires afin de réfléchir à toutes les choses au-delà du simple modèle d'apprentissage automatique tournant dans un notebook Jupyter pour construire le système entier, gérer le processus de changement et le déployer de manière à avoir un impact final réel.

Vous avez mentionné que certaines personnes sont intéressées par la découverte de la beauté mathématique et que vous êtes intéressé par un impact positif majeur. Depuis Alan Turing, les gens rêvent de créer une intelligence de niveau humain. Est-ce quelque chose dont vous rêvez ?

J'adorerais parvenir à l'IAG et je pense que l'humanité y parviendra, mais qu'il faille 100 ans ou 5 000 ans, j'ai du mal à l'estimer.

Avez-vous des inquiétudes quant aux trajectoires que ce chemin prendrait, voire des menaces existentielles liées à un système d'IAG ?

Je m'inquiète du sort à long terme de l'humanité et de la surpopulation sur Mars, mais pas aujourd'hui. Un jour, dans le futur, Mars sera peut-être polluée, des enfants mourront peut-être, et quelqu'un regardera cette vidéo et me traitera de sans-cœur pour ne pas m'en être soucié. Je me soucie des enfants, mais je ne sais tout simplement pas comment travailler de manière productive là-dessus aujourd'hui.

Y a-t-il quelque chose à court terme auquel nous devrions réfléchir pour aligner les valeurs de nos systèmes d'IA avec les valeurs humaines ? Stuart Russell et d'autres y réfléchissent à mesure que les systèmes se développent ; nous voulons nous assurer que l'IA représente les meilleurs aspects de notre nature, l'éthique et les valeurs de notre société.

Si vous prenez les voitures autonomes, le plus gros problème n'est pas qu'il existe un dilemme du tramway. Les voitures autonomes seront confrontées à ce problème à peu près aussi souvent que nous lorsque nous conduisons nos voitures. Le plus gros problème avec les voitures autonomes est lorsqu'il y a un gros camion blanc en travers de la route et que la voiture autonome échoue et s'écrase dedans. Nous devons d'abord résoudre ce problème.

Les discussions sur l'alignement de l'IAG sont une distraction énorme par rapport aux problèmes beaucoup plus difficiles que nous devons réellement aborder aujourd'hui. Le biais est un problème énorme. Je m'inquiète des inégalités de richesse. L'IA et Internet provoquent une accélération de la concentration du pouvoir parce que nous pouvons centraliser les données et utiliser l'IA pour les traiter dans chaque secteur. L'industrie d'Internet a une dynamique où le gagnant rafle tout ou presque, et nous donnons ces mêmes caractéristiques aux autres industries.

Nous créons une richesse immense, mais comment s'assurer que cette richesse est partagée équitablement ? Comment aider les personnes dont les emplois sont supprimés ? Les utilisations malveillantes de l'IA comme les deepfakes sont utilisées à des fins néfastes. Je crains que certaines équipes ne fassent accidentellement beaucoup de bruit autour de problèmes dans un futur lointain au lieu de se concentrer sur certains des problèmes beaucoup plus difficiles.

Ils éclipsent les problèmes que nous avons déjà aujourd'hui et qui sont exceptionnellement difficiles. S'attaquer aux problèmes difficiles auxquels nous sommes confrontés n'est pas aussi amusant que de parler de la façon dont on promet de ne pas anéantir l'humanité.

Votre vie a été un grand voyage. Y a-t-il des regrets, des moments que vous feriez différemment ? Y a-t-il des moments dont vous êtes particulièrement fier et qui vous ont rendu vraiment heureux ?

J'ai fait beaucoup d'erreurs. Chaque fois que je découvre quelque chose, je me demande pourquoi je n'y ai pas pensé cinq ou dix ans plus tôt. Parfois je lis un livre et j'aimerais l'avoir lu il y a dix ans ; ma vie aurait été si différente. J'ai récemment pensé que si j'avais lu un certain livre en lançant Coursera, cela aurait été bien mieux, mais j'ai réalisé ensuite que le livre n'avait pas encore été écrit. Le processus de découverte consiste à trouver des choses qui semblent évidentes avec le recul, mais il faut toujours plus de temps que je ne le souhaiterais pour les comprendre.

Y a-t-il des moments de votre vie dont vous êtes particulièrement proud ou qui vous ont comblé de bonheur et de satisfaction ?

L'un d'eux est ma fille Nova. Peu importe le temps que je passe avec elle, je n'en passe jamais assez.

Félicitations, au fait.

Merci. La deuxième chose est d'aider les autres. Je pense que le sens de la vie est d'aider les autres à réaliser leurs rêves et de faire avancer le monde en rendant l'humanité plus puissante dans son ensemble. Les moments où je me suis senti le plus heureux et le plus fier ont été ceux où quelqu'un m'a donné la chance de l'aider sur le chemin de ses rêves.

Il n'y a pas de meilleure façon de terminer. Andrew, c'est un immense honneur. Des millions de personnes vous remercient pour tout le travail que vous avez accompli.

Merci beaucoup, Lex.

Merci d'avoir écouté cette conversation avec Andrew Ng. Et merci à notre sponsor présentateur, Cash App. Utilisez le code LexPodcast et 10 $ iront à FIRST, une organisation qui inspire et éduque les jeunes esprits. Si vous appréciez ce podcast, abonnez-vous sur YouTube et connectez-vous simplement avec moi sur Twitter à LexFridman. Je vous laisse avec des paroles de sagesse d'Andrew Ng : Demandez-vous si ce sur quoi vous travaillez réussit au-delà de vos rêves les plus fous, auriez-vous aidé les autres de manière significative ? Sinon, continuez à chercher autre chose sur quoi travailler. Merci de votre écoute et au plaisir de vous revoir la prochaine fois.