Parlons peut-être d'abord de chacun de ces domaines, deeplearning.ai. La question de base : comment une personne intéressée par le deep learning peut-elle débuter dans ce domaine ?

Deeplearning.ai s'efforce de créer des cours pour aider les gens à percer dans l'IA. Mon cours sur le machine learning que j'ai enseigné à Stanford reste l'un des cours les plus populaires sur Coursera.

À ce jour, c'est probablement l'un des cours pour lesquels, si je demande à quelqu'un comment il s'est lancé dans le machine learning ou comment il en est tombé amoureux, cela revient toujours à Andrew Ng. Vous avez influencé un nombre incroyable de personnes. Pour cela, je suis sûr de parler au nom de beaucoup en vous disant un grand merci.

Merci. Je lisais un jour un article de presse, je crois que c'était Tech Review, qui disait que près d'un tiers de tous les programmeurs sont autodidactes. Je me trompe peut-être sur le chiffre, mais quand j'ai lu cela, j'ai pensé : "Tout le monde est autodidacte". On apprend par soi-même ; je n'enseigne pas aux gens, je me contente de...

C'est bien dit.

Comment débuter dans le deep learning, et comment deeplearning.ai s'inscrit-il là-dedans ?

La spécialisation Deep Learning proposée par deeplearning.ai était la spécialisation la plus prisée de Coursera. C'est un moyen très populaire d'apprendre tout, des réseaux de neurones au réglage, en passant par les ConvNets, les RNN et les modèles d'attention. Elle guide tout le monde à travers ces algorithmes afin que vous puissiez les comprendre en profondeur et les mettre en œuvre pour n'importe quelle application.

Depuis le tout début ? Selon vous, quels sont les prérequis pour la spécialisation Deep Learning en termes de bagage mathématique ou de programmation ?

Il faut comprendre les bases de la programmation car il y a des exercices en Python. Le prérequis en mathématiques est assez basique ; aucun calcul différentiel ou intégral n'est nécessaire. Si vous connaissez le calcul, c'est très bien pour de meilleures intuitions, mais nous avons délibérément essayé de l'enseigner sans l'exiger. Le niveau mathématique du lycée est suffisant. Si vous savez multiplier deux matrices, c'est parfait.

Un peu d'algèbre linéaire de base, c'est très bien.

De l'algèbre linéaire de base et un peu de programmation. Les personnes ayant suivi le cours de machine learning trouveront la spécialisation Deep Learning plus facile, mais il est possible d'y accéder directement. Ce sera juste un peu plus difficile car nous passons plus rapidement sur des concepts comme la descente de gradient et les fonctions objectives.

Pourriez-vous mentionner brièvement certains des concepts clés du deep learning que les étudiants devraient apprendre au cours de leur première année ?

Dans la spécialisation Deep Learning, vous apprenez les bases des réseaux de neurones, comment les construire à partir d'unités logistiques simples jusqu'à des empilements de couches, et les différentes fonctions d'activation. Vous apprenez à les entraîner. Je suis fier que nous couvrions beaucoup de savoir-faire pratique, comme les algorithmes d'optimisation, la gestion du surapprentissage et le moment où il faut collecter plus de données. De nombreux ingénieurs passent des mois dans la mauvaise direction ; nous fournissons les compétences pour être efficace.

Plongez directement pour jouer avec le réseau, l'entraîner et forger votre intuition sans construire quelque chose de si grand que vous passeriez des mois sans comprendre les petits aspects des données.

Oui, et aussi des cadres systématiques pour construire du machine learning pratique. Par exemple, en codage, il faut comprendre comment enchaîner les lignes de code, pas seulement la syntaxe. Je me souviens d'un ami à Carnegie Mellon qui déboguait en supprimant chaque ligne comportant une erreur de syntaxe. C'était efficace pour éliminer les erreurs, mais c'était une stratégie horrible. En machine learning, le débogage est différent ; ceux qui y sont bons sont 10 à 100 fois plus rapides pour faire fonctionner quelque chose.

Le processus de base du débogage implique des questions telles que "pourquoi cette chose n'apprend-elle pas ?" et le traitement du surapprentissage. C'est l'espace logique pour le débogage des réseaux de neurones.

Souvent, la question est : "Pourquoi cela ne fonctionne-t-il pas encore ?" ou "Puis-je m'attendre à ce que cela finisse par fonctionner ?" et de décider s'il faut changer l'architecture, ajouter des données ou utiliser une optimisation différente. Répondre à ces questions de manière systématique vous évite de passer six mois dans une impasse.

Sur quels concepts les étudiants ont-ils le plus de mal, ou quel est le plus grand défi qui les inspire une fois surmonté ?

Comme les mathématiques, le deep learning repose sur des concepts qui se construisent les uns sur les autres. Si vous manquez un prérequis, vous aurez des difficultés plus tard. Dans la spécialisation, nous décomposons les concepts pour maximiser la compréhension. Lorsque vous passez à des sujets avancés comme les ConvNets ou les RNN, vous avez l'intuition des sections précédentes pour comprendre pourquoi ils sont structurés de cette façon.

En fait, vous enseignez beaucoup aussi. Avez-vous un moment de "concept difficile" préféré dans votre enseignement ?

Je ne pense pas que quiconque m'ait jamais retourné l'interview ! Je pense qu'il y a des moments de déclic qui inspirent les gens. Pour une raison quelconque, l'apprentissage par renforcement est un excellent moyen d'inspirer les gens et de montrer ce que les réseaux de neurones peuvent faire. C'est une belle façon de brosser le tableau d'un réseau apprenant à partir de zéro. Trouvez-vous que l'apprentissage par renforcement est une partie utile du processus d'enseignement ?

J'enseigne toujours l'apprentissage par renforcement à Stanford, et ma thèse de doctorat portait sur ce sujet, donc j'adore ce domaine. Cependant, si j'enseigne les techniques les plus utiles aujourd'hui, je réduis le temps que j'y consacre. Ce n'est pas ce qui fonctionne le plus largement aujourd'hui. Il nous faut encore quelques éléments pour en arriver là.

C'est vrai.

J'adore clairement ce domaine. Je trouve que si j'essaie d'enseigner aux étudiants les techniques les plus utiles pour eux aujourd'hui, je finis par réduire le temps que je consacre à parler de l'apprentissage par renforcement.

Intéressant.

Ce n'est pas ce qui fonctionne aujourd'hui. Notre monde change si vite ; peut-être que ce sera totalement différent dans quelques années. Mais je pense qu'il nous faut encore quelques éléments pour que l'apprentissage par renforcement y parvienne.

Pour y arriver vraiment, oui.

L'une de mes équipes étudie le RL pour le contrôle robotique, il y a donc des applications. Mais comparé à l'impact global de ce que nous faisons, la portée est limitée aujourd'hui, en dehors des jeux. Même parmi les chercheurs seniors, il n'y a pas encore beaucoup de bons exemples d'applications RL déployées.

Je pense que vous avez tout à fait raison. Il n'y a pas eu de grande application concrète et percutante de l'apprentissage par renforcement. Son plus grand impact a été dans le domaine des jouets, des jeux et de petits exemples. À des fins éducatives, c'est amusant d'explorer les réseaux de neurones avec. Mais si vous essayez d'illustrer un impact réel à grande échelle, se concentrer sur les fondamentaux de l'apprentissage supervisé avec des ensembles de données comme MNIST est probablement la bonne voie. C'est un compromis entre impact et plaisir.

Le monde a besoin de toutes sortes de compétences. Le deep learning est passionnant, mais les équipes d'IA ne devraient pas se contenter de l'utiliser. Mes équipes utilisent un portefeuille d'outils tels que la PCA, les modèles graphiques probabilistes et les graphes de connaissances. Les graphes de connaissances ont un impact industriel énorme mais peu de discussions académiques. Le RL devrait faire partie de ce portefeuille, mais nous devons équilibrer des compétences diverses.

Des compétences diversifiées vous aident à découvrir l'outil adapté à la tâche. Combien de temps faut-il pour terminer la spécialisation Deep Learning ?

La durée officielle est d'environ 16 semaines, soit quatre mois, mais chacun va à son rythme. Certaines personnes terminent en moins d'un mois. Nous voulions le rendre accessible et abordable. Si payer est une difficulté, les gens peuvent demander une aide financière et l'obtenir gratuitement.

Quel emploi du temps quotidien recommanderiez-vous à quelqu'un qui apprend le deep learning ?

La régularité est la clé. Par exemple, nous envoyons notre newsletter, The Batch, tous les mercredis pour que les gens puissent rester informés. J'ai pris l'habitude d'étudier tous les samedis et dimanches. En faire une habitude supprime la charge cognitive liée à la prise de décision. C'est aussi pour cela que je porte la même chemise bleue tous les jours. La constance rend l'étude plus facile.

C'est incroyable ; dans ma propre vie, je joue de la guitare tous les jours pendant au moins cinq minutes. C'est peu de temps, mais sur un an ou deux, on devient exceptionnellement bon. C'est un miracle de voir comment cela s'accumule.

Il ne s'agit pas de pics d'effort ou de nuits blanches ; c'est un effort soutenu dans le temps. Lire deux documents de recherche par semaine pendant un an signifie que vous avez lu une centaine d'articles, et vous apprenez énormément de cela.

Régularité et habitude. Avez-vous d'autres conseils d'étude pour le deep learning ?

Je prends toujours des notes manuscrites lorsque je veux étudier quelque chose en profondeur. Prendre des notes à la main, bien que plus lent, vous oblige à recoder les connaissances avec vos propres mots, ce qui favorise la mémorisation à long terme par rapport à la dactylographie mot à mot.

Ainsi, pendant que vous regardez la vidéo, vous faites une pause et vous notez les points essentiels sur papier ?

Oui. Des études montrent que l'écriture manuscrite, parce qu'elle est plus lente, nécessite un traitement et une synthèse plus approfondis, ce qui permet une meilleure mémorisation que la dactylographie.

Je ne sais pas quel est l'effet psychologique, mais c'est tellement vrai. Il y a quelque chose de fondamentalement différent dans l'écriture, l'écriture manuscrite. Je me demande ce que c'est. Je me demande si c'est aussi simple que le temps nécessaire pour écrire qui est plus long.

Comme vous ne pouvez pas écrire autant de mots, vous devez prendre ce qui a été dit et le résumer en moins de mots. Ce processus de synthèse nécessite un traitement plus approfondi du sens, ce qui permet une meilleure mémorisation.

C'est fascinant. Grâce à Coursera, j'ai passé tellement de temps à étudier la pédagogie ; c'est l'une de mes passions. J'aime vraiment apprendre comment aider les autres à apprendre plus efficacement. L'une des choses que je fais — que ce soit lors de la création de vidéos ou de la rédaction de The Batch — est d'essayer de m'assurer que chaque minute passée est une expérience d'apprentissage efficace. Nous essayons de rendre cela efficace en termes de temps parce que tout le monde est occupé. Lors du montage, je dis à mes équipes que chaque mot doit se battre pour sa survie. Si nous pouvons supprimer un mot, supprimons-le pour ne pas faire perdre de temps à l'apprenant.

C'est incroyable que vous pensiez ainsi, car des millions de personnes sont touchées par votre enseignement. Cette minute passée a un effet d'entraînement sur des années, ce qui est fascinant à imaginer.

Comment faire carrière dans le deep learning ? Des conseils pour ce parcours à long terme ?

Le plus important est de commencer. Les cours sont un moyen efficace de maîtriser le sujet au début. Au-delà d'un certain point, vous devriez travailler sur des projets et lire des articles de recherche. Commencez petit — même un minuscule projet comme MNIST vous aide à acquérir les compétences nécessaires pour de plus grands. C'est vrai aussi bien pour les particuliers que pour les entreprises.

Faire de petits pas est la clé. Les étudiants devraient-ils faire un doctorat ? On peut avoir un impact énorme sans jamais en obtenir un. Les gens devraient-ils aller à l'université ?

Un doctorat est une bonne option, surtout si vous êtes admis dans un programme de haut niveau ou si vous voulez devenir professeur. Mais si votre objectif est de créer une entreprise ou de faire du travail technique, pesez le pour et le contre de vos options, comme rejoindre une équipe d'IA de premier plan à la place.

Pour s'attarder là-dessus, quelles options les gens devraient-ils explorer : l'industrie, les groupes de recherche, l'université ou les startups ? Y a-t-il un parcours qui se démarque ?

Ce qui affecte le plus votre expérience, ce sont les personnes avec lesquelles vous interagissez quotidiennement. Même dans les grandes entreprises, l'équipe compte plus que le logo. Je conseille aux gens de demander qui seront leur manager et leurs pairs. Si une entreprise refuse de vous le dire, c'est un signal d'alarme. Vous voulez travailler avec des gens qui vous aideront à apprendre et à grandir.

C'est un conseil profond. Les grandes choses s'accomplissent grâce aux personnes qui vous entourent. C'est un problème de recherche de personnes, comme trouver des amis ou un partenaire.

Lorsqu'on passe un entretien dans une université, un laboratoire de recherche ou une grande entreprise, il est bon d'insister pour demander qui sont les gens et le manager. S'ils refusent de vous répondre, c'est peut-être parce qu'ils n'ont pas de bonne réponse.

Si le courant ne passe pas ou si quelque chose vous semble étrange avec les gens, ne vous y accrochez pas ; c'est un signal important à prendre en compte.

J'ai donné une conférence d'une heure sur les conseils de carrière dans mon cours à Stanford, CS230, et lors d'une conférence ACM, incluant des conseils sur le processus de recherche d'emploi. Les gens peuvent trouver ces vidéos en ligne.

Génial, j'orienterai les gens vers elles.