Vous êtes l'un des plus grands professeurs de machine learning et d'IA, du CS 231n à aujourd'hui. Quels conseils donneriez-vous aux débutants souhaitant se lancer dans le machine learning ?

Les débutants se concentrent souvent sur quoi faire, et je pense que l'accent devrait être mis davantage sur la quantité de travail effectuée. Je crois fermement, à un haut niveau, à ce concept de 10 000 heures où il faut choisir des domaines dans lesquels on peut passer du temps, qui nous tiennent à cœur et qui nous intéressent. Il faut littéralement fournir 10 000 heures de travail. Peu importe l'endroit où vous les investissez ; vous allez itérer, vous améliorer et perdre un peu de temps. Je ne sais pas s'il existe une meilleure façon de faire. Vous devez y consacrer 10 000 heures. Je pense que c'est en fait très gratifiant car j'ai le sentiment qu'il y a une forme de déterminisme dans le fait de devenir un expert dans un domaine si on y passe 10 000 heures. Vous pouvez littéralement choisir n'importe quoi, et si vous y consacrez 10 000 heures d'efforts délibérés et de travail, vous en deviendrez un expert. C'est une belle pensée. Je me concentrerais davantage sur le fait de savoir si vous passez ces 10 000 heures. C'est ce sur quoi je me concentrerais.

Réfléchir aux types de mécanismes qui maximisent vos chances d'atteindre 10 000 heures, ce qui, pour nous, pauvres humains, signifie probablement adopter l'habitude quotidienne de faire réellement la chose chaque jour.

Tout ce qui peut vous aider. Je pense que dans une large mesure, c'est un problème psychologique personnel. Une autre chose qui me semble utile pour l'aspect psychologique est que les gens se comparent souvent aux autres dans le domaine. Je pense que c'est très préjudiciable. Ne vous comparez qu'à vous-même il y a quelque temps, disons il y a un an. Êtes-vous meilleur que vous ne l'étiez il y a un an ? C'est la seule façon de penser. Je pense qu'ainsi vous pouvez voir vos progrès et c'est très motivant.

C'est tellement intéressant, cette focalisation sur la quantité d'heures. Je pense que beaucoup de gens au stade de débutant, mais en fait tout au long de leur parcours, sont paralysés par le choix. Quel chemin choisir, celui-ci ou celui-là ? Ils seront littéralement paralysés par le choix de l'IDE à utiliser.

Ils s'inquiéteront de toutes ces choses, mais vous perdrez du temps à faire quelque chose de travers. Vous finirez par comprendre que ce n'est pas correct. Vous allez accumuler du tissu cicatriciel et la prochaine fois vous serez plus fort parce que vous aurez ce tissu cicatriciel et que vous en aurez tiré des leçons. Face à une situation similaire, vous vous direz : oh, je me suis trompé. J'ai passé beaucoup de temps à travailler sur des choses qui n'ont jamais abouti à rien. J'ai tout ce tissu cicatriciel et des intuitions sur ce qui était utile, ce qui ne l'était pas et comment les choses ont tourné. Toutes ces erreurs n'étaient pas du travail inutile. Concentrez-vous sur le travail. Qu'avez-vous fait la semaine dernière ?

C'est une bonne question à poser pour beaucoup de choses, pas seulement pour le machine learning. C'est un bon moyen de supprimer le superflu, le gras et les inefficacités de la vie. Qu'est-ce que vous aimez dans l'enseignement ? Vous semblez souvent attiré par l'enseignement. Vous êtes très doué pour ça, mais vous y êtes aussi attiré.

Je ne pense pas aimer l'enseignement. J'aime les humains heureux, et les humains heureux aiment quand j'enseigne. Je ne dirais pas que je déteste enseigner. Je tolère l'enseignement, mais ce n'est pas l'acte d'enseigner que j'aime. Je me débrouille en enseignement et les gens l'apprécient beaucoup. Je suis heureux d'essayer d'être utile. L'enseignement en soi peut être vraiment agaçant et frustrant. Je travaillais sur une série de cours à l'instant même. Cela m'a rappelé l'époque de 231n et la quantité de travail nécessaire pour créer certains de ces supports et les rendre bons. La quantité d'itérations et de réflexion, les impasses rencontrées et tout ce que vous changez font que créer quelque chose de bien est vraiment difficile. Et ce n'est pas amusant.

C'est difficile. Les gens devraient absolument aller voir vos nouveaux contenus. Il y a des cours où vous construisez réellement le projet ; comme vous l'avez dit, le code est la vérité. Discuter de la rétropropagation en la construisant, en examinant l'ensemble. Est-ce difficile de s'y préparer ? Je pense que c'est une façon très puissante d'enseigner. Comment devez-vous vous préparer pour cela ou réfléchissez-vous simplement en direct ?

Je fais généralement trois prises, puis je garde la meilleure. Je fais plusieurs prises, j'en choisis quelques-unes des meilleures, puis je construis un cours de cette façon. Parfois, je dois supprimer 30 minutes de contenu parce que je me suis engagé dans une voie qui ne me plaisait pas trop. Il y a beaucoup d'itérations et il me faut probablement environ 10 heures pour créer une heure de contenu.

Pour obtenir une heure. C'est intéressant. Est-ce difficile de revenir aux bases ? Tirez-vous beaucoup de sagesse en revenant aux bases ?

Revenir à la rétropropagation et aux fonctions de perte, voir d'où elles viennent. Une chose que j'aime dans l'enseignement, c'est que cela renforce sans aucun doute votre compréhension. Ce n'est pas une activité purement altruiste ; c'est une façon d'apprendre. Si vous devez expliquer quelque chose à quelqu'un, vous réalisez que vous avez des lacunes dans vos connaissances. Je me surprends moi-même lors de ces cours. Je pense que le résultat ressemblera à ceci, et puis no, et je réalise que je pensais avoir compris cela.

C'est pourquoi c'est vraiment génial de coder littéralement. Vous l'exécutez dans un notebook et cela vous donne un résultat. Des chiffres réels, des entrées réelles, du code réel.

Oui, ce ne sont pas des symboles mathématiques. La source de vérité est le code. Ce ne sont pas des diapositives. Construisons-le.

C'est magnifique. Vous êtes un être humain rare en ce sens.