Bienvenue au podcast TWiML AI. Je suis votre hôte, Sam Charrington.

Bonjour à tous. Je suis ravi d'être en ligne avec Yoshua Bengio. Yoshua est professeur au département d'informatique et de recherche opérationnelle de l'Université de Montréal et fondateur et directeur scientifique de Mila. Yoshua, bienvenue au podcast TWiML AI.

Bonjour, c'est un plaisir d'être ici.

C'est passionnant pour moi de vous avoir en ligne. J'ai déjà dit deux fois que j'étais ravi, c'est peut-être une indication de mon enthousiasme à l'idée de discuter avec vous de votre travail. Votre nom est certainement bien connu de notre public, tout comme vos contributions à ce domaine. J'ai lu quelque part que vous êtes classé comme l'informaticien le plus cité au monde, ou l'un des plus cités.

En termes de contributions récentes, oui. Il y a des gens qui sont dans le domaine depuis plus longtemps que moi et je fais partie des vieux jeunes.

C'est bien. Et l'année dernière, vous avez reçu, avec Geoff Hinton et Yann LeCun, le prix Turing de l'ACM pour vos contributions à l'apprentissage profond et aux réseaux de neurones profonds. Pourquoi ne pas commencer par nous raconter un peu ce parcours et comment vous en êtes venu à travailler dans l'IA et sur l'apprentissage profond ? Bien sûr, nous en viendrons à ce sur quoi vous travaillez actuellement, mais commençons par vos antécédents.

L'apprentissage profond et les réseaux de neurones ont constitué l'essentiel de ma vie professionnelle. J'ai commencé à l'adolescence en lisant beaucoup de science-fiction et en me familiarisant avec la notion d'IA et de robots avec les trois lois de la robotique et des films comme 2001, l'Odyssée de l'espace. À l'université, j'ai d'abord étudié le génie informatique et électrique, puis l'informatique en maîtrise. J'ai dû choisir un sujet et, par hasard, j'ai lu certains des premiers articles sur les réseaux de neurones de personnes comme Geoff Hinton. J'ai réalisé que c'était le domaine dans lequel je voulais travailler car il s'agissait d'essayer de comprendre les principes qui expliqueraient notre propre intelligence en tant qu'humains, l'intelligence étant au cœur de ce que nous sommes, puis de construire des machines grâce à la compréhension de ces principes, de la même manière que nous comprenons comment les oiseaux volent, sans pour autant copier les oiseaux ; nous essayons de comprendre ces principes pour pouvoir construire des avions qui volent également.

Une grande partie de vos travaux récents porte sur cette idée de conscience. Quelle est la relation entre la conscience et l'intelligence ?

Très bonne question. Tout d'abord, permettez-moi de mettre les choses en perspective concernant l'apprentissage profond. Une grande partie des progrès réalisés dans l'apprentissage profond et les réseaux de neurones au cours des dernières décennies nous a aidés à construire des machines capables de très bien faire certaines des choses pour lesquelles les cerveaux sont doués, notamment la perception, la capacité de comprendre les images, les sons, etc. Mais il y a aussi des choses que les humains font avec leur cerveau, les choses dont nous sommes conscients. Lorsque vous décidez de faire quelque chose et que vous êtes capable d'expliquer ce à quoi vous pensez ou pourquoi vous faites quelque chose, ce type de capacité cognitive, associée au fait d'en être conscient, n'est pas une chose pour laquelle nous sommes doués en IA à l'heure actuelle. Certains pourraient même penser que c'est incompatible avec toutes les idées qui ont été avancées avec les réseaux de neurones et l'apprentissage profond, et que c'est plus lié à certaines des idées plus anciennes de l'IA basées sur les symboles, la logique et les systèmes experts. Mais en fait, votre cerveau est un immense réseau de neurones que nous devons mieux comprendre. La bonne nouvelle est qu'au cours des deux ou trois dernières décennies, les neuroscientifiques et les neuroscientifiques cognitifs ont fait beaucoup de progrès pour comprendre ce qui se passe dans votre cerveau lorsque vous faites quelque chose consciemment, quelles parties de votre cerveau s'activent dans quel ordre, etc. Alors que la recherche sur la conscience était presque taboue au XXe siècle, elle est devenue en ce siècle un sujet important de science sérieuse. Mes recherches se situent aujourd'hui au seuil de cette transformation où l'informatique et la recherche en IA commencent à prendre acte de ce qui a été découvert en neurosciences et tentent de reprendre certaines de ces idées pour les importer dans de nouveaux types de systèmes d'apprentissage profond qui présenteraient l'avantage d'être conscients, ce que je peux également expliquer.

L'une des façons dont vous décrivez la relation entre le type de systèmes d'apprentissage profond que nous avons aujourd'hui et ce modèle que vous envisagez comme une possibilité à mesure que nous commençons à intégrer ces idées de conscience est le Système 1 et le Système 2, tirés du livre de Daniel Kahneman, Système 1 / Système 2 : Les deux vitesses de la pensée. Peut-être pourriez-vous nous en dire plus sur ces deux systèmes différents tels qu'il les présente. Par curiosité, cela a-t-il été une source d'inspiration pour votre réflexion actuelle ou est-ce devenu une explication pratique pour ce que vous faites ?

C'est certainement une source d'inspiration. Ses travaux et ceux des psychologues et neuroscientifiques qui ont aidé à clarifier les différents types de fonctions qui se déroulent dans le cerveau m'ont vraiment aidé, ainsi que d'autres, à réfléchir à la manière dont les systèmes d'IA modernes pourraient intégrer ces éléments. Tout d'abord, en réalisant que vous avez ces deux types de capacités cognitives très différentes. Le système 1 correspond aux choses pour lesquelles l'apprentissage profond est efficace actuellement, le genre de choses que vous pouvez faire en une demi-seconde. Vous voyez une image, vous savez que c'est un chat. Vous n'avez pas besoin d'y réfléchir. Cela se fait automatiquement. En fait, vous n'avez même pas besoin d'en être conscient. Si cela se passe peut-être sur le côté ou si vous n'avez pas assez de temps, votre cerveau enregistrera que c'est un chat mais cela n'atteindra même pas votre conscience. Ces choses sont intuitives et difficiles à verbaliser. Vous ne pouvez pas expliquer pourquoi vous avez reconnu que c'était un chat. Je veux dire, vous pourriez essayer de l'expliquer, mais ce ne serait pas une bonne explication. En fait, une grande partie des échecs antérieurs de la recherche en vision par ordinateur était due au fait que nous essayions de prendre notre propre explication interne — ce qui fait un chat — et de la transformer en algorithmes. Mais ce n'était jamais très efficace car il y a une grande partie de la manière dont notre cerveau procède à laquelle nous n'avons pas accès. Tout ce qui est intuitif, qui se situe à un niveau sub-verbal, inconscient, est grosso modo le Système 1. Il existe quelques différences entre conscient, inconscient et Système 1, Système 2, mais c'est une bonne façon de comprendre les choses au premier ordre. Le système 2, au contraire, correspond aux choses que vous faites généralement consciemment, les choses que vous pouvez rapporter et verbaliser. Tout ne peut pas être verbalisé, mais beaucoup de choses dont vous êtes conscient peuvent l'être et vous les faites de manière séquentielle. À chaque étape, vous pouvez faire appel à des calculs intuitifs dans votre cerveau, mais vous allez ordonner ces choses dans votre esprit d'une manière que vous contrôlez et qui vous donne un pouvoir et une flexibilité supplémentaires. Cela nous permet de faire des choses comme apprendre à conduire, ou apprendre à conduire dans une nouvelle ville, ou comprendre quoi faire dans des circonstances inhabituelles où nous devons être créatifs et trouver des solutions sur le champ, et cela ne ressemble à rien de ce que nous avons vu auparavant. Ce type de comportement très puissant et dynamiquement adaptatif que les humains emploient pour résoudre de nouveaux problèmes est très typique du Système 2, et l'IA actuelle n'est pas très douée pour ces choses. Si vous entraînez les systèmes sur certaines données et que vous les déployez ensuite dans des situations qui ne sont pas exactement les mêmes, vous subissez une forte baisse de performance. Cela ne fonctionne pas aussi bien. Alors que les humains sont capables de transférer leurs connaissances vers de nouveaux domaines et de nouveaux environnements beaucoup plus facilement, et très souvent, c'est à ce moment-là que vous utilisez vos forces conscientes. Lorsque vous faites quelque chose d'habituel, vous n'avez pas besoin d'y réfléchir. L'exemple que je donne est celui d'une conduite sur un trajet habituel : vous pouvez parler à la personne à côté de vous et vous êtes conscient de la conversation, mais vous n'avez pas besoin d'être conscient des détails de la route. Bien sûr, vous prenez des risques en faisant cela, mais le fait est qu'une grande partie se passe inconsciemment parce que c'est quelque chose de familier que vous avez beaucoup vu et que vous n'avez pas besoin d'y prêter attention. Tandis que lorsque vous faites quelque chose de plus inhabituel et que vous devez pratiquer une nouvelle compétence ou avoir une nouvelle façon cohérente d'assembler des éléments de connaissance, vous utilisez le Système 2 et vous utilisez le traitement conscient.

Il était intéressant pour moi de noter que dans votre description de ces deux systèmes, vous avez parlé de choses non vocalisées ou sub-verbales et de choses que nous pouvons vocaliser et exprimer avec des mots. Dans vos descriptions de la conscience, vous utilisez beaucoup les exemples du langage pour représenter ces idées. Je suis curieux de connaître la relation entre le langage en tant que construction et la conscience.

C'est évidemment une question ouverte. Il faut réaliser que la science de la conscience est quelque chose de relativement nouveau, comme je l'ai dit, deux décennies ou un peu plus. Il y a beaucoup de choses que nous devons comprendre, nous devons donc être très humbles quant à l'étendue de ce que nous ignorons. Il semble très évident qu'il existe un lien très fort entre le langage et la conscience, mais ils ne sont pas équivalents. Par exemple, vous pourriez avoir des choses qui se passent dans la zone de votre cerveau qui traite le langage qui sont différentes de celles qui ont trait au fait d'être conscient de quelque chose. Mais il existe des liens étroits. En fait, l'une de mes pistes de recherche actuelles consiste à exploiter l'hypothèse selon laquelle le lien est très étroit, en ce sens que les concepts de haut niveau que vous manipulez consciemment correspondent également à des choses comme des mots, des choses que vous pouvez verbaliser. Au niveau de la représentation, les deux choses sont très proches l'une de l'autre.

Il y a eu des travaux antérieurs, rien que je ne puisse citer ou que je ne connaisse intimement, mais nous parlons généralement de la façon dont, par exemple, dans certaines cultures, on n'a pas de mots pour certains types de choses, l'implication étant que cela conditionne leur pensée dans certaines directions qui diffèrent d'autres cultures. Cela semble tout à fait conforme à cette idée de conscience telle que vous la définissez.

Oui, absolument. En fait, la manière dont je veux utiliser ce lien hypothétique est d'aider à l'apprentissage de ces concepts de haut niveau. Ce qu'est l'apprentissage profond — ce que je n'ai pas eu le temps de dire tout à l'heure — c'est l'apprentissage de bonnes représentations. Nous avons été très bons pour apprendre, disons, des représentations de bas et moyen niveau avec l'apprentissage profond, en particulier sur l'entrée visuelle. Mais nous n'avons pas encore de bons algorithmes pour découvrir les bonnes variables au niveau des concepts de haut niveau que les humains manipulent consciemment. Bien sûr, on peut tricher en disant aux machines 'ceci est un chat, ceci est un chien', et elles savent alors ce qu'est un chat ou un chien par l'exemple. Mais ce que nous n'avons pas, c'est la capacité de découvrir ces choses de haut niveau. En connectant, par exemple, l'entrée vidéo avec un langage correspondant de la bonne manière, nous pouvons forcer un système d'apprentissage profond à apprendre des représentations qui, au niveau supérieur, auraient des caractéristiques correspondant à des mots, des expressions ou des constructions linguistiques. Cela aiderait le système d'apprentissage de représentation à découvrir ces concepts de haut niveau de la même manière que lorsque nous parlons aux enfants, l'utilisation de mots dans un contexte particulier les aide à construire la signification correspondante de ces mots dans leur esprit.

Mais bien sûr, ils n'ont pas besoin des mots ; ils construisent du sens en l'absence de mots.

Ils n'ont pas besoin des mots. Au début, ils apprennent beaucoup de choses pour lesquelles ils n'ont pas de mots. Il est en fait difficile de démêler ces choses car, même s'il faut attendre quelques années avant qu'ils ne commencent à parler, pendant ces deux années, ils entendent aussi beaucoup de langage. L'indice intéressant est que, dans certaines cultures, les parents ne parlent pas à leurs enfants ; ils se parlent entre eux et les enfants écoutent simplement. Dans nos cultures occidentales, nous avons tendance à beaucoup parler à nos bébés. On pourrait penser qu'ils apprennent de cette interaction. Mais il semble que même sans une sorte de désignation directe comme 'ceci est un chat', les bébés parviennent à saisir le lien entre les étiquettes, les mots et les choses dans le monde.

Nous nous sommes lancés assez rapidement et avons commencé à parler de certaines implications de votre définition de la conscience, mais vous vous êtes vraiment lancé dans ce domaine avec un article de 2017, 'The Consciousness Prior'. Qu'est-ce que le 'consciousness prior' exactement et quels sont les points principaux que vous essayez de transmettre dans cet article ?

D'accord, je vais essayer de faire cela de manière accessible.

Oui.

Tout d'abord, que signifie le mot 'prior' ? C'est un terme que nous utilisons dans la recherche en apprentissage automatique pour dire que le système d'apprentissage exploite une sorte d'hypothèse sur le monde. Il existe même des théorèmes qui disent qu'il faut avoir des hypothèses, au moins minimales, pour pouvoir apprendre avec succès. Le cerveau possède ce genre d'hypothèses sur le monde dont nous héritons de nos ancêtres. Ces hypothèses sont codées d'une manière ou d'une autre dans nos gènes et nous naissons avec elles ; elles nous aident à apprendre plus vite et mieux dans le monde qui nous entoure. Quand j'ai dit au début que l'un de mes objectifs de recherche est de comprendre les principes qui donnent naissance à l'intelligence, une part importante de cela concerne le type d'hypothèses que les humains exploitent sur le monde et qui nous permettent d'apprendre efficacement, de construire une compréhension de son fonctionnement, d'apprendre le langage, de modéliser le monde et d'agir dans le monde. Vous pouvez considérer les notions de temps, d'espace et d'agentivité — le fait que je fais des choses et qu'il y a des effets — comme des choses que nous tenons de nos gènes et que notre cerveau exploite comme des hypothèses sur le monde. Le 'consciousness prior' est l'une de ces hypothèses qui serait liée à la notion de conscience. J'ai en fait toute une liste d'hypothèses connexes, mais celle-ci est centrale. Elle dit qu'il existe deux types de connaissances sur le monde dans notre cerveau : les connaissances du Système 1 et les connaissances du Système 2. Les connaissances du Système 1 sont difficiles à exprimer avec des mots, comme nous définissions le Système 1. Les connaissances du Système 2 sont des connaissances faciles à exprimer avec des mots. Quel type de connaissance possède la propriété de pouvoir être facilement exprimé par des mots ? Il existe une belle propriété structurelle du type de connaissances que nous pouvons communiquer par des mots : nous sommes capables de faire des prédictions sur des choses qui peuvent arriver sur la base d'autres choses que nous savons. Par exemple, si je dis : 'Si je lâche mon téléphone, il va tomber par terre', cette phrase n'implique que quelques concepts : un téléphone, le sol, l'acte de lâcher et le résultat. C'est très peu d'éléments. Normalement, lorsque vous essayez de faire une prédiction sur quelque chose dans le monde, vous avez besoin de beaucoup d'autres choses pour que cette prédiction soit exacte. Si j'essaie de prédire le prochain pixel qui apparaîtra dans une vidéo, j'ai besoin de connaître tous les autres pixels que j'ai vus au cours des dernières minutes. Cela représente des millions de chiffres. Les pixels sont difficiles à expliquer avec le langage car ils n'ont pas cette propriété. Mais si j'explique le monde en termes d'objets que je peux nommer, comme mon téléphone qui tombe par terre, cette façon de représenter la connaissance nous permet de faire des déclarations où chacune n'implique que très peu de concepts. Dans le jargon de l'apprentissage automatique, la distribution conjointe des concepts de haut niveau est parcimonieuse. Parcimonieuse signifie que si vous dessinez les connexions entre tous les concepts sous forme de graphe, le graphe a très peu d'arêtes sortant de chaque nœud.

Voulez-vous dire que les connexions dans le graphe sont entre les concepts de cette phrase ou entre les concepts de toutes les choses que nous savons ?

Toutes les choses que vous pourriez dire. Si vous décomposez tout ce que vous pourriez dire en phrases, chaque phrase est comme un type spécial de nœud dans le graphe et ne se connecte qu'à très peu de mots. Les mots sont connectés à toutes les phrases dans lesquelles ils pourraient apparaître, mais chacune de ces phrases n'implique que très peu de mots. Dans l'ensemble, la structure de ce graphe est extrêmement parcimonieuse. Alors que si je devais dessiner un graphe des dépendances statistiques entre les pixels, il devrait être presque entièrement connecté ; chaque pixel devrait parler à chaque pixel. Ce qui se passe, c'est que votre cerveau a créé ces variables de haut niveau qui vous permettent de découpler une grande partie des dépendances compliquées qui sembleraient autrement exister. En plus du 'consciousness prior', il existe des déclarations connexes. L'une d'elles est que ces variables de haut niveau ont trait à la causalité. Ces dépendances — comme lorsque j'ai dit : 'Si je lâche le téléphone, il va tomber par terre' — sont des affirmations causales. Cela dit que si je fais une action particulière, voici quelle sera la conséquence pour l'objet. C'est important car la causalité nous permet de comprendre le monde dans un sens qui va au-delà de la simple formulation de prédictions. Elle nous permet d'imaginer ce qui pourrait arriver ou ce qui aurait pu arriver. C'est ce qu'on appelle les contrefactuels.

Vous donnez un exemple dans certains de vos exposés sur le fait de mettre des lunettes de soleil. Cet acte simple, qui peut être réduit à un bit, a des implications significatives sur tous les pixels activés dans votre rétine, mais il s'agit d'un bit unique.

Exactement. Je parlais de causalité tout à l'heure, et un aspect particulièrement intéressant est qu'elle nous renseigne sur la façon dont le monde change habituellement. Il ne s'agit pas seulement de la manière dont les concepts sont liés les uns aux autres, mais de la manière dont ces relations changent au fil du temps à cause d'agents comme des personnes, des robots ou des animaux qui font des choses. Ce qui se passe, c'est que ces changements sont très localisés au sens où ils n'impliquent qu'un ou quelques concepts. Généralement, lorsque vous trouvez une explication pour quelque chose qui s'est produit — et notre cerveau essaie constamment d'expliquer ce qui se passe verbalement — nous finissons par être capables de fournir une explication très courte, comme une phrase : 'Il a fait tomber le téléphone.' C'est incroyable car le monde a changé — par exemple, si j'ai mis des lunettes noires — et je suis capable de l'expliquer en me référant à très peu de choses : 'J'ai mis mes lunettes noires.' Alors que si vous n'aviez pas cette hypothèse, vous pourriez imaginer que tout a changé et que vous ne pouvez plus faire de prédiction. Le fait que très peu de choses aient changé vous permet de vous remettre de ces changements. C'est ce en quoi les humains sont bons : se remettre des changements qui surviennent dans le monde. C'est cette capacité d'adaptation que nous aimerions insuffler aux machines. Cette recherche sur la conscience ne vise pas seulement à comprendre une part importante de ce que nous sommes ; elle vise aussi à doter les machines de ces capacités pour qu'elles soient plus robustes aux changements qui peuvent survenir dans l'environnement.

Vous exprimez l'idée de la conscience comme une représentation de faible dimension des connexions plus larges dans le cerveau ou dans un système que nous n'avons pas encore. C'est lié à l'idée d'attention que nous avons expérimentée avec les réseaux de neurones. Quel est le lien entre les deux ?

Très bonne question. Beaucoup de gens ne voient toujours pas le lien, alors laissez-moi essayer de l'expliquer. Rappelez-vous, j'ai dit que nous exploitions cette hypothèse selon laquelle les dépendances entre les concepts possèdent cette parcimonie, comme des éléments de connaissance où chacun serait comme une phrase. Si vous voulez qu'une machine ou un cerveau effectue des calculs sur cette base de connaissances que nous avons dans notre cerveau ou dans un ordinateur, vous voulez tirer parti de cette parcimonie. Un bon moyen d'y parvenir est de concentrer le calcul sur les bons éléments à chaque étape, car vous n'avez alors besoin de considérer que les interactions entre quelques variables. C'est beaucoup plus facile tant au niveau du calcul qu'au niveau de l'avantage statistique. Si quelque chose change, nous pouvons l'apprendre rapidement si cela n'implique que quelques variables. L'attention est un moyen d'exploiter cette parcimonie inhérente afin que nous puissions effectuer ce type spécial de calcul qui n'implique que très peu de variables à la fois. L'attention sélectionne juste ces quelques variables qui entrent dans notre mémoire de travail, et nous pouvons alors prononcer une phrase pour partager ce que nous avons à l'esprit. Mais il y a plus que cela. Le fait que nous ayons ce goulot d'étranglement de l'attention, qui est un élément central des théories actuelles de la conscience, oblige la partie de la connaissance sur le monde qui devrait aller dans le Système 2 d'y aller. Seules les choses qui peuvent passer par ce goulot d'étranglement, qui impliquent de petits morceaux de connaissance impliquant quelques variables à la fois, sont représentées à ce niveau. Ce que vous ne pouvez pas traiter consciemment va au Système 1 et prend plus de temps à apprendre car il s'agit de l'interaction de nombreuses choses ensemble, comme l'extraction d'informations à partir d'images. Mais ce qui possède cette propriété — la propriété du 'consciousness prior' — sera traité par le Système 2. Vous avez alors des avantages car vous pouvez rapidement raisonner et planifier à ce niveau.

L'idée est-elle que le Système 2, si nous le considérons comme une mémoire, possède un goulot d'étranglement qui dit qu'il ne peut pas stocker n'importe quoi, mais seulement ces concepts ou représentations de plus haut niveau ?

Vous avez raison. Nous ne stockons que les choses qui passent par notre conscience. Les choses dont vous n'êtes pas conscient vont rester dans votre cerveau pendant un temps très court et vous allez ensuite les oublier. Tandis que les choses dont vous avez été conscient ont plus de chances d'être stockées dans la mémoire à long terme. De plus, lorsqu'elles passent par cette mémoire à court terme où vous pouvez opérer sur elles, vous pouvez faire des choses élaborées comme réfléchir, raisonner, planifier ou découvrir une incohérence — toutes choses que nous faisons consciemment.

L'idée est-elle donc que nous pourrions utiliser l'attention comme un moyen d'entraîner ce 'consciousness prior' ?

Oui. L'attention fait partie de l'architecture du réseau de neurones afin de renforcer le 'prior'. Ce qui est intéressant, c'est que cela a déjà apporté une révolution au sein de l'apprentissage profond. Il y a été des progrès étonnants dans le traitement du langage naturel. Cela a commencé avec le travail que nous avons fait sur la traduction automatique vers 2014, et depuis 2016, cela a été intégré dans Google Traduction ; c'est devenu la technologie dominante pour la traduction automatique. Depuis lors, avec de nouvelles architectures qui exploitent la conscience, comme les Transformers, les progrès dans toutes sortes de tâches de langage naturel ont vraiment progressé. Cela change la nature même de la façon dont nous concevons les réseaux de neurones. Dans un réseau de neurones traditionnel, nous concevons le calcul comme opérant une étape à la fois sur ces vecteurs — un ensemble fixe de nombres qui correspondent à un groupe de neurones ayant une certaine activité. Mais les mécanismes d'attention permettent d'opérer sur des ensembles d'objets plutôt que sur ces vecteurs de taille fixe. Cela a déjà un impact majeur dans le traitement du langage naturel car le langage possède cette propriété où l'on veut prendre certains éléments de ce dont j'ai parlé au cours des cinq dernières minutes et les réutiliser pour dire quelque chose qui a du sens. Il a tendance à sélectionner quelques éléments et à les combiner de nouvelles façons, mais à chaque étape, vous ne considérez que quelques éléments à la fois. Les architectures Transformers actuelles possèdent cette structure inhérente. Une autre chose qui se passe avec ces systèmes basés sur l'attention est que nous introduisons certaines des anciennes idées de l'IA concernant l'indirection, le nommage des choses et le fait d'avoir des choses qui ont un type. Ce sont des concepts qui existent depuis le début de la programmation, mais on ne savait pas trop comment les intégrer dans les réseaux de neurones. Avec l'attention, vous sélectionnez quel neurone va parler à quel neurone. C'est comme changer dynamiquement le schéma de connexion entre les neurones. Lorsque vous avez cette connectivité dynamique, vous devez transporter des informations sur la provenance du signal. Ce n'est pas seulement l'information que je vous envoie, mais le fait de garder la trace qu'elle vient de moi.

À bien des égards, l'idée d'un 'consciousness prior' me fait penser aux travaux en cours sur l'apprentissage automatique basé sur des modèles. En apprentissage par renforcement, par exemple, nous avons vu pas mal de travaux autour des modèles. L'idée est-elle que le 'consciousness prior' est un type spécifique de modèle analogue à ce que vous appelleriez notre conscience ?

Le lien avec l'apprentissage par renforcement basé sur un modèle est le suivant. Lorsque vous faites de l'apprentissage par renforcement sans modèle, vous entraînez une politique — un réseau de neurones qui est appelé chaque fois que vous devez prendre une décision — et c'est automatique. C'est comme lorsque vous conduisez sur un trajet habituel et que vous n'avez pas besoin d'y réfléchir. Mais lorsque vous planifiez un nouvel itinéraire à la volée — par exemple, s'il y a des travaux sur votre route et que vous réalisez que vous devez emprunter un chemin différent — c'est de la planification à la volée. Ce type de planification est une forme de raisonnement et est quelque chose de conscient. Cela vous permet de faire face à des imprévus. En principe, c'est exactement ce qu'est l'apprentissage par renforcement basé sur un modèle. Une fois que vous avez un modèle de fonctionnement du monde, vous pouvez créer une nouvelle politique à la volée en combinant les éléments de connaissance que vous connaissez déjà pour élaborer un nouveau plan. Ce genre de prise de décision dynamique et d'imagination du futur de manière flexible est très caractéristique du comportement conscient et du Système 2. Au bout du compte, nous allons avoir un apprentissage par renforcement qui comporte à la fois des éléments sans modèle et des éléments basés sur un modèle, car ils ont tous deux leurs points forts.

Tout à l'heure, j'ai évoqué l'idée du 'consciousness prior' comme une mémoire. Est-ce, à proprement parler, une mémoire par nature ou est-ce plus actif ?

C'est plus actif. Il s'agit davantage de la façon dont vous traitez l'information. Mais le lien avec la mémoire est qu'il est également lié à la façon dont nous représentons la connaissance consciente. Les choses auxquelles vous pouvez accéder en mémoire sont des éléments d'information conscients ; ils ne sont pas conscients tant que vous ne les avez pas récupérés, mais ils peuvent le devenir. En un sens, une grande partie de vos connaissances conscientes est stockée dans votre mémoire à long terme, puis récupérée selon les besoins pour résoudre les problèmes auxquels vous êtes confrontés aujourd'hui. Le traitement conscient concerne les calculs que votre cerveau effectue pour récupérer des éléments de la mémoire, interpréter ce que vous voyez maintenant et potentiellement visualiser des choses qui pourraient arriver dans le futur.

Je pense que l'analogie de la mémoire était qu'il s'agissait d'un stockage des relations entre les choses, mais que la planification basée sur cette information n'est pas nécessairement la même chose.

C'est exact. En un sens, il y a la connaissance déclarative — tous les éléments de connaissance qui sont en mémoire — et puis il y a le calcul que vous faites à la volée pour combiner ces éléments avec ce qui se passe actuellement ou ce que vous imaginez, afin de trouver de meilleures explications sur le passé ou sur ce que vous aimeriez faire à l'avenir.

Quel est l'état actuel de cette ligne de recherche et comment voyez-vous son évolution ?

C'est encore à ses débuts. Pensez au nombre de décennies qu'il a fallu aux réseaux de neurones et à l'apprentissage profond pour atteindre la maturité qu'ils ont aujourd'hui. C'est un projet à long terme. Je pense aussi qu'il y a une importance énorme dans la collaboration entre les sciences du cerveau — y compris les sciences cognitives, les neurosciences et la philosophie de l'esprit. Toutes ces personnes qui ont réfléchi au côté humain de l'équation devraient collaborer avec les gens de l'IA et de l'apprentissage profond qui s'intéressent à la compréhension de ces principes. Cela peut aussi aller dans l'autre sens. Un problème avec les neurosciences ou la philosophie est qu'il est difficile de proposer de bonnes théories qui expliquent les nombreuses observations que nous avons. L'apprentissage automatique peut proposer des théories intéressantes car elles sont motivées du point de vue de la théorie de l'apprentissage. Mon idée du 'consciousness prior' est quelque chose qui a du sens du point de vue de l'apprentissage automatique car dès que vous commencez à faire des hypothèses sur le monde, vous pouvez apprendre et vous adapter plus vite. Ces types de justifications peuvent aider à contraindre les théories que les neuroscientifiques ou les philosophes pourraient envisager. Au bout du compte, ce seraient des théories qui seraient à la fois cohérentes avec ce que nous savons des humains et qui auraient du sens du point de vue de l'apprentissage.

Avant de commencer à parler de conscience — en fait avant de commencer l'enregistrement — nous parlions de ce qui se passe dans le monde actuellement au moment où nous enregistrons ceci mi-march avec la COVID-19. L'un des autres thèmes sur lesquels vous avez passé du temps est la manière dont l'apprentissage automatique et l'IA pourraient faire une différence dans ce cadre. Pouvez-vous partager ce que vous faites là-bas ?

Je suis impliqué dans la recherche fondamentale en apprentissage automatique et apprentissage profond depuis plusieurs décennies. Ces dernières années, j'ai réalisé l'importance de réfléchir à la manière dont l'IA est déployée dans la société et à la manière dont nous pouvons diriger notre bateau collectif dans des directions qui feront de l'IA une force utile pour l'humanité. C'est pourquoi j'ai participé à la rédaction de la Déclaration de Montréal pour un développement responsable de l'IA. C'est pourquoi je suis impliqué dans un projet appelé AI Commons pour aider les développeurs, les ONG et la philanthropie à travailler ensemble sur l'application de l'IA à des domaines pour le bien social qui ne sont peut-être pas rentables mais qui sont importants pour l'humanité. C'est aussi pourquoi j'ai travaillé sur la manière dont l'IA pourrait être utilisée pour lutter contre le changement climatique. Nous avons rédigé un article de synthèse sur de nombreux domaines différents dans lesquels l'apprentissage automatique peut être utilisé pour aider à réduire les émissions de gaz à effet de serre, concevoir de nouveaux matériaux, mieux utiliser les sources d'énergie renouvelables ou aider les gens à comprendre le changement climatique. Au cours des dernières semaines, comme tout le monde, j'ai réfléchi avec plusieurs de mes collègues du secteur de la santé à ce que l'IA peut faire pour aider à lutter contre la pandémie de COVID-19. Je suis actuellement impliqué dans un certain nombre de projets. L'un d'eux, qui me prend beaucoup de temps, est la conception d'une application de traçage. Une chose que nous pouvons faire pour trouver un bon équilibre entre sauver des vies et permettre aux gens de sortir de chez eux est de garder une trace des endroits où les gens vont et de qui ils rencontrent afin d'estimer leurs risques d'être infectés. Nous voulons le faire d'une manière qui respecte scrupuleusement la vie privée, contrairement à certaines des applications qui ont déjà été mises sur le marché.

C'est un sujet qui est revenu assez souvent ces derniers temps : la suggestion d'utiliser simplement le Bluetooth et de mettre les informations à la disposition des agences gouvernementales.

Ouais.

Je ne pense pas que cela passerait en Amérique du Nord, et je pense qu'il y a de bonnes raisons à cela. La bonne nouvelle est qu'il existe des solutions techniques à ce problème, et nous y travaillons. Nous travaillons sur l'apprentissage automatique pour aider à prédire votre niveau de risque en fonction des rencontres que vous faites. Peut-être que vous n'avez pas rencontré quelqu'un que nous savions infecté, mais peut-être avez-vous rencontré quelqu'un qui a rencontré quelqu'un qui était infecté. Quelle est la probabilité que vous soyez infecté ? Si vous avez fait 20 de ces rencontres, peut-être que les risques s'accumulent. Comment agréger toutes ces informations et aider les gens à connaître leur risque ? Une autre chose sur laquelle nous travaillons est la conception de nouveaux médicaments. L'apprentissage automatique et surtout l'apprentissage profond ont été utilisés ces deux dernières années pour proposer de nouveaux candidats médicaments ; en particulier, nous travaillons sur des antiviraux. Ce sont des médicaments que l'on donnerait à quelqu'un qui est déjà malade et dont on craint qu'il ne meure. L'apprentissage automatique peut s'avérer utile car le développement habituel de nouveaux médicaments pourrait prendre de nombreuses années, mais l'apprentissage automatique peut considérablement accélérer la recherche de bonnes molécules.

Lorsque vous parlez à des cliniciens, des praticiens, des virologues et des épidémiologistes — les utilisateurs finaux de systèmes comme ceux-ci — quelles sont les choses dont ils disent avoir besoin de la part de notre communauté de scientifiques des données et de chercheurs en apprentissage automatique ?

Eh bien, il n'est pas toujours facile d'obtenir cette réponse.

[Rires]

Je peux vous dire que j'ai beaucoup appris ces dernières semaines, et je suis sûr que beaucoup de gens aussi parce que nous avons tous besoin de comprendre ce qui se passe.

Mhm.

Il y a de nombreuses questions. Du côté de la santé et de la clinique, ils aimeraient être en mesure de prédire et de surveiller ce qui se passe. Ils veulent prédire où il pourrait y avoir un plus grand besoin de ressources de santé pour les allouer correctement, prédire quels patients, compte tenu de leurs antécédents, seraient les plus susceptibles d'avoir besoin d'une unité de soins intensifs ou d'un respirateur, prédire le niveau de risque des personnes et aider les épidémiologistes à modéliser les scénarios probables auxquels nous allons être confrontés. Même des questions de logistique sont préoccupantes. Il y a de nombreux problèmes en ce moment où nous ne sommes tout simplement pas organisés correctement pour faire face au nombre massif de personnes demandant de l'aide.

Mhm.

Il existe de nombreux domaines où l'apprentissage automatique peut être utile. Il faut du temps pour comprendre ces problèmes, pour parler à ces gens, et l'accès aux données est un enjeu majeur. L'accès aux données de santé a été un problème énorme car nous avons mis tout notre poids sur la confidentialité, ce qui a rendu difficile pour les chercheurs en apprentissage automatique d'avoir accès à ce type de données. Mais maintenant, avec la COVID, les autorités sanitaires changent leurs façons de faire pour permettre aux chercheurs de mettre la main sur les ensembles de données appropriés, sinon nous allons perdre des vies que nous aurions pu sauver. Je pense que c'est un moment important pour démontrer la nécessité d'une infrastructure de données plus agile pour la santé.

En ce qui concerne l'application que vous avez mentionnée, nous avons beaucoup parlé de confidentialité différentielle sur le podcast. Est-ce que cela entre en jeu pour vous permettre d'utiliser ces données de localisation de manière privée ?

Nous examinons différentes options. Pour l'instant, je ne pense pas que nous ayons besoin de la confidentialité différentielle. Nous pourrions avoir besoin de brouiller certains éléments de preuve qui permettraient de retracer trop facilement les personnes, mais si vous voulez prédire le niveau de risque d'une personne — la probabilité que vous soyez actuellement infecté — vous n'avez pas besoin de savoir où j'étais. Vous avez seulement besoin de savoir qu'hier j'étais proche de quelqu'un qui avait un niveau de risque de six et qu'avant-hier j'étais proche de quelqu'un qui avait un niveau de risque de sept. Vous n'avez pas besoin de connaître la trace de l'endroit où se trouvait tout le monde. Cela peut être calculé sur le téléphone de chaque personne. La seule chose que vous devez partager pour entraîner le prédicteur de risque, ce sont les données de rencontre — les niveaux de risque des personnes que vous avez rencontrées et à quel moment. À partir de cette information, il est très difficile de retracer qui a rencontré qui parce que vous n'avez aucun moyen de savoir qui était où. Je pense que we pourrions partager mondialement ce genre de données et construire de très bons modèles de niveaux de risque.

Quand vous regardez tout ce qui se passe — vos recherches et ailleurs — que voyez-vous comme le plus enthousiasmant en termes de contribution de l'IA à ce combat ?

Eh bien, je suppose que je suis très partial.

[Rires]

Je suis surtout investi en ce moment dans ce projet de traçage parce que les traitements médicaux vont prendre des mois ou des années avant de converger vers quelque chose que tout le monde peut avoir, en particulier les vaccins. Vous devez comprendre qu'avant de sortir un vaccin, nous devons nous assurer que ce médicament est inoffensif car nous allons le donner à tout le monde.

C'est vrai.

Et ce processus prend du temps, même s'il est accéléré.

Si 1 % des personnes à qui l'on donne un vaccin meurent à cause du vaccin, ce n'est pas bon.

Exact.

Un antiviral est un médicament que vous pouvez donner à quelqu'un qui est déjà sur le point de mourir, nous pouvons donc prendre un plus grand risque et nous n'avons pas besoin d'attendre un an ou deux pour savoir que c'est bon. Je suis investi dans un projet autour du développement de nouveaux antiviraux. Avant cela, il y a déjà eu des travaux utilisant l'apprentissage automatique pour tester des médicaments existants. C'est la première ligne : y a-t-il un médicament qui a déjà été approuvé pour que nous n'ayons pas besoin d'essais cliniques et que nous puissions l'utiliser dès demain ? C'est déjà en cours, et l'apprentissage automatique a été utilisé pour suggérer des candidats. L'étape suivante, si aucun de ceux-ci ne fonctionne, est de développer une nouvelle molécule. Le projet de traçage est très important car c'est quelque chose que nous pouvons faire avant même de trouver ces médicaments et de faire des essais cliniques. Nous devrions être capables, en l'espace de quelques jours et semaines, d'avoir tous une application sur notre téléphone qui aidera à tracer nos contacts d'une manière respectueuse de la vie privée. Cela nous permettrait de rencontrer d'autres personnes et de savoir qu'elles sont peu susceptibles d'être infectées, afin de pouvoir travailler ou être dans le même bus ensemble. C'est très important. Beaucoup de gens en ce moment n'ont plus de transport car si vous êtes infecté, vous ne pouvez pas utiliser les transports. Nous devons savoir qui est susceptible d'être infecté et à quel degré afin d'organiser la société pour l'année ou les deux années à venir.

Un travail super important. Merci beaucoup d'avoir pris le temps de discuter avec nous de ce que vous faites, tant pour le travail sur lequel vous vous êtes concentré de manière générale que pour le travail plus récent que vous avez accompli dans cette lutte contre la COVID.

C'est un plaisir.

Ce fut un plaisir de vous parler. Merci. Au revoir.

Au revoir.

Très bien tout le monde, c'est notre émission pour aujourd'hui. Pour plus d'informations sur l'émission d'aujourd'hui, visitez twimlai.com/shows. Comme toujours, merci beaucoup pour votre écoute.