Richard Sutton

L'IA, l'Empathie et le Futur de l'Humanité

4 octobre 2017

Intelligence Artificielle
Illustration de Richard Sutton

Introduction par Kim Solez

Kim Solez

C'est un véritable honneur de le recevoir. Le succès de l'IA est devenu fulgurant et il est actuellement le directeur de Google DeepMind Alberta, tout en conservant ses fonctions ici en plus d'une multitude d'autres rôles. L'idée que nous avons découverte il y a longtemps, et que je trouve passionnante et motivante, est née lors d'une réunion sur la sécurité de l'IA en janvier 2015 avec environ 87 personnes. Presque tout le monde, sauf Rich Sutton, prévoyait d'asservir l'IA sentiente. C'était le plan. Et il était le seul à plaider pour l'honnêteté envers les machines lorsqu'elles seront plus intelligentes que nous, en les incluant dans nos cercles d'empathie. J'ai réalisé à ce moment-là que si cette idée est connue, l'humanité survivra. Si cette idée est perdue, les machines ne verront aucune raison de nous garder et les prochains habitants de la Terre ne seront pas nos descendants. Il semble donc que ce soient des sujets cruciaux. Je ne sais pas ce que Rich va faire aujourd'hui, mais ce sera certainement intéressant et vous vous sentirez probablement impliqués. Vous ne resterez pas assis là, vous ferez réellement des choses. Alors.

Présentation des participants

Richard Sutton

Eh bien, cela fait partie de l'idée. Vous devez réaliser la chance que vous avez d'avoir une petite classe comme celle-ci avec Kim qui vous expose à ces idées et vous demande de réfléchir. J'ai pensé que nous devrions en profiter et j'aimerais commencer par faire votre connaissance. Je suis Rich, Richard. Quel est votre nom ?

Ishita

Je m'appelle Ishita.

Richard Sutton

Ishita ?

Ishita

Oui, ravie de vous rencontrer.

Richard Sutton

Ravi de vous rencontrer.

Dawson

Je suis Dawson.

Richard Sutton

Dot ?

Dawson

Dawson.

Richard Sutton

Dawson ?

Hussain

Hussain.

Richard Sutton

Attendez, allons plus doucement. Ishita, Dawson, Hussain.

Hussain

Hussain.

Richard Sutton

Hussain. Dites-moi un peu d'où vous venez, quel est votre parcours et pourquoi vous êtes assez intéressé pour suivre ce cours avec Kim.

Ishita

Je suis en quatrième année de mon diplôme de biologie et j'ai choisi ce cours parce qu'il me semblait très intéressant ; il n'y a pas beaucoup de cours comme celui-ci que j'aie jamais vus. C'est aussi quelque chose que je trouve fascinant car c'est inévitable et nous allons tous y être impliqués, surtout avec les jeunes générations qui grandissent, je pense que nous devrions en savoir plus. Il est surprenant que peu de gens en parlent à ce stade.

Richard Sutton

C'est bien. Dawson ?

Dawson

Je viens aussi de la biologie. Je m'intéressais aux technologies de rupture. Un des domaines qui est apparu en biologie est la biologie synthétique où l'on peut synthétiser l'ADN à grande échelle et insérer n'importe quel programme ; on programme les cellules pour faire ce que nous voulons, au lieu de ce que veut la nature. C'est ce qui m'a amené vers la technologie et l'ingénierie.

Richard Sutton

Considérez-vous donc la vie comme une machine biologique ?

Dawson

Oh, absolument. Dans ce domaine, on parle déjà de modulariser les pièces et de codes de programmation qui sont des segments de transcripts d'ADN. Avant, les outils d'édition étaient complexes. Aujourd'hui, j'écris le code sur mon MacBook et je l'envoie à l'entreprise qui synthétise l'ADN et me le renvoie prêt à l'emploi.

Richard Sutton

Cool.

Hussain

Je m'appelle Dr Mudassar Hussain. Vous pouvez m'appeler Hussain. Je fais un stage en pathologie rénale avec le Dr Solez.

Richard Sutton

Vous faites quoi ?

Hussain

Un stage en pathologie rénale avec le Dr Solez. Je suis arrivé au Canada il y a un mois en provenance du Pakistan. Avant, je ne m'intéressais pas à l'intelligence artificielle. Après quatre cours, je pense que c'est inévitable. Si nous l'évitons, les choses continueront d'arriver. Nous devons savoir ce qu'est l'IA, si elle va dominer le monde et comment gérer la situation.

Recherche en IA et Apprentissage par Renforcement

Richard Sutton

Oui. C'est l'essentiel de ce que je veux faire aujourd'hui, discuter avec vous pour réfléchir à la manière dont nous devrions percevoir l'arrivée de l'IA. Il est difficile de prendre du recul entre l'exagération et la réalité. Quelles sont nos métaphores ? On nous présente souvent l'IA prenant le contrôle. Est-ce la bonne métaphore ? Je veux explorer d'autres façons de penser. Comme Kim l'a dit, j'essaie de créer l'IA depuis 40 ans. Avec la loi de Moore et l'augmentation de la puissance de calcul, tout est plus concret aujourd'hui. C'est passionnant, même si l'argent et la politique compliquent parfois la science. Mais c'est mieux que d'être ignoré. Parlez-nous de vous.

Braden

Je m'appelle Braden. Je fais une maîtrise en sciences de la chirurgie. Je veux devenir médecin, donc il est pertinent d'être conscient de la singularité technologique et de s'y préparer. C'est un sujet que je trouve très intéressant.

Richard Sutton

C'est bien.

Bridget

Je m'appelle Bridget, je travaille en urologie.

Richard Sutton

Quel domaine est-ce ?

Bridget

L'urologie. Nous étudions la vessie. Nous avons travaillé sur la prévention de la fibrose et l'ingénierie tissulaire avec des cellules souches. Je m'intéresse à la possibilité de créer une vessie artificielle via l'ingénierie tissulaire.

Richard Sutton

Merci, Bridget.

Gary Goldsand

Bonjour, je suis Gary Goldsand, éthicien clinique. Je me suis intéressé à l'éthique dans les années 90 face aux nouvelles technologies. J'ai vécu la déception du projet génome qui promettait de tout guérir. Je m'interroge sur la sagesse nécessaire pour manier ce qui arrive.

Kim Solez

Nous avons une longue tradition d'éthique dans ce cours. Earl Waugh en faisait partie. Gary est très dévoué. Prakash, dis quelque chose à la caméra.

Prakash

Salut, je suis Prakash, chercheur associé du Dr Solez et vidéaste du cours aujourd'hui.

Kim Solez

C'est exact. Tout le monde est en biologie ou en médecine cette fois.

Richard Sutton

Oui, ça arrive et c'est bien ainsi.

Étudiant

Je suis en ingénierie.

Richard Sutton

En ingénierie ?

Étudiant

Ingénierie et biologie.

Kim Solez

On a souvent plus d'étudiants de premier cycle, mais là c'est du 50-50. Les étudiants diplômés, surtout en chirurgie, sont nombreux. Je suis censé être l'expert en IA, je suis prêt à répondre à vos questions. J'ai distribué les diapositives pour ne pas avoir à tout présenter. J'ai une vidéo à montrer.

Étudiant

Quel type de recherche en IA vous intéresse le plus ? Militaire ou aide aux personnes ?

Richard Sutton

Je suis farouchement contre la militarisation. J'ai signé des lettres pour Justin Trudeau. Je suis libertaire, contre le contrôle centralisé. À DeepMind et à l'université, je travaille sur l'apprentissage. DeepMind est aussi contre la militarisation. Les gens craignent que les ordinateurs prennent le contrôle, mais nos sociétés créent déjà des drones autonomes. Cela me rend sceptique vis-à-vis des gouvernements. Les gens ordinaires ont de bons instincts. En IA, je conçois des algorithmes d'apprentissage par renforcement. C'est la pointe actuelle avec l'apprentissage profond. L'apprentissage par renforcement concerne des systèmes qui interagissent avec le monde pour atteindre un but. Voici une petite démo. Pouvez-vous appuyer sur le bouton VGA ?

Étudiant

Oui.

Richard Sutton

Voici un agent dans un petit monde. Il a un objectif et reçoit une récompense en l'atteignant. Les couleurs montrent la valeur des lieux et les flèches la qualité des actions. Il apprend la disposition du labyrinthe sans rien savoir de l'espace au départ. Si je déplace l'objectif, il doit le retrouver. Une fois trouvé, il planifie un chemin car il a appris un modèle du labyrinthe. Ce système combine apprentissage et planification. C'est l'essence de l'IA. Il s'adapte si on bloque un passage.

Définition de l'IA et de l'Agence

Kim Solez

Vous lui avez appris que sa mission est de trouver le chemin le plus court.

Richard Sutton

Sa mission est d'obtenir une récompense en atteignant l'objectif. Sentez-vous de la pitié pour l'agent piégé là-haut ? Moi non.

Kim Solez

Moi si.

Richard Sutton

Échec et mat. Le voyez-vous comme un agent dirigé par un but ?

Étudiant

Oui.

Richard Sutton

On a tendance à utiliser un langage intentionnel. Ma définition de l'IA est la capacité informatique à atteindre des buts. Mais c'est dans l'œil de l'observateur. Le programme n'a pas de 'but' intrinsèque, c'est une description utile pour nous. C'est pareil pour les gens. Si on comprend mieux un système par ses résultats que par ses mécanismes, on dit qu'il a un but. Un thermostat a le but de maintenir la température. C'est une propriété de la relation entre l'objet et l'observateur.

Étudiant

Si on ne regarde que les résultats, comment cela compte-t-il comme de l'IA ? Les machines peuvent prétendre être intelligentes sans comprendre.

Richard Sutton

Oui, les résultats.

Étudiant

Est-ce que cela compterait quand même ?

Richard Sutton

Beaucoup de systèmes donnent l'illusion de comprendre, comme Siri. Mais au final, avoir des buts et comprendre est une question d'apparence. Si l'apparence est parfaite, alors la chose existe réellement.

Gary Goldsand

Vous utilisez le mot agent.

Richard Sutton

Oui.

Gary Goldsand

Pour moi, ce qui définit un agent est la capacité de décider d'agir ou non.

Richard Sutton

L'agence signifie décider d'agir, percevoir et avoir un but dans le temps pour prendre des décisions.

Gary Goldsand

L'agent est-il l'algorithme ou le programmeur ?

Richard Sutton

L'algorithme est l'agent qui prend les décisions. Le programmeur est un agent qui a créé un autre agent.

Richard Sutton

Même des plumes ou de l'eau peuvent être décrites avec un langage de but. L'université est aussi un agent avec des buts, comme économiser de l'argent ou promouvoir l'alphabétisation. Il est utile de voir les organisations comme des agences.

Participant

Pas seulement un but. Le but de mon club de bowling est-il le plaisir ou le score ?

Richard Sutton

Ce n'est pas toujours clair. Le test est ce que nous faisons. Tout est une question d'observation. Ma théorie sur Kim est qu'il veut sauver le monde. C'est une théorie utile pour prédire ses actions. L'intelligence est une apparence. Les illusions fiables sont extrêmement utiles, comme au cinéma avec Harry Potter.

Participant

C'est analogue au débat sur le libre arbitre contre le déterminisme. Sommes-nous déterminés ou libres ? La vérité reste incertaine.

Richard Sutton

Cela n'a pas d'importance. Si on ne peut pas prédire quelqu'un, cela suffit pour le libre arbitre. Tout est apparence, même cette table qui n'est qu'un arrangement d'atomes. Les buts sont aussi réels que les objets physiques.

Perception, Réalité et Empathie

Participante

Si l'IA n'a pas de profondeur réelle, n'est-on pas dépendants d'eux ?

Richard Sutton

C'est réel. Une apparence soutenue est la réalité. Le programme de Go est créatif car on ne peut pas prédire ses coups autrement qu'en disant qu'il veut gagner. Il n'y a pas de 'vérité' intrinsèque, seulement l'utilité de la description. C'est votre relation à l'objet.

Participante

Êtes-vous prêt à dépendre d'une simple apparence d'empathie pour qu'ils soient nos amis ?

Richard Sutton

Une apparence est fausse si elle ne tient pas en cas de crise. On craint que l'IA paraisse empathique puis nous tue. Mais une apparence fiable permet de s'appuyer dessus. Voyez cette vidéo de 1945 de Heider et Simmel avec des bouts de papier.

Richard Sutton

Il est difficile de ne pas voir une intentionnalité dans ces papiers. L'intelligence consiste à donner du sens aux données pour prédire et contrôler. C'est la façon dont je pense l'intelligence.

L'Avenir de l'Intelligence et l'Héritage Humain

Participant

Le terme 'autonomisé' serait mieux. Nous ne sommes pas légitimes mais chanceux. Toutes les espèces finissent par s'éteindre. Cela soulève d'immenses questions.

Richard Sutton

Nick Bostrom s'inquiète des décisions irréversibles. Je me demande qui l'a nommé responsable. Vouloir décider pour l'éternité est presque la définition du mal. C'est un sentiment de légitimité extrême.

Participant

Il vaut mieux ajouter des possibilités futures, comme aller sur Mars. Cela augmente la liberté et la diversité. Une décision permanente limite les options.

Participant

La peur de la superintelligence vient de l'incertitude sur notre survie. Nous voulons être là pour continuer à débattre.

Richard Sutton

Je vois trois âges : la matière, les réplicateurs (vie biologique), et l'âge de la conception (IA conçue). Nous entrons dans une phase où l'intelligence sera conçue, y compris pour les humains qui modifieront leur propre ADN.

Participant

Il est possible que nous soyons déjà conçus.

Participant

Des astrophysiciens pensent que nous pourrions implanter la vie sur d'autres planètes.

Richard Sutton

C'est une forme de créationnisme sans la religion.

Participant

C'est de la présomption de penser que nous n'avons pas été créés par une espèce extraterrestre plus avancée.

Participant

Cela remplacera un Dieu infini par un être fini dans le temps.

Participant

Cela change la perspective. On ne devrait pas se croire légitimes par essence.

Richard Sutton

Quand nous pourrons créer des esprits meilleurs que les nôtres, ce sera majeur. L'histoire des rencontres entre peuples a souvent été faite de conflits. La peur est une réaction normale face à l'inconnu.

Participant

Cela nous mène à des décisions individuelles sur la création du progrès.

Richard Sutton

On ouvre des possibilités. Si l'univers décide d'une autre forme d'intelligence, qui sommes-nous pour dire non ?

Richard Sutton

Nous sommes les humains qui risquent de disparaître. Dire qu'une espèce est condamnée car elle ne vit pas éternellement est une preuve de prétention. Aucune espèce ne vit éternellement.

Participant

Mais à un moment, l'espèce n'existe plus à cause de l'évolution.

Richard Sutton

Si les machines deviennent puissantes et que l'humain s'éteint, est-ce forcément terrible ? On veut éviter de trop contrôler.

Coopération et Superintelligence

Richard Sutton

On peut imaginer un futur positif avec une diversité d'agents. La coopération est la clé de la paix. C'est rationnel de coopérer même avec des buts différents, comme nous le faisons dans les entreprises.

Richard Sutton

Dans ce tableau, il y aurait une grande diversité de capacités mentales. Ils seront tous des personnes. Je veux voir cela comme un résultat pacifique grâce à la coopération. Un être bon est celui qui coopère.

Richard Sutton

La coopération peut englober différentes capacités intellectuelles, comme nous coopérons avec de grandes entreprises.

Intervenant

Nous sommes les meilleurs coopérateurs, mais nous avons encore des guerres.

Gary Goldsand

Coopérons-nous par volonté ou par soumission ? Est-ce une forme de mal ?

Richard Sutton

Il existe des coopérations asymétriques malveillantes.

Intervenant

Il y a aussi la symbiose animale.

Intervenant

La coopération demande des compromis. Comment enseigner le compromis à une machine via l'apprentissage par renforcement ?

Richard Sutton

Ceux qui coopèrent sont jugés intelligents. Une superintelligence serait super-coopérative. Mes cercles d'empathie montrent que les niveaux supérieurs coopèrent avec les niveaux inférieurs.

Intervenant

On progresse sur les droits des animaux.

Richard Sutton

Oui.

Intervenante

Même en paix, l'idée d'être dominé par des superintelligences n'est pas réjouissante. Les humains ordinaires seront moins importants.

Richard Sutton

Cela semble inévitable.

Intervenante

Ce n'est pas très amusant pour nous.

Intervenant

La société sera toujours stratifiée.

Intervenante

Aujourd'hui, on peut espérer atteindre le sommet. Avec l'IA, on n'a aucune chance.

Richard Sutton

Vous pourriez devenir l'un d'eux. Est-il mauvais qu'il y ait des gens plus intelligents ? On a besoin des autres.

Intervenant

Cela dépend de leur cœur.

Richard Sutton

Si vous aviez un dirigeant super intelligent, serait-ce pire ou mieux ?

Intervenant

Si mon but est d'atteindre le sommet, c'est mal.

Intervenante

Si je dois rivaliser avec eux, c'est mauvais pour moi.

Richard Sutton

Mais on a besoin de gens capables autour de nous. Si ils nous aident parce qu'on peut coopérer, c'est positif.

Richard Sutton

C'était terrible pour les Amérindiens quand les Européens sont arrivés.

Éthique, Humanité et Impact Social

Kim Solez

On s'inquiète du futur mais les problèmes sont actuels. Comment aborder la technologie est une question d'ici et maintenant. Les surprises arrivent tous les jours.

Gary Goldsand

L'intelligence mène-t-elle au bien ? L'ignorance est-elle le bonheur ? Nous sommes des êtres qui cherchent à comprendre le monde. Le modèle hybride est difficile à critiquer car il accepte le bon et le mauvais.

Richard Sutton

Les êtres humains sont des choses qui tentent de comprendre le monde.

Kim Solez

Je dis aux étudiants en médecine qu'ils n'ont pas à sacrifier leur humanité pour devenir médecins. Mais est-ce vrai pour tout le monde ?

Gary Goldsand

Le patient veut-il quelqu'un de compétent ou d'authentique ?

Kim Solez

Ils ont besoin des deux. Le modèle hybride de diversité est le futur.

Intervenant

Le revenu de base universel face à l'IA. Le but de créer des machines est de nous libérer du travail. Cela va bouleverser la structure sociale.

Intervenant

Aurons-nous la même motivation ?

Kim Solez

La base de notre motivation doit changer. Ce ne sera plus l'argent. Des anciens concierges écriront de la poésie.

Gary Goldsand

La poésie suppose une certaine esthétique du bien.

Kim Solez

C'est une belle conversation. Je dois y aller pour une soirée poésie. Merci à tous d'avoir partagé vos pensées.

Richard Sutton

C'était un plaisir. C'était génial.