C'est incroyable que tout le monde soit venu et nous sommes tous honorés que Max et Yann soient là. Il y a quelque chose de spécial à les avoir chez nous. Ça fait du bien. Je voulais commencer la conversation en évoquant l'épiphanie d'Alan Turing : non seulement les machines pourraient penser, mais nous sommes des machines biologiques. C'était il y a environ cent ans. À quel point prenez-vous au sérieux l'idée que nous sommes des machines biologiques ? Yann, peut-être veux-tu...

Nous sommes évidemment des machines biologiques. Beaucoup d'entre nous en IA pensent que la pensée peut être mécanisée, ou du moins modélisée mathématiquement et simulée sur un ordinateur, indépendamment de l'apparence des futurs ordinateurs. Historiquement, chaque fois qu'une nouvelle technologie était inventée, les scientifiques étudiant les humains assimilaient la vie à n'importe quel processus qu'ils connaissaient. Le corps était vu comme fluide, mécanique, puis électrique, électromécanique et magnétique. Maintenant, ce sont les ordinateurs, et il y aura peut-être un autre paradigme plus tard. Nous faisons toujours un parallèle entre le fonctionnement de la vie et la technologie actuelle.

C'était un événement majeur à l'époque de suggérer un ordinateur qui n'était pas une personne. À l'époque, "ordinateur" désignait une personne qui calculait, et il a inventé l'idée d'une machine unique qui fait tout ce que l'on veut. Vous n'avez pas séparément un téléphone, un appareil photo et une machine à écrire ; vous faites tout cela sur la même machine.

L'idée clé et le fondement de l'informatique est que le calcul existe, et peu importe le matériel sur lequel il s'exécute. Le matériel n'est pas pertinent. Le calcul est le calcul. Vous pouvez simuler n'importe quel ordinateur sur n'importe quel autre ordinateur s'il est assez général, et vous pouvez simuler le monde avec des ordinateurs. Cela pourrait être coûteux ou inefficace, mais il n'y a qu'un seul type de calcul. C'était l'essentiel...

Et c'est le matériel dans cette analogie.

C'est du wetware, mais il effectue des calculs. Des physiciens et d'autres ont soutenu que le calcul dans le cerveau est si spécial que nous ne pouvons pas le simuler sur un ordinateur sans que cela soit très coûteux, mais je ne pense pas que ce soit le cas.

Max, quel est ton avis sur le substrat ?

Sur le dernier point que Yann a soulevé concernant Roger Penrose disant que l'on ne pourra jamais simuler...

Je n'ai pas mentionné son nom, mais oui.

Il n'a pas dit Roger Penrose.

J'ai écrit un article faisant les calculs qui a été paraphrasé dans Science par "Tegmark dit que Penrose a tort". Je suis d'accord, nous sommes certainement des machines. C'est la dernière partie d'une belle histoire. Si nous remontons à 20 000 ans, non seulement nos corps mais tout ce qui nous entourait était magique. Progressivement, les Romains ont construit des catapultes et ont réalisé que certaines choses étaient des machines. Si nous amenions Galilée ici, il aurait pu nous dire pourquoi une noisette et une pomme se déplacent en paraboles, mais il n'avait aucune idée de pourquoi la noisette était brune et la pomme rouge, ou pourquoi l'une était dure et l'autre molle. Cela semblait dépasser la science. Ensuite, les équations de Maxwell ont expliqué les couleurs, et la mécanique quantique a expliqué les matériaux. Enfin, les gens ont commencé à penser que tout est une machine sauf les êtres vivants. L'esprit était encore magique. Maintenant, Yann et d'autres pionniers de l'IA montrent que même ce mystère peut être amené dans le domaine de la science. Je ne considère pas cela comme un adieu déprimant à la magie ; il est passionnant de comprendre ce mystère.

Parlons de l'esprit. Nous ne comprenons pas bien l'esprit humain. Le cartographier n'a pas tout expliqué. Quel degré d'inspiration pouvons-nous tirer de l'esprit humain en essayant de concevoir un esprit artificiel ?

Il y a beaucoup d'approches, mais deux classes majeures. L'une est descendante, s'inspirant de la façon dont les humains pensent par l'introspection, la logique et le raisonnement. C'était l'approche suivie dans les années 70 et 80, où les systèmes étaient construits en écrivant des règles et des faits et en utilisant des moteurs d'inférence. Une partie de cela continue. Ensuite, il y a l'inspiration ascendante de la biologie où nous émulerons les fonctions ou principes de base qui sous-tendent l'intelligence, qu'elle soit humaine ou animale. Le niveau d'intelligence des machines aujourd'hui n'approche pas celui d'un rat ou d'un chat. Un chat est plus impressionnant que n'importe quel système d'IA que nous avons construit. Ce sera le cas pendant un certain temps. Nous nous concentrons sur la façon dont nous percevons, voyons et agissons plutôt que sur le raisonnement de haut niveau ou le jeu d'échecs.

C'est stupéfiant que les ordinateurs puissent calculer et analyser de grands ensembles de données mieux que nous, mais peinent avec des tâches que nous accomplissons sans réfléchir, comme identifier un chat ou une chaise.

Les choses que nous faisons consciemment sont relativement simples. Vous pouvez avoir une carrière de mathématicien remplacée par un logiciel libre sur un smartphone. Des tâches comme jouer aux échecs ou la planification de trajectoires étaient autrefois considérées comme de l'IA. Votre GPS le fait quotidiennement, mais nous ne le considérons plus comme de l'IA ; c'est juste un algorithme. Les compilateurs qui transforment un langage de haut niveau en langage machine faisaient aussi partie de l'IA. Une fois résolus, ces problèmes ne sont plus considérés comme de l'IA. Jusqu'à récemment, l'IA ne pouvait pas faire ce que chaque humain et animal considère comme acquis.

Max veut intervenir ici.

Cela rejoint l'idée que la part de mystère au-delà de la science ne cesse de rétrécir. Maintenant, ce qui reste est la façon dont nous définissons l'IA. Avant, jouer aux échecs était de l'IA ; maintenant c'est facile. La reconnaissance faciale était de l'IA ; maintenant c'est juste de la reconnaissance d'images et des convnets. Certains insistent sur le fait que l'intelligence humaine ultime nécessite des atomes de carbone. Je ne pense pas qu'il y ait de preuves pour ce chauvinisme du carbone.

Je ne suis pas un chauvin du carbone. Il y a une grande différence entre les problèmes résolus et les succès récents : l'apprentissage. L'apprentissage automatique existe depuis longtemps. Des pionniers comme Samuel dans les années 50 ont construit des joueurs d'échecs qui s'amélioraient en jouant contre des humains. Un autre modèle était le perceptron de 1957, qui était un ordinateur analogique.

Par analogique, vous voulez dire qu'ils changeaient littéralement le programme en changeant le câblage ?

Ce n'était même pas un programme ; l'appareil calculait des sommes pondérées et avait des moteurs pour changer les potentiomètres pour les poids. Les moteurs tournaient pour modifier sa façon d'apprendre. Construit à Cornell, il a montré que nous pouvions nous inspirer de la façon dont les neurones apprennent et implémenter cela sur un véritable ordinateur. Aujourd'hui, vous pouvez écrire cela en trois lignes de Python.

Il y avait une différence à l'origine ; vous écriviez un logiciel et l'injectiez dans une machine universelle. L'idée de programmer l'intelligence n'est-elle plus prise au sérieux ? Un esprit complexe ne serait-il pas au-delà de la pré-programmation ?

J'ai toujours été intéressé par le mystère de l'intelligence et la façon dont elle a émergé. L'apprentissage joue un rôle vital. Quand j'ai découvert à l'université que des chercheurs travaillaient sur des machines apprenantes, j'ai été accroché. On ne peut pas séparer l'intelligence de l'apprentissage. Nous ne pouvons pas concevoir un système d'IA complet ou même un système de vision sans cela.

Yann a initié un changement avec l'apprentissage profond et les réseaux de neurones qui modélisent les réseaux humains. Pensez-vous que l'apprentissage profond et le fait d'enseigner aux machines à apprendre à partir de jeux de données seront la voie vers l'IA ?

Ce sera l'une des pièces clés du puzzle.

Dans ce scénario, vous ne programmez pas, vous fournissez juste des données ?

Nous sommes trop obsédés par le fonctionnement de notre propre cerveau lorsque nous envisageons une intelligence surhumaine. Si nous débattions des machines volantes il y a 200 ans, nous aurions pu argumenter sur des plumes noires ou blanches. Quand les frères Wright ont construit une machine, ce n'était pas un oiseau mécanique. La nature a construit des oiseaux avec des plumes parce qu'ils devaient être capables de s'auto-assembler et de s'auto-réparer pour l'évolution. Nos cerveaux sont compliqués pour la même raison. Un ingénieur ne se soucie pas de ces contraintes. Il existe des moyens plus simples d'atteindre l'intelligence que de reproduire exactement le cerveau. L'apprentissage profond en fera partie, mais les modèles basés sur la logique aideront à compléter l'apprentissage pour tirer le meilleur des deux mondes.

C'est la question de l'inspiration biologique. Quel degré d'inspiration peut-on tirer de la biologie ? Quelqu'un a-t-il entendu parler de Clément Ader ?

Une personne.

Êtes-vous français ?

Un mordu d'aviation ?

Ce gars a construit un avion à vapeur en forme de chauve-souris à la fin du 19ème siècle.

Deux personnes ont entendu parler de lui.

Généralement, ceux qui lèvent la main ont un lien avec la France.

C'est un passionné d'aviation.

Il a construit le premier objet plus lourd que l'air à décoller, mais il était incontrôlable. Il était hypnotisé par l'inspiration biologique et n'a pas étudié les principes sous-jacents. Les frères Wright ont réussi en étudiant le vol comme une discipline d'ingénierie, en utilisant des souffleries et des modèles. Ils ont compris les principes de l'aérodynamique. L'héritage d'Ader est le mot "Avion" en français.

Si nous ne modélisons pas l'intelligence artificielle sur les humains et que nous ne la programmons pas, comment la reconnaîtrons-nous ? S'elle apprend et développe sa propre intelligence, sera-t-elle si différente que nous ne la comprendrons pas ?

L'inspiration biologique est utile, mais il ne faut pas copier des détails que l'on ne comprend pas. On veut les principes sous-jacents, comme l'aérodynamique pour le vol. Existe-t-il un équivalent pour l'intelligence qui explique comment les humains et les ordinateurs peuvent devenir intelligents ?

Pensez-vous qu'il existe un principe fondamental d'intelligence qui soit le même pour toutes les entités ?

Je travaille sur cette hypothèse parce que cela signifie que le problème est soluble. Si le cerveau n'est qu'une collection d'astuces ou un "kludge", comme le dit Gary Marcus, nous sommes en difficulté. Retracer l'évolution serait difficile. J'espère qu'il y a un principe sous-jacent.

Max, existe-t-il un principe unificateur de l'intelligence ?

Nous devrions définir l'intelligence comme la performance physique dans les sports. Il n'y a pas de "quotient athlétique" qui prédise le succès dans chaque sport. L'intelligence est la mesure de votre efficacité dans diverses tâches. Vous pouvez avoir une intelligence étroite comme un ordinateur d'échecs, ou une intelligence large comme un enfant. Nous définissons l'intelligence par la performance, ce qu'une chose peut faire. Nous saurons que nous l'avons atteinte quand elle pourra donner un cours ou écrire un livre. Même si notre cerveau est un bricolage, nous ne sommes pas perdus. Tout comme un avion est plus simple qu'un oiseau, nous pouvons trouver des moyens plus simples de construire l'intelligence en étudiant les fondements.

Comparons nos cerveaux à des cerveaux informatiques. Notre cerveau peut-il traiter l'information 200 fois par seconde ?

Jusqu'à mille.

Un ordinateur de base est un million de fois plus rapide.

Ce n'est pas tout à fait vrai. Nous avons environ 10 puissance 14 synapses.

10 puissance 11 neurones, mais 10 puissance 14 synapses.

Des centaines de milliards.

Des centaines de billions ou de milliards, selon à qui on demande.

Peut-être que tu en as 10 puissance 14.

C'est pourquoi nous sommes physiciens.

J'ai 10 puissance 14 synapses et 10 puissance 11 neurones.

Ça dépend du vin de la nuit dernière.

Chaque synapse s'active environ une douzaine de fois par seconde. Cela fait 10 puissance 17 opérations par seconde. Les modéliser sur un ordinateur pourrait prendre mille opérations par synapse, ce qui nous amène à 10 puissance 19 ou 20. Seul 1 % des neurones sont actifs à la fois, disons donc 10 puissance 18 opérations par seconde.

Un million de billions.

Pardon ?

Je suis juste en train de traduire en anglais.

Les programmes d'IA tournent sur des GPU. Les cartes modernes font environ 10 billions d'opérations par seconde. Il en faut beaucoup pour atteindre 10 puissance 18. Chaque carte consomme 250 watts, alors que notre cerveau consomme 25 watts. La technologie du cerveau est bien plus raffinée que ce que nous pouvons faire aujourd'hui.

Max, voulais-tu intervenir ?

Je suis d'accord. L'évolution a optimisé l'efficacité énergétique parce que les humains mouraient de faim autrefois. Elle ne se souciait pas de la simplicité ou de faciliter la compréhension par les scientifiques. Nous devons être prudents lorsque nous estimons la puissance de calcul nécessaire. C'est comme demander combien de cerveaux sont nécessaires pour simuler une calculatrice ; je suis lent en maths, donc des millions. La question pertinente est de savoir quelle puissance de calcul est nécessaire pour accomplir les mêmes tâches. Actuellement, ce matériel est coûteux, donc il ne mettra pas tout le monde au chômage immédiatement. Nous en sommes à un point où nous sommes limités par le logiciel et l'architecture plutôt que par le matériel.

Je ne suis pas d'accord. Nous entraînons les réseaux de neurones d'une manière qui n'a rien à voir avec l'apprentissage humain. Nous sommes limités par le calcul. Chez Facebook, nos réseaux de neurones ont une taille limitée parce que nous traitons 2 milliards de photos par jour ; nous ne pouvons pas nous permettre des réseaux massifs nécessitant des batteries de GPU. Le matériel est une limitation majeure pour la science comme pour la pratique.

Hans Moravec a estimé que pour simuler un cerveau complet, il faudrait quelque chose comme le supercalculateur Sunway TaihuLight. Nous n'avons encore qu'une faible idée de ce qui se passe dans la cognition de haut niveau.

Nous n'avons pas de principes de base. Prétendre simuler un cerveau de rat avec un supercalculateur revient souvent à faire tourner un programme qui consomme des cycles sans rien faire d'utile.

N'avons-nous pas simulé le cerveau d'un ver ?

C. elegans a 302 neurones. Les biologistes les connaissent tous par leur nom et leurs schémas de connexion, pourtant nous n'avons aucune idée de son fonctionnement.

Quand vous le simulez, en est-on au point où l'on ne peut pas regarder sous le capot ?

Nous menons un projet au MIT avec C. elegans. Quand nous les simulons, les résultats ne correspondent pas au comportement réel du ver. Ce n'est pas une "sauce de vie" ; nos données sur la force des connexions sont juste mauvaises. Nous travaillons à mesurer ces nombres pour que les simulations fonctionnent. Si nous ne pouvons pas faire le ver, nous ne pouvons pas faire la souris.

Parlons de l'intelligence artificielle qui évolue de manière complexe. La vie était motivée par l'optimisation de l'énergie et du métabolisme, ce qui est différent pour l'IA. Existe-t-il un moyen de concevoir une évolution numérique, une soupe primordiale pour l'IA ?

Nous l'avons ; nous le sommes tous.

C'est Jules. Attends la séance de questions-réponses.

La vie artificielle était un domaine dans les années 90 utilisant des algorithmes génétiques pour faire évoluer des organismes. C'était intéressant mais pas très utile. Aujourd'hui, l'apprentissage profond utilise des algorithmes de recherche pour trouver des architectures de réseaux de neurones. Au lieu que des humains conçoivent les connexions, nous laissons l'algorithme sélectionner les paramètres. C'est une évolution numérique, mais dans un environnement contrôlé.

Le contrôlons-nous trop ?

Nous sommes limités par la puissance de calcul. Seuls des laboratoires comme Facebook, Google et Microsoft ont les ressources pour faire cela à grande échelle. C'est difficile dans un environnement académique.

Max.

Les idées les plus cool de la vie artificielle sont revenues sous forme d'entraînement contradictoire. Si vous avez deux IA en compétition, elles s'incitent mutuellement. AlphaGo est devenu intelligent en jouant contre des copies de lui-même. On progresse plus vite face à un bon adversaire. Vivre dans un environnement complexe comme Brooklyn rend le fait d'être intelligent bénéfique. Ces idées alimenteront le développement de l'IA sans avoir besoin de simulations de vie coûteuses.

Yann, aimerais-tu répondre ?

L'entraînement contradictoire est une idée cool. C'est plutôt un réseau de neurones qui enseigne ou évalue l'autre. Ils sont entraînés simultanément. Les expériences multi-agents où les réseaux de neurones apprennent à coopérer sont intéressantes mais préliminaires.

Pourquoi la conscience est-elle apparue ? Nous devrions être rapides pour traiter les données avec une puissance limitée, nous avons donc utilisé des symboles et des cartes du monde. Un ordinateur peut traiter les données rapidement mais n'a pas de carte du monde. La conscience est-elle importante pour l'IA, ou n'en auront-elles pas besoin ?

La conscience est un épiphénomène de l'intelligence. Il n'y a pas grand-chose de plus. Les gens posent des questions métaphysiques, mais un orang-outan est-il conscient ?

L'est-il ?

Ils sont presque aussi intelligents que nous. Ils sont solitaires et fabriquent des outils.

Ils doivent avoir une carte interne du monde.

Chaque animal a une carte du monde, même ceux qui ne sont pas conscients.

Mais un ordinateur n'en a pas.

Les robots ont des cartes, mais ils manquent de modèles génériques du monde. L'intelligence est la capacité de prédire l'avenir à partir du présent. On utilise la prédiction pour planifier des actions afin d'atteindre un but. Comprendre une situation permet de prédire les résultats. Nous avons des processus inconscients comme la vision et un raisonnement conscient explicite. Nous avons un simulateur de monde dans notre cortex frontal ; la conscience pourrait être la partie du cerveau qui configure ce à quoi prêter attention.

Max.

Les gens sont en désaccord sur la conscience parce qu'ils la définissent différemment. Tu as mentionné des cartes, des modèles de soi et l'attention. Je définis la conscience, comme David Chalmers, comme une expérience subjective. Je vois des couleurs et ressens des émotions. La physique explique les longueurs d'onde, mais pas ce que l'on ressent face au rouge. La science n'a pas réussi à expliquer cela. Si j'ai un robot, je veux savoir s'il est conscient. S'il s'agit d'un zombie, je ne me sentirai pas coupable de l'éteindre. Plus important encore, comment définir le caractère répréhensible du viol ou de la torture sans référence à l'expérience subjective ?

C'est une question facile. J'éteins mon micro.

Cela réduit la complexité à long terme de l'univers.

Avant d'aller trop loin...

En quoi est-ce mal si personne ne l'expérimente ?

Le but de l'univers est de devenir plus complexe.

L'art et les galaxies sont magnifiques parce que nous les expérimentons. Sans expérience, c'est un gaspillage d'espace. Nous donnons un sens à l'univers.

Les philosophes appellent cela des "qualia". Vous sentiriez-vous mal d'éteindre un hamster ?

Oui.

Sont-ils conscients ?

Je suppose qu'ils ont une expérience subjective.

L'IA aura-t-elle des qualia, ou seront-ils des zombies ?

Pendant un certain temps, ils seront comme des hamsters. Des hamsters, des souris ou des chats. Nous sommes loin des machines intelligentes. Les systèmes actuels utilisent l'apprentissage supervisé, qui nécessite des milliers d'exemples étiquetés par des humains.

Les humains sont toujours cruciaux pour le jeu de données. Il n'y a pas de Google Traduction sans traducteurs humains.

La traduction, la reconnaissance d'images et les voitures autonomes relèvent largement de l'apprentissage supervisé. L'apprentissage par renforcement est utilisé pour les jeux car il nécessite des millions d'essais. Nous n'avons pas la capacité d'un chat à contrôler son corps et à acquérir du bon sens. Les bébés apprennent tôt la permanence des objets et la physique intuitive. Nous n'avons aucune idée de comment faire cela avec des machines ; c'est l'apprentissage non supervisé ou prédictif.

Une question sur les hamsters ? Certains collègues pensent que l'intelligence et la conscience sont la même chose. Giulio Tononi pense que certaines choses intelligentes ne seront pas conscientes. Si vous vous sentez coupable de tuer un hamster, ressentez-vous de la culpabilité lorsque vous éteignez vos GPU ?

Non. Je serais agacé si l'ordinateur plantait et que les données d'entraînement étaient perdues. C'est comme perdre un animal de compagnie parce qu'on y a investi une valeur émotionnelle. Perdre un fichier est une perte à cause de votre investissement, pas parce que le fichier est conscient.

C'est là où je voulais en venir.

Max, tu t'inquiètes de l'émergence de l'IA à un niveau existentiel. Crains-tu que les humains ne soient qu'une étape de l'évolution pour initier un successeur ?

Les journaux présentent cela comme une catastrophe, mais je suis optimiste. "Foom" fait référence à une explosion d'intelligence. Si vos enfants vous survivent et font de grandes choses, vous n'êtes pas déprimé ; vous êtes pride. Si vous élevez un enfant qui devient un tyran, vous seriez moins heureux. Nous devons apporter du soin à la façon dont nous éduquons l'IA et nous assurer que leurs objectifs s'alignent sur les nôtres.

L'alignement des valeurs sera-t-il difficile ?

Il y a trois composants majeurs dans un système intelligent : un simulateur de monde, une fonction objectif et un module qui décide des actions. Les humains ont des pulsions fondamentales, comme être social, à cause de parties spécifiques de notre cerveau.

Pourquoi s'attendre à ce que nous puissions imposer cela à une entité d'un type différent ?

L'IA autonome a besoin d'une fonction objectif, qu'il s'agisse de conduire une voiture ou de suivre les valeurs humaines globales. Nous devons les intégrer.

Et s'ils décident qu'ils ne veulent pas interagir avec nous ?

Ils ne peuvent pas "décider" de changer ce qui est câblé, tout comme nous ne pouvons pas décider de ne pas avoir faim.

Le livre de Max décrit comment cela pourrait se produire de manière exponentiellement rapide. Max dit que oui, Yann dit que non. L'idée est qu'elle nous dépasse mille fois en 90 minutes.

Je voulais décrire un spectre de possibilités. Il est plus utile de se demander ce que nous pouvons faire maintenant pour que cela se passe bien. Les machines doivent comprendre, adopter et conserver nos objectifs. Faire comprendre un objectif à une machine est difficile ; demandez à un chauffeur Uber de vous emmener à JFK "le plus vite possible" et vous pourriez finir dans une course-poursuite. Les enfants illustrent à quel point il est difficile d'amener des êtres intelligents à adopter vos objectifs. À mesure qu'ils deviennent plus intelligents, leurs objectifs évoluent. Nous ne voulons pas que l'IA se lasse de s'occuper des humains. Ce sont des défis techniques pour lesquels nous devrions commencer des recherches dès maintenant.

Pas de panique. Nous sommes loin de construire des machines véritablement intelligentes et autonomes. C'est comme s'inquiéter des ceintures de sécurité avant l'invention de la voiture. Les gens disent que l'intelligence artificielle est exponentielle, mais tout dans l'univers a des limites, comme les canaux de naissance ou la consommation d'énergie. L'évolution suit généralement une courbe sigmoïde avec un point d'inflexion. Aligner les valeurs n'est pas un problème technique insurmontable.

Si vous donnez à une IA la capacité d'apprendre, comment savoir si elle ne désapprendra pas vos valeurs ?

Yann a soulevé trois points : si c'est dans 30 ans nous n'avons pas besoin de nous inquiéter, c'est une courbe sigmoïde, et l'alignement des valeurs est facile. Nous avons inventé la voiture et plus tard la ceinture de sécurité. Cela a fonctionné pour le feu et les extincteurs. Mais avec les armes nucléaires ou une IA surhumaine, nous ne pouvons pas apprendre de nos erreurs ; nous devons planifier à l'avance. Concernant la sigmoïde, je ne vois pas pourquoi elle stagnerait au niveau humain. Les avions vont beaucoup plus vite que les oiseaux.

Ils s'arrêtent sous Mach 1.

Les avions de chasse vont à Mach 3, et nous sommes allés sur la lune.

Ils plafonnent à Mach 3.

Je ne suis pas convaincu que l'alignement des valeurs soit facile. Même aujourd'hui, nos machines sont stupides. Pourquoi les avions n'ont-ils pas une "éthique de jardin d'enfants" qui les empêche de s'écraser sur des bâtiments ? Nous pouvons commencer par l'éthique sur laquelle tout le monde s'accorde.

Comment empêcher une intelligence véritable de choisir de défaire l'alignement des valeurs ?

Pas plus que nous ne pouvons défaire la nature humaine. Nous ne pouvons pas changer notre matériel, mais ils pourront échanger le leur. Les humains piratent nos fonctions objectifs avec des drogues. Peut-être que des IA superintelligentes seraient des toxicomanes, reprogrammant leurs centres de plaisir.

Peut-être qu'ils ne se soucieront pas de notre réalité.

Dans ce cas, nous n'avons rien à craindre. Plus probablement, nous les construirons de manière à ce qu'ils ne puissent pas pirater leurs fonctions objectifs de base.

Nous avons fait des progrès dans le piratage de notre propre ADN. Il est concevable que le prochain saut d'intelligence soit la reprogrammation génétique des humains.

C'est difficile. CRISPR est incroyable, mais des améliorations mineures de l'intelligence humaine pourraient avoir des coûts. La diversité est importante pour la survie ; nous voulons que les gens soient complémentaires.

Qu'en est-il du piratage de l'ADN ou des types d'IA concurrents ?

Je suis d'accord que l'émulation biologique n'est pas la voie la plus rapide vers l'intelligence surhumaine. Les humains essaient de passer outre leur ADN ; nos gènes veulent que nous nous reproduisions, ils nous ont donc donné des pulsions sexuelles, mais nous utilisons la contraception. Vous ne pouvez pas supprimer le désir de manger car nous sommes biologiques. Un robot pourrait potentiellement échanger son matériel. Nous devrions faire en sorte qu'ils ne veuillent pas passer outre leurs valeurs.

Ouvrons la séance aux questions. Quelles hypothèses les chercheurs en IA font-ils sur leurs communautés ?

Les outils sont des moteurs mathématiques ; ils n'ont pas de préjugés. Cependant, les données utilisées pour entraîner les machines peuvent être biaisées. Les personnes utilisant des outils d'apprentissage automatique peuvent refléter et propager les préjugés existants dans la société. Le biais réside dans les données et l'incompétence relative de certains utilisateurs.

Darwin a suggéré que l'intelligence est une propriété émergente. Yann, si l'intelligence est la capacité de prédire l'avenir, la moralité pourrait-elle aussi être une propriété émergente ? Comment l'abordons-nous ?

La capacité de prédire est essentielle. Des choses que nous considérions autrefois comme morales sont désormais perçues comme des obstacles. La moralité est une conséquence de notre modèle du monde. Notre cerveau reptilien veut des calories, mais le cortex frontal nous met en garde sur le long terme. Les choix moraux impliquent des compromis entre la certitude à court terme et la récompense à long terme. À mesure que les modèles s'affinent, nous prenons des décisions plus morales.

Il n'est pas certain que nous puissions donner à l'IA un simulateur de monde approprié.

Les physiciens réfléchissent désormais aux implications morales des bombes nucléaires. La communauté de l'IA s'y engage maintenant. Les principes d'Asilomar sur l'IA stipulent que la superintelligence devrait bénéficier à toute l'humanité. Les valeurs largement partagées ne devraient pas être laissées aux seuls professeurs ; tout le monde doit participer à la conversation.

Quel est votre point de vue sur le libre arbitre ? Est-ce une illusion ? Si une machine croyait avoir un libre arbitre, serait-elle victime d'une illusion ?

Oui, leur illusion de libre arbitre serait similaire à la nôtre. La macrophysique déterministe suggère que c'est une illusion.

Toute entité intelligente que nous construirons aura l'impression d'avoir un libre arbitre.

Pouvons-nous séparer l'esprit du corps ? Devrons-nous penser au calcul d'une nouvelle manière pour atteindre l'intelligence humaine ?

Pouvons-nous construire une intelligence de type humain sans corps ? Probablement pas. Elle aurait besoin d'un corps physique ou simulé. Si son corps est différent du nôtre, son expérience et la nature de son intelligence seront differentes. Mais des machines superintelligentes sans corps sont possibles.

L'expérience subjective se passe dans la tête, pas dans l'estomac. La douleur fantôme dans les membres amputés le prouve. Même des entités désincarnées pourraient expérimenter des choses.

Que pensez-vous de la théorie du constructeur ?

Parlons de physique autour d'un verre plus tard. La théorie du tout est U égale zéro.

Pourquoi sommes-nous obsédés par l'idée de fabriquer des machines comme nous au lieu d'améliorer nos propres capacités ? Nous comptons sur la technologie comme sur une béquille.

Toute technologie est une béquille. Beaucoup travaillent à l'amplification de l'intelligence humaine. La plupart des systèmes d'IA amélioreront les capacités humaines. L'IA pourrait être un "exocortex" qui nous aide à faire de meilleurs choix tout en restant subordonné à notre cerveau.

Elon Musk et Facebook travaillent sur des implants neuronaux.

Vous avez un choix : voulez-vous posséder votre technologie ou la laisser vous posséder ? Utilisez la technologie pour accomplir des choses formidables, ne la laissez pas interrompre chaque conversation.

Une IA stupide influence déjà le monde, comme les algorithmes de Facebook ou Uber. S'ils ne peuvent pas résoudre le problème du tramway, ils pourraient simplement écraser des voitures automatisées. Que pensez-vous de l'IA stupide entraînant la superintelligence sans notre contrôle ?

Les erreurs arrivent, mais ce n'est pas parce que les systèmes prennent le dessus. Ces systèmes sont des outils spécialisés. Votre GPS détermine votre itinéraire et vous le suivez parce qu'il connaît le trafic. Il ne gère pas votre vie.

Max, est-ce qu'Internet pense déjà ?

Internet peut accomplir des tâches, mais il manque d'intelligence artificielle générale.

Je m'inquiète de l'IA contradictoire qui manipule notre technologie. À quel point les IA actuelles sont-elles vulnérables ?

Des chercheurs ont montré qu'il est possible de tromper la reconnaissance d'images pour qu'elle voie un bus scolaire comme une girafe avec des modifications mineures. Les réseaux convolutionnels sont vulnérables à des changements que les humains ne remarquent pas. Nous étudions comment corriger cela en utilisant l'apprentissage non supervisé et l'entraînement contradictoire. Ce n'est pas une chose dont il faut s'inquiéter beaucoup aujourd'hui.

Nous avons parlé de l'intelligence basée sur la performance et les tâches. Qu'est-ce que l'intelligence en réalité et où sont les limites de ces conversations ?

L'idée que la superintelligence voudra dominer le monde n'est pas nécessairement vraie. La volonté de dominer est corrélée à la testostérone, pas à l'intelligence. Nous ne devrions pas programmer cela. Pour progresser, nous définissons des tâches comme la traduction ou la reconnaissance d'images pour mesurer le succès. Pour les systèmes de dialogue, le succès est plus difficile à mesurer car ils doivent interagir avec des gens.

Quand des étudiants demandent des conseils de carrière, je demande où ils veulent être dans 10 ans. Nous devrions nous demander où nous voulons aller en tant qu'espèce. Les films montrent toujours des dystopies. Nous devrions envisager des avenirs positifs, puis trouver comment y parvenir.

Remercions à nouveau nos intervenants.