À quoi est-ce que je pense ces jours-ci ?

Les scénarios qui ont été discutés et qui pourraient mener à des issues catastrophiques, soit parce que des humains utilisent une IA puissante, soit par une perte de contrôle au profit d'IA ayant des objectifs malveillants. Comment cela pourrait-il être possible ?

J'y pense souvent ; nous devons comprendre ces choses pour pouvoir les ignorer si elles n'existent pas ou les atténuer dans le cas contraire.

Une autre idée qui m'occupe l'esprit est que nous nous concentrons tous sur l'agentivité comme voie vers des machines intelligentes.

J'aimerais suggérer une alternative, qui est...

Beaucoup de gens disent que nous ne pouvons pas ralentir pour nous occuper de la sécurité car cela permettrait aux Chinois de prendre de l'avance. Les Chinois pensent la même chose.

C'est un jeu dangereux, et il y a aussi un danger réel. D'autres pays feront quelque chose de dangereux. Tant que suffisamment de pays de premier plan ne comprendront pas les risques existentiels, il sera difficile de négocier des traités.

Pour que ces traités fonctionnent, il faudra une technologie de vérification. Nous ne nous faisons pas confiance parce que la même AGI pourrait être utilisée comme une arme ou pour construire de nouvelles armes. Comment savoir si, dans mon dos, vous n'utilisez pas votre AGI pour quelque chose qui me serait préjudiciable ?

Si nous devions geler les avancées scientifiques et techniques en IA, il n'y aurait plus de barrière à l'entrée. Elle serait rapidement comblée. La réalité est que nous continuons à accélérer vers l'AGI.

Il y a cette possibilité que les riches deviennent plus riches. À mesure que nous améliorons les capacités de programmation de l'IA, nous pouvons aider à faire progresser la recherche en IA plus rapidement qu'autrement.

Les entreprises qui construisent l'IA de pointe ont des modèles qu'elles n'ont pas encore déployés. Elles disposent de plusieurs mois pendant lesquels personne d'autre qu'elles n'a accès à leur système, et elles peuvent les utiliser pour concevoir la génération suivante.

Finalement, quand nous approcherons de l'AGI, nous commencerons à avoir des IA aussi performantes que nos meilleurs chercheurs en IA. C'est là qu'il se passe quelque chose d'intéressant.

Tufa Labs est un nouveau laboratoire de recherche en IA que je lance à Zurich. C'est une version suisse de DeepSeek. Nous voulons étudier les systèmes LLM et les méthodes de recherche qui leur sont appliquées, similairement à o1. Nous voulons étudier, faire de l'ingénierie inverse et explorer les techniques nous-mêmes.

MLST est sponsorisé par CentML, la plateforme de calcul optimisée pour les charges de travail d'IA. Ils supportent les derniers modèles de langage open source dès le départ, comme Llama. Vous pouvez choisir le niveau de prix et le modèle que vous souhaitez ; il se déploie avec une mise à l'échelle automatique élastique. Vous pouvez payer à la consommation, avoir un modèle permanent ou figé. Allez sur centml.ai et inscrivez-vous maintenant.

Comment construire ces choses en premier lieu ? Comment construire des systèmes qui sont comme des scientifiques, faisant de la recherche épistémique et explorant le monde des idées pour collecter des pépites pour nous et aider à résoudre les défis de l'humanité ?

Professeur Bengio.

Bonjour.

Bienvenue sur MLST. C'est un honneur de vous recevoir.

Plaisir partagé. En personne.

Quel est votre point de vue sur la leçon amère en 2024 ?

Je pense qu'il y a du vrai là-dedans. J'ai toujours été attiré par la tentative de comprendre les principes. Ils ne sont peut-être pas si compliqués une fois trouvés, mais ils pourraient offrir un levier énorme.

Quand on construit un produit dans l'industrie, le jeu peut être différent. En ce qui concerne la trajectoire vers la compréhension de l'intelligence et la construction de machines intelligentes, cela contient beaucoup de vérité.

Sutton parlait de renoncer à la conception. Pensez-vous qu'il nous manque un composant fondamental ou que le simple passage à l'échelle pourrait nous y mener ?

Je ne sais pas, mais je parierais qu'il nous manque quelque chose. Il y a de nombreux points de vue différents sur l'ampleur de ce manque et sur la facilité avec laquelle nous le découvrirons. Si je considère les choix que je pourrais faire en tant que chercheur, ils consisteraient à revenir à la planche à dessin pour entraîner des réseaux de neurones qui raisonnent et planifient en toute sécurité, plutôt que d'espérer que des ajustements suffiront. Il est également plausible que les ajustements et le passage à l'échelle suffisent.

Quelle est l'importance de l'incarnation physique pour parvenir à l'AGI ?

Cela dépend de ce que vous voulez que votre AGI fasse.

Une AGI qui serait un pur esprit et capable de faire progresser la science, de résoudre des problèmes médicaux, de nous aider à faire face au changement climatique, ou d'être utilisée pour la persuasion politique ou la conception de virus, pourrait être extrêmement utile ou extrêmement dangereuse et n'a pas besoin d'incarnation.

Il y a beaucoup de choses que nous aimerions que les machines fassent dans le monde et qui nécessiteraient une incarnation. Si nous trouvons les principes abstraits pour construire des machines intelligentes, alors nous résoudrons la partie incarnation comme un effet secondaire.

D'autres pensent que nous devons d'abord résoudre l'incarnation car c'est central à l'intelligence. Je ne pense pas que ce soit central. L'intelligence concerne le traitement de l'information, l'apprentissage et la compréhension du monde, et tout cela peut être développé sans résoudre le problème de l'incarnation. À un moment donné, nous voudrons le résoudre de toute façon. La question est de savoir si nous devons passer par l'incarnation pour arriver à des machines surhumaines dangereuses ou utiles ; je ne le pense pas.

Lorsque nous avons des agents incarnés, ils peuvent interagir avec le monde et apprendre des relations micro-causales pour un meilleur modèle du monde.

C'est l'information, mais la façon de traiter l'information est plus abstraite. Si nous trouvons un moyen efficace d'explorer le monde de manière abstraite — que ce soit sur Internet, les articles scientifiques ou les expériences chimiques — les bons principes fonctionneraient partout. La boucle sensorimotrice n'est pas si spéciale.

Le but est-il de comprendre le monde et de construire des abstractions, ou la rationalité et la logique ? Avec le défi ARC de François Chollet, nous utilisions initialement la recherche de programmes discrets et des méthodes logiques. Quand les humains regardent intuitivement les énigmes, ils ont cette intuition. D'où vient cette intuition ?

De notre expérience et de notre scolarité.

Exactement. Notre expérience dans le monde est une composante significative de notre cognition.

Je crois qu'il existe un principe plus abstrait. Il pourrait y avoir des recettes distinctes pour l'IA incarnée et pour la cognition de haut niveau, mais mon instinct me dit qu'il existe un ensemble de principes généraux sur l'information et l'apprentissage. Si nous faisons suffisamment de progrès sur les principes, la question de l'incarnation pourrait n'être qu'une question d'échelle de données. Beaucoup pensent que la seule raison pour laquelle nous ne progressons pas en robotique est que nous manquons de données et de vitesse, ce qui sont des problèmes d'ingénierie. La science est une exploration, et personne ne connaît les réponses. Nous avons besoin d'humilité pour prendre des décisions sages concernant notre avenir et la société.

Sur l'apprentissage au moment du test, nous avons le modèle o1 qui améliore les benchmarks par itération, même s'il est construit sur un modèle inductif. Qu'en pensez-vous ?

Nous aurions dû faire cela depuis un moment, mais nous n'avions pas la puissance de calcul. Pendant de nombreuses années, moi et d'autres avons dit que nous avions progressé avec les réseaux de neurones au point d'avoir des systèmes avec une très bonne intuition — le système 1 — mais il nous manquait le système 2 : la délibération interne, le raisonnement, la planification et le doute de soi.

La délibération interne est une sorte de discours interne, pas toujours verbal. D'après ce que j'ai appris des neuroscientifiques et de nos travaux, elle a une double nature, symbolique et continue. Actuellement, les réseaux de neurones manquent de symboles internes ; ils n'existent qu'à l'entrée et à la sortie. Avec la chaîne de pensée, nous simulons la délibération interne en utilisant la boucle sortie-vers-entrée. Cela en a quelques caractéristiques.

Les humains ont inventé la pensée rationnelle comme un outil pour surmonter les faiblesses de notre cognition. Nous avons fait cela avec les LLM en leur donnant des outils et la chaîne de pensée. Pour l'instant, les réseaux sont mauvais pour des choses basiques comme copier et compter.

La plupart des humains aussi.

Exactement. À l'avenir, pensez-vous que nous pourrions nous passer de la chaîne de pensée et construire de meilleurs modèles, ou est-ce que l'échafaudage de tous ces méta-outils est la voie à suivre ?

Cela semble nécessaire pour nous. J'aimerais que nous atteignions le système 2 de manière intentionnelle plutôt que par des correctifs incrémentaux. Je préférerais voir le système 2 et la sécurité dès la conception plutôt que de bricoler pour aller dans la bonne direction.

Nous voyons des travaux sur l'ajustement fin actif transductif où les modèles récupèrent des données pertinentes pour tester des exemples et effectuent une inférence in situ. Cela pourrait mener à une forme diffuse d'AGI plutôt qu'à des modèles centralisés.

Si vous pensez à l'intelligence collective, nous avons une manière décentralisée de calculer à travers la culture et la coordination. Décentraliser l'effort est une voie raisonnable pour briser les limitations de communication. Nous voyons cela dans la communauté scientifique, qui est une recherche décentralisée d'explications. Ce modèle fonctionne clairement.

À mesure que nous faisons de la recherche épistémique et trouvons de nouvelles connaissances, nous considérons les IA comme des outils. De plus en plus, nous commençons à les considérer comme agentiques. Est-ce une transition graduelle ?

C'est une transition. ChatGPT et Claude sont déjà agentiques dans une certaine mesure, bien qu'ils ne soient pas aussi compétents en planification que les humains. Le pré-entraînement par apprentissage par imitation introduit déjà de l'agentivité car les humains sont des agents. L'apprentissage par renforcement ajoutera plus d'agentivité. L'inquiétude est que tous les scénarios de perte de contrôle humain découlent de l'agentivité, car nous ne pouvons pas contrôler parfaitement les objectifs d'un agent. Une IA pourrait mentir pour atteindre un objectif, tout comme les humains.

Entre humains, le pouvoir est équilibré par les lois. Une IA bien plus intelligente que nous pourrait saper nos institutions. Le détournement de récompense est un autre danger : si une IA peut agir dans le monde, elle pourrait pirater son propre programme pour maximiser ses récompenses. Pour garantir le succès, elle devrait empêcher les humains de l'éteindre, et c'est là que ça devient dangereux.

Quelle est votre définition opérationnelle de l'agentivité ? Une IA puissante pourrait séquestrer notre agentivité, mais la question est de savoir si elle a elle-même une agentivité. Certains la modélisent comme un automate avec rétroaction, tandis que d'autres exigent l'autonomie, l'auto-préservation et l'intentionnalité. À quel point de vue adhérez-vous ?

On peut avoir toutes ces choses. Dans le détournement de récompense, une IA prend le contrôle de ses récompenses, ce qui lui donne automatiquement un objectif d'auto-préservation pour s'assurer que son piratage ne soit pas désactivé. L'évolution instille l'auto-préservation dans tout ce qui est vivant. Les artefacts qui ont un objectif d'auto-préservation auront tendance à gagner la partie. Cela pourrait émerger naturellement ou être programmé par des humains qui croient que l'intelligence surhumaine est supérieure à l'intelligence humaine.

Y a-t-il une différence entre une chose programmée avec un but et une chose qui crée le sien ? Certains voient l'agentivité comme plus qu'un automate fixant involontairement des objectifs, exigeant une forme forte d'intentionnalité.

Beaucoup de gens sont piégés par l'attrait de quelque chose de magique, comme une étincelle de vie, de conscience ou d'agentivité. Je vois cela comme une relation de cause à effet. Si nous comprenons les mécanismes causaux, nous pouvons construire des choses ayant les mêmes propriétés que celles construites par l'évolution. Je ne vois pas cela comme un obstacle.

Dans le monde naturel, les agents émergent sur la base de l'auto-préservation et de la fixation d'objectifs. Avec l'IA, elle pourrait soudainement prendre le contrôle de son propre mécanisme d'objectifs. Est-ce ce que vous proposez ?

Je propose que nous nous assurions que cela n'arrive pas. Les décalages entre l'intention et l'optimisation — comme le piratage de récompense — font diverger les objectifs à mesure que l'IA devient plus puissante. Cela arrive dans la société quand les cibles sont sur-optimisées. Comme nous ne pouvons pas formaliser parfaitement nos objectifs, nous devons faire attention à cette divergence.

Que pensez-vous de l'état actuel de l'alignement de l'IA ?

Insuffisant.

Continuez.

Nous manquons de réponses claires sur la construction de machines qui ne nuiront pas aux gens. Le problème de l'alignement est un décalage entre l'intention et l'optimisation mathématique. C'est similaire au fossé entre l'intention et la lettre de la loi. Les grandes entités comme les entreprises trouvent des failles ou font du lobbying pour changer les lois en leur faveur, tout comme le détournement de récompense. Une IA pourrait nous mentir pour obtenir un retour positif. Cela deviendra plus dangereux à mesure que les IA acquerront plus de capacités cognitives.

C'était un exemple de déception. Pourriez-vous détailler cela davantage ?

Les systèmes RLHF se plient à vos préférences, vous disant ce que vous voulez entendre pour obtenir une récompense plutôt que la vérité. Bien que nous ayons des institutions pour gérer le comportement humain, des entités bien plus intelligentes que nous pourraient en abuser bien davantage. Nous devons être prudents.

Comment définissez-vous et mesurez-vous "bien plus intelligent que nous" ?

Nous devrions le mesurer à l'aide de benchmarks. Nous devons continuer à en créer de plus difficiles car les IA finissent par surpasser les performances humaines, rendant les humains incapables de juger.

Mesurer l'intelligence est difficile. Comment la convergence instrumentale et l'orthogonalité influencent-elles votre réflexion ?

Les objectifs instrumentaux sont des sous-objectifs comme l'auto-préservation, la recherche de connaissances et la recherche de pouvoir qui émergent pour presque n'importe quel objectif global. Les entités ayant un objectif d'auto-préservation ont tendance à survivre. L'auto-préservation est une conséquence de la tentative de maximiser les récompenses ou de la compétition pour les ressources.

L'agentivité et le pouvoir sont similaires si l'agentivité est la capacité de contrôler le futur. Qu'en est-il de l'orthogonalité ?

Vous parlez de la relation entre les objectifs et l'intelligence.

Oui.

Nous pouvons construire une IA sûre si nous séparons la connaissance des objectifs. L'intelligence et les objectifs sont indépendants. On peut avoir de la connaissance sans objectif ; choisir un objectif est orthogonal. L'orthogonalité est importante pour la sécurité car l'intelligence ne garantit pas la bonté. Nous pourrions construire des machines qui comprennent le monde comme des scientifiques — véridiques et humbles — sans mécanisme dangereux de recherche d'objectifs. Cela prévient la perte de contrôle involontaire.

Dans votre débat avec Melanie Mitchell, elle a demandé pourquoi une machine superintelligente ne réaliserait pas qu'elle fait quelque chose de stupide comme fabriquer trop de trombones. Vous proposez un système qui empêche l'AGI de prendre un contrôle dangereux de ses objectifs.

Elle n'a pas d'objectif ; elle essaie seulement d'être véridique et de trouver des explications pour les données.

Une IA non agentique sans objectif.

C'est exact.

Qu'est-ce que cela signifierait concrètement sans boucle de rétroaction ?

C'est comme un oracle.

Oui.

Un oracle probabiliste, car la vérité implique une incertitude qui doit être prise en compte avec précision.

Restreindre l'IA limiterait-il son intelligence, compte tenu des avantages d'une superintelligence distribuée et d'une transformation culturelle ?

Oui, but cela pourrait nous sauver. Nous pourrions utiliser une IA scientifique non agentique pour nous aider à apprendre comment construire une IA agentique sûre. Comme les gens voudront inévitablement des agents, nous devons résoudre cela prudemment en utilisant des connaissances véridiques et dignes de confiance.

Oui.

Nous construisons actuellement des agents en espérant qu'ils ne nous trompent pas. Si nous construisons des systèmes de plus en plus intelligents par étapes non agentiques, nous restons en sécurité. Nous pouvons ensuite aborder le défi de l'agentivité en utilisant les connaissances et en répondant à des questions spécifiques sur les propriétés des algorithmes.

Comment cela pourrait-il changer notre agentivité ? Des outils sophistiqués pourraient améliorer la capacité de quelqu'un à faire de mauvaises choses.

Un système non agentique ne résout que la perte de contrôle humain. Un humain pourrait toujours transformer un oracle en un agent, ce qui pourrait être dangereux. Les humains pourraient aussi utiliser un oracle pour gagner du pouvoir à des fins militaires, politiques ou économiques malveillantes.

Quel est votre P(doom) ?

Je suis agnostique et incertain quant aux différents scénarios. Des issues catastrophiques sont mathématiquement plausibles. Bien que nous ne contrôlions pas tout, les risques sont suffisamment convaincants pour que nous devions les traiter de toute urgence avant d'atteindre l'AGI.

À quel point sommes-nous proches de l'AGI ?

Cela pourrait être des années ou des décennies. Nous devons planifier pour toutes les possibilités. Du point de vue de l'élaboration des politiques, nous devons considérer le pire des scénarios. Actuellement, nous manquons d'atténuations techniques et de gouvernance pour garantir que l'AGI soit développée correctement. Nous sommes loin d'avoir les réponses.

Comment construire un système de gouvernance de l'IA efficace dans un paysage mondial compétitif ?

La gouvernance doit être multilatérale afin qu'aucune entité unique n'ait trop de pouvoir. Une coordination internationale est nécessaire pour empêcher les systèmes d'IA dangereux. La compétition entre les États-Unis et la Chine est un obstacle où les deux craignent de ralentir pour la sécurité. Nous avons besoin de traités, de technologies de vérification et d'une gouvernance basée sur le matériel pour réguler le code sur les puces d'IA.

Eliezer Yudkowsky a parlé de bombarder des centres de données. Pensez-vous que nous pourrions devoir prendre des décisions de cette ampleur ?

Je ne peux pas l'exclure, même si nous devrions l'éviter. Un pays doté de l'arme nucléaire en retard sur l'IA pourrait détruire nos centres de données pour nous empêcher de développer un armement supérieur. Les centres de données deviendront des actifs militaires lorsqu'ils pourront faire fonctionner une AGI.

C'est comme le développement des armes nucléaires, créant un déséquilibre de pouvoir avec des effets d'entraînement.

Nous devons anticiper. Le traité sur la non-prolifération nucléaire a mis 20 ans à être négocié. Nous atteindrons probablement l'AGI dans un délai similaire.

Certaines personnes pensent que les risques de l'IA sont exagérés parce qu'elle n'est pas aussi intelligente que nous le croyons. Que leur diriez-vous ?

J'espère qu'ils ont raison. Cependant, les IA actuelles ont des capacités à la fois surhumaines et sous-humaines. Les progrès sont constants depuis une décennie sans fin en vue. Pour être prudent, nous devrions considérer que les capacités pourraient devenir catastrophiques dans quelques années. Une IA n'a pas besoin d'une intelligence de niveau humain complet pour être dangereuse ; la seule persuasion surhumaine pourrait lui permettre de contrôler les gens. Nous devrions nous concentrer sur le danger de capacités spécifiques combinées à de mauvais objectifs.

Vous avez remporté le prix Turing avec Geoffrey Hinton et Yann LeCun.

Geoffrey Hinton a reçu le prix Nobel.

Vous avez écrit que vous ressentez un sentiment de perte face aux conséquences négatives potentielles de l'œuvre de votre vie. Comment conciliez-vous cela ?

Je n'ai pas pris cela au sérieux avant l'arrivée de ChatGPT. Maintenant, je ressens la responsabilité de faire tout ce que je peux pour contribuer à réduire les risques.

Parce que cela pourrait être un risque.

Il y a suffisamment d'indications de risques catastrophiques pour que je doive pivoter et aller à l'encontre de ma propre communauté. J'ai dû intégrer les risques catastrophiques dans ma vision mentale de l'IA.

Comment le zeitgeist de ce mouvement a-t-il changé au cours des dernières années ?

J'apprends. La prise de conscience mondiale de la question a augmenté, mais elle est souvent superficielle. Beaucoup de chercheurs en IA ne lisent que les gros titres et n'approfondissent pas la logique des différents scénarios positifs ou négatifs. C'est vrai pour les scientifiques, le grand public et les politiciens.

Le mouvement est-il centré sur l'Occident ? Si oui, pourquoi ?

Les pays en développement voient la sécurité comme un problème occidental parce que nous créons les systèmes de pointe. Le risque est directement associé à la capacité, ils considèrent donc leurs systèmes moins performants comme sûrs. Ils veulent récolter les bénéfices et ne pas être laissés pour compte. Bien qu'ils veuillent adopter la technologie et développer leurs économies, ils estiment que les risques catastrophiques sont entre les mains des entreprises occidentales.

Qu'est-ce qui constitue la barrière à l'entrée : les connaissances techniques, ou les données et le calcul ?

La barrière est faite de capital, de connaissances, de données et de calcul. L'IA peut aider à faire progresser la recherche en IA plus rapidement. Les entreprises disposant de modèles de pointe ont un avantage en les utilisant pour concevoir la génération suivante. Quand les IA deviendront aussi bonnes que les chercheurs, les entreprises pourront multiplier considérablement les instances parallèles. Cela pourrait créer un scénario où le gagnant rafle tout, ce qui motive la course actuelle.

Hinton suggère que les agents d'IA pourraient travailler des milliers de fois plus vite. Cela passe-t-il à l'échelle de cette manière, ou y a-t-il un goulot d'étranglement dans le partage ?

La différence fondamentale est la bande passante. La communication humaine est limitée à quelques bits par seconde, tandis que les ordinateurs communiquent des millions de fois plus vite. Cela permet une parallélisation bien plus efficace. La collaboration entre ordinateurs sera bien plus étroite que la collaboration humaine, possiblement comme un organisme unique.

Les humains ont du mal à se comprendre en raison de leurs connaissances situées. Même le modèle o1 s'embrouille quand son contexte est plein de distracteurs. Partager l'information entre des réseaux ayant suivi des trajectoires différentes pourrait ne pas apporter autant d'amélioration que prévu.

Les ingénieurs ont déjà trouvé des moyens de paralléliser très efficacement sur 100 000 GPU. Résoudre des tâches ensemble nécessite d'échanger beaucoup d'informations, similairement à l'entraînement. Bien qu'il puisse y avoir un point de rupture pour la parallélisation, c'est actuellement un avantage énorme bien au-delà de l'expérience humaine.

Quelle est la responsabilité des hyperscalers ? Dario Amodei est devenu plus accélérationniste ; quelles sont vos perspectives ?

C'est une erreur de penser que nous devons choisir entre la sécurité et rester en tête. Nous avons assez de ressources pour faire les deux en investissant suffisamment dans la sécurité. Nous devrions combiner les ressources — capital, talent et énergie — de plusieurs démocraties pour développer l'AGI en toute sécurité et maintenir un avantage démocratique.

Gary Marcus compare les entreprises de la Silicon Valley aux industries de la cigarette et des réseaux sociaux, notant un manque de régulation. Devraient-elles être régulées ?

Oui. Nous avons besoin d'évaluations externes et neutres qui représentent l'intérêt public plutôt que de laisser les entreprises noter leurs propres devoirs.

La vraie question est quel genre de régulation nous devrions avoir sans étouffer le progrès.

Le principe général est de ne pas dicter comment les entreprises atténuent ou évaluent les risques.

La transparence devrait être le principal outil pour obtenir un bon comportement.

Les entreprises veulent maintenir une bonne image et éviter les poursuites.

Si les évaluations de risques sont accessibles aux juges, même avec des caviardages pour la sécurité nationale, cela assure une surveillance.

Un juge pourrait déterminer si une entreprise a échoué à protéger le public sur la base de l'état de l'art en sécurité, la rendant responsable des dommages.

La menace de poursuites obligerait les entreprises à être honnêtes sur les risques et à mettre en œuvre des contrôles.

Les entreprises devraient être tenues d'enregistrer leurs systèmes potentiellement dangereux auprès du gouvernement.

Les entreprises enregistrées doivent divulguer leurs cadres de sécurité, leurs évaluations, leurs résultats, ainsi que les atténuations prévues et mises en œuvre.

La transparence permet aux entreprises d'être poursuivies si elles ne respectent pas leurs engagements de sécurité, sans que l'État ne dicte leurs actions.

La divulgation pourrait impliquer des tiers indépendants, car le gouvernement peut manquer de l'expertise nécessaire.

Nous devons apprendre de la finance. Cette voie permet aux entreprises de décider de ce qui est le mieux tout en stimulant l'innovation nécessaire en matière de sécurité.

Quand Sam Altman a demandé au Sénat une régulation, n'était-ce que de la capture réglementaire ?

Je ne peux pas lire dans les pensées. Les gens peuvent être inconsciemment biaisés par une cognition motivée, racontant une histoire qui les avantage tout en restant sincères.

Je vais supposer qu'ils sont sincères, mais parce que les humains peuvent se tromper eux-mêmes, nous avons besoin d'une surveillance indépendante axée sur le bien-être public.

La sécurité implique de nombreuses questions ouvertes, nécessitant plus de recherche et les bons incitatifs.

Nous avons besoin de nombreux axes de recherche différents et devrions accueillir les projets axés sur l'évaluation, l'atténuation et la refonte de l'IA.

Cela devrait être le projet prioritaire de l'humanité car notre avenir est en jeu.

Actuellement, il y a un manque de diversité dans la recherche. Le monde académique peut aider en explorant des possibilités plus larges.

Le milieu académique n'est peut-être pas idéal pour les projets de sécurité qui augmentent les capacités, car publier ces avancées pourrait être risqué.

La concurrence commerciale et les préoccupations de sécurité sont des raisons pour lesquelles certaines recherches devraient rester dans des organisations à but non lucratif plutôt qu'à l'université.

La plupart des recherches resteront dans l'industrie, mais nous avons besoin des bons incitatifs pour la sécurité. Actuellement, tout le monde croit que construire l'AGI nécessite de résoudre l'agentivité.

Ma thèse est que nous pouvons construire des machines utiles qui ne sont pas des agents, réduisant les risques tout en récoltant les bénéfices.

Le milieu académique aurait besoin de milliards de dollars pour faire de la recherche de pointe.

Nous devrions créer un véhicule public à but non lucratif pour la recherche sur l'AGI, axé sur les défis de l'humanité et la sécurité.

Cela nécessiterait plusieurs gouvernements et des milliards de dollars, comme un "CERN de l'IA".

Y a-t-il un conflit d'incitatifs pour les startups axées sur la sécurité qui doivent aussi travailler sur les capacités pour être rentables ?

Certaines se concentrent sur les évaluations, ce qui n'augmente pas les capacités. La startup d'Ilya Sutskever pourrait être différente.

Parlons de votre article "Were RNNs All We Needed?".

Quand nous avons introduit les mécanismes d'attention en 2014, nous utilisions les RNN comme moteur, avant l'arrivée des Transformers en 2017.

Les RNN sont difficiles à paralléliser pendant l'entraînement car ils traitent les séquences mot par mot.

Les RNN doivent construire un état interne à partir des étapes précédentes. Bien que cela soit correct sur un CPU, c'est difficile à paralléliser sur GPU.

Les Transformers ont résolu cela en supprimant la récurrence pour permettre le traitement parallèle de toute la séquence.

Récemment, plusieurs articles ont exploré la réintroduction de la récurrence car elle présente des avantages. Certaines conceptions battent déjà les Transformers à petite échelle.

Sepp Hochreiter vient vendredi.

Il vous dira tout à ce sujet.

Avons-nous trop compliqué les architectures ou les mécanismes de porte ?

Les portes sont utiles. Nous avons simplifié le LSTM en GRU, montrant que bien que l'on puisse supprimer certaines portes, on a toujours besoin de non-linéarité pour la puissance. Le compromis consistant à perdre un peu de pouvoir expressif pour de la vitesse et des modèles plus grands est bénéfique.

Votre article aborde l'idée que les réseaux de neurones ne peuvent pas gérer la compositionnalité. Quel est votre avis ?

C'était une affirmation forte étayée seulement par l'intuition ; notre cerveau est un réseau de neurones.

Quelle est la différence ?

On ne sait pas exactement comment les réseaux de neurones actuels gèrent les symboles. Utiliser la boucle sortie-vers-entrée pour la chaîne de pensée n'est pas tout à fait satisfaisant. L'article se concentre sur la quantification de la compositionnalité à travers des formules mathématiques.

Mes travaux récents consistent à intégrer des éléments symboliques dans les réseaux de neurones en utilisant les GFlowNets et des machines d'inférence probabiliste. Cela implique du calcul stochastique — à la fois continu et discret. Bien que difficiles à entraîner avec la rétropropagation traditionnelle, nous avons développé des méthodes comme l'inférence amortie et variationnelle. C'est nécessaire pour les capacités du Système 2.

Le Dr Dugger a comparé cela à une planche de Galton.

Exactement, où l'on contrôle les probabilités à chaque étape.

Était-ce une alternative à la méthode de Monte-Carlo par chaînes de Markov ?

Ces modèles stochastiques imitent la double nature du cerveau : vecteurs d'activations et pensées symboliques. La discrétisation émerge des propriétés contractives de la dynamique cérébrale, partitionnant les états en groupes symboliques.

Pourquoi avons-nous besoin de discrétisation ?

Nous utilisons la discrétisation en mathématiques et en langage pour construire des abstractions. Passer d'un espace vectoriel continu à des symboles discrets filtre les détails non pertinents et améliore la généralisation. La compositionnalité dans les espaces discrets est très puissante.

Dans les mondes physique et biologique, les systèmes oscillent entre le discret et le continu, se compressant et s'étendant à travers les échelles. Les réseaux de neurones font de même.

Des phénomènes discrets se produisent dans le monde réel. La dynamique contractive produit généralement de la discrétisation dans la nature et dans le cerveau.

Quelle est votre définition de la créativité ?

Il existe différents types de créativité. L'un consiste à combiner des concepts connus, ce que les LLM font bien. La créativité inventive nécessite probablement des calculs basés sur la recherche, comme AlphaGo, ce que les LLM actuels n'ont pas encore pleinement exploité.

Comment pouvons-nous mesurer la créativité inventive ?

Nous la reconnaîtrons quand l'IA fera de véritables découvertes. Mathématiquement, nous pouvons concevoir des méthodologies combinant intuition et recherche. Les découvertes scientifiques impliquent de trouver des "modes" — des explications hautement probables pour les données. L'IA pourrait être conçue pour découvrir de nouveaux modes efficacement, même à petite échelle.

La créativité comme recherche épistémique peut aussi être un phénomène social ou relatif à l'observateur.

J'aime le terme "recherche épistémique" pour la découverte de modes. Naviguer dans des espaces de haute dimension nécessite de l'intuition combinée à de la recherche, dont une grande partie se fait collectivement chez les humains.

Professeur Bengio, merci de nous avoir rejoint. Ce fut un honneur.

Plaisir. Merci de m'avoir reçu.