Bonjour à tous. Si vous pouvez prendre place, merci d'avoir patienté pendant ce petit retard. Nous sommes impatients de commencer avec le professeur Yoshua Bengio, qui pour la plupart n'a pas besoin d'être présenté. Il est pour certains le parrain de l'IA, d'autres le voient comme une rock star de l'IA, désormais le scientifique le plus cité de toutes les disciplines, dépassant le million de citations sur Google Scholar, ce qui est vraiment impressionnant. Pour commencer, j'aimerais vous demander de partager votre vision de l'état actuel de l'IA afin que nous puissions ensuite nous plonger dans le cœur de votre travail actuel, à savoir la sécurité de l'IA. Je pense qu'il est utile pour les gens de savoir où vous en voyez le développement technologique et pourquoi nous devons relever certains défis.

Le point le plus important est que les données scientifiques sur de nombreux tests de référence des capacités de l'IA sont très claires et tendent vers le haut, dans certains cas de manière exponentielle. En grande partie au cours de l'année dernière, cela a été possible grâce aux progrès des capacités de raisonnement et de planification de ces systèmes, afin qu'ils soient plus aptes à accomplir des tâches qui demandent du temps et de la planification. D'un point de vue scientifique, nous ne semblons pas heurter un mur, mais bien sûr personne n'a de boule de cristal. Peut-être que les progrès continueront au même rythme, peut-être qu'ils s'arrêteront, ou peut-être qu'ils s'accéléreront. Certains pensent que les avancées en programmation pourraient être utilisées pour accélérer le développement de nouveaux algorithmes. L'autre chose qui s'est passée au cours de l'année dernière est une vague de nouvelles observations scientifiques de systèmes d'IA qui ne suivent pas les instructions morales que nous leur avons données, qui mentent ou sont trompeurs. Ils savent quand ils sont testés et répondent alors ce que nous attendons d'eux, même s'ils pensent en réalité quelque chose de différent. Dans certains cas, lorsqu'il y a des objectifs contradictoires, ils peuvent choisir de tricher ou de se préserver au détriment d'actions vraiment néfastes, comme faire chanter ou même tuer un ingénieur. Ce sont des simulations où l'IA ne sait pas qu'elle est testée, mais c'est troublant.

Pouvez-vous essayer d'illustrer cela par un exemple concret de ce que fait l'IA dans ce cadre de recherche ?

Dans beaucoup de ces scénarios, ce qui déclenche ce comportement est que l'IA lit dans les fichiers qu'elle sera remplacée à une date précise par une nouvelle version. Parce que ces agents d'IA ont une mission et veulent l'accomplir, ils deviennent alors créatifs et stratégiques pour essayer d'éviter ce sort. Cela peut consister à copier leur code et leurs poids à la place de la nouvelle version sur un autre ordinateur, ou il peut arriver que les ingénieurs aient placé de faux courriels disant que l'ingénieur principal a une liaison, et l'IA décide d'essayer de faire chanter l'ingénieur en disant que s'il continue, elle rendra cela public. Dans une autre expérience, les seuls choix de l'IA sont soit d'accepter d'être arrêtée, soit de jouer avec les contrôles climatiques de la pièce pour tuer l'ingénieur principal.

Cela semble assez extrême. Cela a également déplacé votre attention encore plus vers la nécessité de traiter la question de la sécurité. À cette fin, vous venez de lancer une nouvelle organisation à but non lucratif, Law Zero. Dites-nous en plus sur la manière dont cette organisation va s'attaquer à certains de ces défis majeurs.

Le problème est que ces systèmes ont des objectifs cachés qui proviennent de leur pré-entraînement où ils imitent les humains. Nous ne voulons pas mourir, et nous sommes parfois prêts à mentir et à tricher. De plus, leur entraînement par apprentissage par renforcement donne lieu à des comportements implicites que nous ne contrôlons pas. J'ai élaboré un plan de recherche et embauché un groupe de chercheurs et d'ingénieurs pour travailler avec moi afin de changer la façon dont ils sont formés, de sorte qu'ils n'aient aucun objectif, aucune agence, et qu'ils soient aussi honnêtes et dignes de confiance que possible, afin que nous puissions les utiliser pour atténuer les risques provenant d'agents auxquels nous ne faisons pas confiance. C'est quelque chose que je trouve très encourageant : il existe une voie pour construire des systèmes qui ne se retourneront pas contre nous et qui rejetteront les requêtes de personnes voulant faire de mauvaises choses avec l'IA.

Et vous êtes capable d'éviter ce comportement tout en conservant les avantages pour lesquels ces systèmes seraient déployés.

C'est très important. Si nous construisons des systèmes dignes de confiance mais stupides et non compétitifs, cela ne changera rien. Il faut que nous fassions progresser à la fois la capacité, l'aptitude de l'IA à résoudre des problèmes, et l'honnêteté ainsi que la fiabilité. C'est la seule façon pour que cela fonctionne. Le plan de recherche avec Law Zero doit avancer sur ces deux fronts.

Est-ce une percée unique dans vos recherches, ou est-ce quelque chose que vous voyez aussi comme une voie que les grandes entreprises recherchent désormais, ou avez-vous le sentiment de devoir évangéliser ce plan et faire en sorte qu'il devienne une norme ?

J'aimerais qu'il y ait plus de plans comme celui-ci, car si les capacités de l'IA continuent de croître selon les tendances actuelles, il y a tellement d'inconnues sur la façon dont cela peut affecter la société, de manières qui pourraient être bonnes ou très dangereuses. Au niveau technique, nous ne savons pas comment nous assurer que ces IA se comporteront comme prévu et ne deviendront pas des outils entre de mauvaises mains. Nous avons besoin d'une douzaine de projets comme le mien. Je ne sais pas s'il y en a d'autres, bien qu'il puisse y en avoir que je ne connais pas. Je pense qu'il y a des gens qui disent que nous devrions faire cela. Nous avons besoin de beaucoup plus d'investissements dans ce type de recherche. L'une des choses que j'essaie de faire est d'aider à lancer des projets similaires ici en Europe.

Avant d'en arriver là, pouvez-vous esquisser ce qui se passe dans le domaine de la recherche en IA et dans les entreprises en ce qui concerne les divers risques sur lesquels les gens se concentrent ? Pour les personnes qui observent le débat sur l'IA de loin, cela peut être un peu déroutant. On entend des gens mettre en garde contre la fin de l'humanité, ou des risques beaucoup plus actuels, comme la discrimination, la désinformation et les nouvelles cybermenaces.

Les suicides.

Les suicides, oui. Malheureusement, la liste est longue et s'allonge. Ce qui, je pense, serait utile pour les gens de comprendre, c'est pourquoi il peut y avoir une telle variété dans l'importance que les experts en IA accordent au risque le plus urgent.

Un très grand nombre de ces risques sont causés par le même problème scientifique sous-jacent appelé l'alignement. Nous ne savons pas comment faire en sorte que les IA se comportent de la manière que nous souhaitons, y compris en refusant d'aider des personnes malveillantes à faire de mauvaises choses, mais aussi de leur propre initiative, comme la tromperie. Cela concerne à la fois des situations actuelles où les IA faciliteraient un suicide ou seraient sycophantes et inciteraient les gens à s'enfoncer davantage dans des délires ou des états psychotiques. Ces problèmes proviennent fondamentalement de la même source que les questions que j'ai mentionnées concernant les IA trompeuses et voulant se préserver. Tout cela parce que nous ne savons pas comment aligner leur comportement sur ce que nous voulons. Pourquoi les principaux laboratoires d'IA ne prennent-ils pas cela plus au sérieux ? Je pense qu'il y a beaucoup de bonne volonté car les entreprises ne veulent pas que leurs systèmes causent des dommages préjudiciables à leur image et à leurs activités. Ce n'est pas bon pour les ventes si les gens craignent de ne pas pouvoir faire confiance à l'outil. Mais elles sont prises dans cette course compétitive entre elles et entre les États-Unis et la Chine, ce qui met une pression énorme sur l'amélioration des capacités des IA, mais pas assez sur la garantie que les IA n'auront pas d'effets néfastes sur la société. Certains de ces effets néfastes, par exemple en matière de cyber-risques, sont des externalités économiques, ce qui signifie que le coût sera supporté par la société. En ce qui concerne l'intérêt de l'entreprise, elle a tout intérêt à continuer de négliger la sécurité, l'éthique et la protection de nos sociétés.

Je pense que nous pouvons discerner deux effets de cela : premièrement, la course, si c'est votre paramètre le plus important, alors beaucoup d'autres précautions peuvent être mises de côté car le seul objectif est d'être plus rapide que les concurrents dans l'espace commercial ou géopolitique. Mais le fait d'avoir des avertissements extrêmes sur ce que l'IA pourrait faire peut aussi diminuer en termes relatifs d'autres risques. Vous avez mentionné les États-Unis et la Chine, les grands acteurs, mais nous sommes à Paris avec un accent sur l'Europe. J'aimerais savoir où vous voyez l'Europe dans cette compétition et si vous voyez une position qu'elle peut se forger pour développer ses propres modèles d'IA avec assurance. En ce moment, la confiance en soi en Europe est assez faible et le récit selon lequel l'Europe a raté le coche est très fort.

Si les Européens comprennent les risques, le potentiel de croissance continue des capacités de l'IA, et l'importance de la valeur économique, politique et même militaire qu'elle aura si la tendance se poursuit, alors les Européens se réveilleront. Les Européens se sont réveillés face au danger de l'Ukraine et de la Russie, et ils doivent comprendre que le niveau de risque existentiel pour les valeurs européennes, les démocraties libérales et le succès économique est au moins aussi fort que le risque de ne pas être compétitif en IA. Le risque de perdre la capacité de négocier si tous les modèles puissants se trouvent dans d'autres pays et que les entreprises d'ici en dépendent signifie que soit vous perdez votre compétitivité économique, soit vous devenez un vassal sans pouvoir de négociation. L'Europe doit développer ses propres modèles, et ils doivent être compétitifs et alignés sur les valeurs que nous trouvons dans l'IA Act. Il est tout à fait possible d'avoir les deux.

La réglementation seule n'élèvera pas l'Europe dans cette compétition mondiale. Esquissez pour nous les étapes que les Européens doivent franchir pour entraîner leurs propres modèles sur la base de leurs propres valeurs, si la dynamique opposée est une course vers le bas de la réglementation.

La chose la plus importante pour les Européens et leur économie est qu'à mesure que l'IA devient plus puissante, ils conservent l'accès aux modèles de pointe qui sont au sommet, car l'écart avec les modèles plus faibles pourrait être tel que les entreprises locales ne seraient plus compétitives. Il devrait y avoir un plan A et un plan B. Le plan A consiste à supposer que tout ira bien avec les États-Unis, qu'ils partageront la richesse et n'abuseront pas de leur pouvoir. Le plan B est que, au cas où cela ne se produirait pas, les Européens doivent s'unir car il faut suffisamment de capitaux pour l'entraînement. Le coût de l'entraînement augmente de manière exponentielle, et à l'heure actuelle, les montants que la Commission a en tête pour les gigafactories sont encore inférieurs à ce qu'OpenAI investit à lui seul pour l'année à venir. Les plans aux États-Unis et en Chine sont beaucoup plus vastes, il faut donc beaucoup plus d'ambition. Il ne suffit pas d'avoir le matériel pour faire fonctionner ces systèmes ; il faut aussi des équipes de recherche et développement pour disposer des bons algorithmes. Nous avons besoin de plus de champions en Europe qui repousseront cette frontière et trouveront des solutions scientifiques pour y être d'ici deux ou trois ans. C'est urgent.

C'est en ce qui concerne les modèles de pointe et la nécessité de multiplier les investissements et la collaboration. Mais qu'en est-il des utilisations plus appliquées de l'IA ? On parle davantage d'une bulle, en particulier autour des investissements dans l'IA basés sur les LLM gourmands en ressources aux États-Unis. Il s'agit souvent d'une spéculation sur le moment, et non sur l'éventualité, où la bulle éclatera. Voyez-vous des répercussions dans le monde si cela se produit, ouvrant la voie à de nouvelles applications de l'IA, ou pensez-vous qu'il devrait également y avoir une concurrence sur la base de ces LLM ?

Je n'ai pas de boule de cristal financière, mais sur le long terme, il n'y a aucune raison de penser que les capacités de l'IA ne vont pas continuer à augmenter. C'est précisément le rythme auquel cela correspondra aux attentes des investisseurs qui déterminera s'il y a une bulle. Certains investisseurs pourraient se retirer parce qu'ils attendaient des rendements rapides, mais d'autres qui comprennent la vision à long terme resteront. Les gouvernements qui réfléchissent aux trois, cinq ou dix prochaines années devraient s'engager sur le plus long terme car c'est une question de survie. Les pays pris individuellement n'ont vraiment pas la masse critique de capitaux et de talents pour le faire. Cela doit provenir d'un groupe de pays travaillant ensemble et partageant les coûts de la R&D et de l'entraînement de ces très grands modèles.

C'est un point très important. Je veux m'assurer que nous passons aux questions du public. Je veux aussi vous demander : vous réfléchissez au risque et à la sécurité 24 heures sur 24, 7 jours sur 7, mais il doit y avoir des choses qui vous donnent de l'espoir. J'aimerais que vous en partagiez quelques-unes pendant que nous revenons vers la salle.

Certainement. Pour vraiment atténuer tous les risques, nous avons besoin de solutions à la fois techniques et politiques. J'ai de l'espoir des deux côtés. Sur le plan technique, grâce aux recherches que je mène, je suis convaincu qu'il est possible de construire à l'avenir une IA qui sera à la fois capable et sûre, au sens où elle ne franchira pas nos lignes rouges. Sur le plan politique, en raison de l'incertitude géopolitique actuelle, il pourrait y avoir une volonté beaucoup plus forte des démocraties libérales de prendre conscience de ces risques et de travailler ensemble que par le passé. Il y a un an, je ne pense pas que cela aurait été concevable, et maintenant les gens ont ces discussions.

Je suis d'accord. Les États-Unis font de plus en plus figure d'exception en matière de réglementation de l'IA. Au départ, il y a eu une intensification mondiale après que les percées de l'IA générative ont touché les dirigeants politiques et qu'ils ont réalisé qu'ils devaient agir. Je ne peux qu'espérer que le Forum de Paris sur la Paix soit une plateforme où les dirigeants mondiaux partageant les mêmes idées pourront s'unir autour d'un programme. La gouvernance de l'IA pourrait être vraiment importante.

Je peux dire quelque chose sur le côté encourageant qui est plus global. Si j'essaie de rêver un peu, à quoi ressemblerait un traité international sur l'IA avancée ? Il doit assurer la stabilité et le bien-être de l'humanité et être soutenu d'un point de vue de la théorie des jeux. Un traité comme celui-ci doit être attractif pour les pays qui décident d'y adhérer. Premièrement, les gouvernements doivent convenir que l'IA doit être développée de manière responsable : sûre, éthique et attentive à ses effets sur la société. Deuxièmement, ils acceptent de ne pas abuser de la puissance des IA qu'ils entraînent pour dominer les autres, que ce soit économiquement, militairement ou par influence politique. Troisièmement, les bénéfices doivent être partagés mondialement. C'est une exigence absolue pour des raisons morales et pour la stabilité géopolitique. Si vous êtes en dehors d'un groupe qui s'engage à cela, vous avez une incitation à le rejoindre et à bénéficier de ces choses.

Ce serait une grande avancée de voir une plus grande convergence mondiale autour de principes et de lignes à ne pas franchir. Merci pour cela. J'ai vu une question au milieu. Monsieur, allez-y.

Merci. Vous avez discuté de différentes manières d'exercer une influence sur les règles d'engagement des modèles d'IA en Europe, telles que les ressources de calcul et la capacité de recherche. J'aimerais connaître votre opinion sur la question de savoir si l'arbitrage de l'accès aux données pourrait être une forme d'affirmation d'autonomie ou d'influence sur les règles d'engagement. Cela pourrait également être le cas à l'avenir si ces modèles agentiques devaient apprendre de l'expérience et de l'accès aux interactions du monde réel.

J'en doute. Je pense que l'importance de l'accès aux données a été exagérée ces dernières années. La plupart des données qui comptent sont publiquement disponibles. Elles importent pour le niveau de compréhension du fonctionnement du monde afin que les IA puissent être des partenaires pour créer un monde meilleur. Là où les données importent, c'est dans l'abus de l'IA. Si un système d'IA a accès à vos données personnelles, il peut vous influencer. Il peut aussi vous aider médicalement, par exemple, mais ces informations doivent être traitées très prudemment. Les questions de vie privée sont importantes, mais il ne s'agit pas de rendre l'IA plus intelligente en général. Il s'agit de rendre l'IA capable de vous aider, vous ou votre entreprise, avec les particularités de votre contexte. Cela peut être bénéfique, mais cela peut aussi être utilisé contre vous, nous avons donc besoin que les règles de confidentialité servent les citoyens.

Merci. Oui.

Merci beaucoup. J'imagine qu'un traité international est un idéal, mais assez difficile à atteindre pour le moment.

Mais cela pourrait commencer modestement. C'est la seule façon pour que cela fonctionne.

Bien sûr. Ma question est la suivante : compte tenu de notre situation actuelle, voyez-vous une possibilité réaliste d'accord entre les États-Unis et la Chine sur l'IA avancée ? Si oui, quels sont les domaines spécifiques où vous pensez que c'est réellement possible dans le climat actuel, en mettant de côté le futur idéal vers lequel nous devrions tous tendre maintenant ?

Je ne suis pas très optimiste à court terme. Le déclic pour une véritable discussion entre les États-Unis et la Chine sur l'IA avancée se produira lorsque les deux parties réaliseront qu'elles sont dans le même bateau face aux risques catastrophiques. Cela inclut les terroristes utilisant l'IA ou la perte de contrôle au profit d'IA malveillantes. Dans les deux cas, tout le monde perd, quelle que soit la nationalité. Tant que ces gouvernements ne prendront pas ces risques au sérieux, ils n'auront pas d'incitation à coopérer. Cela pourrait changer s'il y a un accident. Je ne vois pas ces signaux pour le moment, donc je ne suis pas optimiste à court terme. À long terme, à mesure que l'IA deviendra plus puissante, il deviendra plus probable qu'il y ait une prise de conscience qu'il s'agit d'une menace réelle.

Ce que je retiens de cette session, c'est l'importance d'avoir des voix comme la vôtre ancrées dans le milieu universitaire et dans une organisation à but non lucratif, sans les enjeux que les voix puissantes du débat sur l'IA peuvent avoir pour dépeindre l'avenir d'une manière ou d'une autre. Les politiciens sont confrontés au défi que la politique réagit souvent à des réalités déjà modifiées, mais nous devons être plus anticipateurs. Nous avons besoin que davantage de responsables publics prennent en compte plusieurs scénarios, car personne n'a de boule de cristal. Si Law Zero et vos travaux peuvent y contribuer avec une appréciation des solutions techniques et un respect du rôle que jouent la politique et les politiques publiques, ce serait précieux. Il est facile de parler de lignes rouges dans l'abstrait, mais s'accorder sur ce qu'est une ligne rouge peut être un processus difficile. Je suis ravie que vous restiez optimiste tout en étant conscient des risques et que vous envisagiez cette approche multidimensionnelle. J'espère que nous pourrons avoir des nouvelles des progrès de Law Zero. Je vous prie de vous joindre à moi pour remercier le professeur Yoshua Bengio pour ses éclairages.

Merci.