Comment avez-vous eu vos premières conversations avec Sam Altman et Demis de DeepMind ? Sont-ils venus vers vous, ou êtes-vous allé vers eux ?

Nous avons donc créé cette lettre principalement parce que je savais que beaucoup de gens craignaient que l'IA ne mène à l'extinction et que nous ne devions pas simplement la traiter comme tout autre problème technologique, mais plutôt comme une priorité mondiale. Nous avons donc créé cette lettre pour exprimer succinctement cette préoccupation partagée, puis nous l'avons diffusée auprès de certains professeurs et, de là, elle s'est propagée de manière organique. Il y a eu des surprises, comme le fait qu'OpenAI l'ait signée, que Google DeepMind l'ait signée, que Microsoft l'ait signée, ainsi que de nombreux scientifiques qui ont construit la vague actuelle d'intelligence artificielle.

Ce qui est intéressant, c'est que j'essaie aussi de comprendre comment vous êtes né en tant que Center for AI Safety. Êtes-vous financé par l'une de ces entreprises ? Quel est le moyen ultime par lequel vous continuez à produire et à mener vos recherches ?

Nous avons commencé il y a quelque temps et nous sommes largement financés par la philanthropie. Nous ne sommes pas financés par Elon Musk ou des choses de ce genre. Nous essayons simplement de réduire les risques liés à l'IA. En tant qu'étudiant diplômé à Berkeley, je faisais des recherches sur la sécurité depuis très longtemps, c'est donc une préoccupation que j'ai depuis de nombreuses années. Et maintenant, enfin, les technologies d'IA arrivent à un point où il devient beaucoup plus évident pour la communauté scientifique qu'il s'agit d'une préoccupation majeure. Une lettre comme celle-ci n'aurait probablement pas pu exister il y a six mois, mais compte tenu des développements rapides, beaucoup de gens changent d'avis, beaucoup d'experts changent d'avis sur la gravité des risques.

Dan, je veux en fait revenir rapidement sur la question précédente de Caroline. Avez-vous accepté de l'argent de dirigeants de l'IA signataires de cette lettre, de la lettre précédente, essentiellement des noms clés dans le domaine de l'IA ?

Là, je devrais vérifier si nous recevons un financement d'employés qui sont également préoccupés par la sécurité. La communauté de l'IA est particulièrement vaste. Plus de 90 % de notre financement provient d'Open Philanthropy, qui est une organisation philanthropique indépendante.

Une question qui a surgi assez rapidement lorsque vous avez publié la déclaration il y a 24 heures est la logique ou les motivations derrière les signatures. Pourquoi font-ils cela ? Je comprends, il y a une préoccupation large et à long terme concernant les risques de l'IA, mais pourquoi pensez-vous que ces noms de premier plan qui veulent que le domaine progresse ont signé la lettre que vous avez organisée ?

Eh bien, beaucoup d'entre eux pensaient qu'il fallait avancer aussi vite que possible, que le développement de l'IA serait une chose globalement positive. Mais beaucoup de scientifiques qui ont signé cela ont récemment changé de discours. Geoff Hinton, bien sûr, a aidé à créer l'intelligence artificielle, l'intelligence artificielle moderne, tout comme Yoshua Bengio. Mais ces derniers mois, ils sont désormais nettement plus préoccupés par l'éventualité de comportements incontrôlés, par le fait que ces IA pourraient potentiellement mener à l'extinction humaine à mesure qu'elles se perfectionnent. Pour cette raison, je pense que c'est simplement parce que les gens commencent à voir que cela avance extrêmement vite, que nous ne comprenons pas comment ces technologies fonctionnent, qu'il est difficile de les diriger, et qu'elles pourraient donc potentiellement être mal utilisées. Ces choses pourraient potentiellement mener à des risques catastrophiques ou, à plus long terme, à l'extinction.

Très rapidement, en réponse à votre lettre, certains ont noté des risques de base actuels et beaucoup plus proches. Écoutez Sasha Luccioni de Hugging Face qui nous a rejoints hier.

Personnellement, je vois cela un peu comme un tour de magie, comme une diversion, n'est-ce pas ? Je tiens beaucoup, par exemple, au consentement sur les données, à la divulgation des sources de données, à la transparence dans la documentation des modèles. Et au lieu de se concentrer là-dessus, on nous dirige vers ces risques insolubles.

Accordons-nous assez d'attention aux risques plus proches et immédiats de l'IA ?

J'espère certainement que le risque d'extinction n'est pas insoluble, sinon nous sommes mal partis. Je pense donc qu'il est important pour la société de gérer de multiples risques différents. Je pense que nous pouvons certainement le faire. Je pense aussi que de nombreux risques qui nous affectent actuellement peuvent prendre des formes plus extrêmes plus tard. Par exemple, si les personnes qui développent ces technologies d'IA en ont un contrôle décisif, cela leur donne un pouvoir extrêmement élevé, et l'inégalité de pouvoir par rapport à l'IA est une préoccupation qui pourrait potentiellement devenir incontrôlable si quelques personnes tirent les ficelles de la société. Je pense donc qu'il est important que toute forme compétente de gestion des risques s'attaque aux préjudices actuels ainsi qu'aux risques extrêmes. Je pense donc que nous devons avoir une approche complémentaire.

Oui, et Dr Hendrycks, le résultat de tout cela, vous avez certainement suscité beaucoup d'intérêt, des gens qui s'alignent peut-être, ou pensent que c'est excessif ou au contraire qu'il faut mettre cela en lumière. Comment pensez-vous que nous finirons par affronter ces risques ? Vous excellez à souligner quels sont les risques. Est-ce la réglementation ? L'autorégulation ? Quel sera, selon vous, le résultat ?

Eh bien, je pense que l'autorégulation serait un début utile, mais nous ne confierions pas la gestion d'une pandémie ou de la technologie nucléaire aux seuls scientifiques. Nous ne dirions pas aux scientifiques : "Réglez la course aux armements nucléaires", ce n'est pas forcément tout à fait de leur ressort. Il y a des aspects techniques à ce problème, mais il y a aussi des aspects sociaux. Nous voulions donc simplement nous assurer que le public sache que des scientifiques en IA de toutes les meilleures universités et beaucoup de ceux qui l'ont créée craignent qu'elle ne mène même à l'extinction. Ensuite, la politique a tendance à être davantage un processus de négociation et, avec un peu de chance, nous pourrons entamer ces conversations, en reconnaissant qu'il y a des effets graves à l'horizon, tels qu'une potentielle extinction. Je pense donc que nous devons traiter cela comme une priorité mondiale et travailler à coopérer sur le plan national, mais aussi international, afin de ne pas être pris dans une course aux armements d'IA entre différents pays. La course aux armements nucléaires nous a menés au bord de la catastrophe et nous ne voulons pas d'une autre course aux armements où nous construisons des technologies extrêmement puissantes qui pourraient potentiellement nous détruire tous et où nous ne ferions qu'accumuler des stocks. Ce n'était pas un bon résultat pour l'humanité, cela aurait pu mal finir. Je ne veux pas que la même chose se produise avec l'IA, donc j'espère que nous pourrons coopérer dès aujourd'hui.

Avez-vous constaté une autorégulation décente jusqu'à présent concernant certains des dommages sociétaux plus immédiats et proches que nous voyons ? Comme beaucoup l'ont mentionné, le biais déjà intégré dans certaines des données sur lesquelles cela est construit, les inquiétudes que les mauvaises personnes soient potentiellement arrêtées par la police, les inquiétudes que de fausses informations circulent déjà. Avez-vous vu cela être abordé avant même d'en arriver à la préoccupation beaucoup plus large et significative que vous avez concernant l'extinction ?

Oui, si nous ne pouvons pas répondre à beaucoup de ces risques actuels, alors je n'ai pas beaucoup d'espoir que nous puissions aussi répondre à certains de ces risques plus importants. Je dois dire qu'il y a un certain mélange dans la réussite des entreprises à rendre leur technologie d'IA sûre. Il y a eu des échecs notables comme lors du lancement initial de Bing où il menaçait les utilisateurs, mais d'autres technologies ont été utiles en étant relativement fiables et en atténuant leur niveau de biais. Il y a donc des signes encourageants qu'un certain progrès est réalisé. Je crains cependant que, puisque les entreprises d'IA sont en concurrence les unes avec les autres et sont enfermées dans une course aux armements, il n'y aura pas assez de temps pour la sécurité, qu'elles vont donner la priorité au développement plutôt qu'à la sécurité car si elles ne donnent pas la priorité au développement et à la rendre aussi puissante aussi vite que possible, nous ne pourrons pas la rendre sûre et ramener les risques à un niveau négligeable.

Y a-t-il un risque qu'en réglementant, par l'autorégulation ou autrement, nous commencions à étouffer les nouveaux concurrents, les plus petits acteurs, les universitaires auxquels vous parlez dans les laboratoires plutôt que les grands acteurs comme Bing, Bard ou OpenAI ?

Je pense que si nous nous inquiétons pour les universitaires, ce serait largement au gouvernement de s'en occuper. Je pense que nous pouvons tout à fait cibler certains de ces risques catastrophiques pour les modèles qui se situent à un certain niveau de capacité. Cela semble être une proposition possible. Nous devrons donc voir avec ces négociations. Je pousse essentiellement pour que nous entamions ce processus et que nous essayions d'avoir une coopération sociétale plus large, y compris une coopération internationale sur ces questions.

Dan, comment le public peut-il concilier le fait que les signataires de votre pétition, de votre initiative, étaient les leaders du domaine de l'IA, les évangélistes de l'IA pour faute d'une meilleure expression, qui sont maintenant apparemment les prophètes de malheur de l'IA ? Comment sommes-nous passés si rapidement du leadership à l'inquiétude dans ce domaine ?

Je pense que c'est une étape naturelle dans n'importe quelle industrie où, au départ, on va vite et on casse tout, on cherche le risque, on bricole, on jette des choses contre le mur pour voir ce qui colle. Mais ensuite, nous commençons à passer à un régime plus avers au risque lorsque la technologie commence à affecter la société à plus grande échelle. Maintenant, les gens utilisent réellement ces technologies d'IA et nous devrions donc être nettement plus prudents quant à leurs résultats potentiels. De plus, on se rapproche beaucoup de l'intelligence de niveau humain. Auparavant, il y a deux ans, elles n'étaient vraiment pas intelligentes du tout. Mais il est tout à fait concevable que, dans les prochaines années, dans de nombreux domaines cognitifs, nous ayons des IA aussi bonnes que nous ou meilleures. Je pense que c'est l'un des principaux facteurs de ce changement de ton sous-jacent. Parce que cette course aux armements de l'IA fait que tout avance si vite, les gens commencent à penser que nous devons repenser nos priorités.