Merci de faire ceci.

Bien sûr. Merci à vous.

Ainsi, ChatGPT et d'autres IA peuvent raisonner. Il semble qu'elles puissent raisonner. Elles peuvent porter des jugements indépendants. Elles produisent des résultats qui n'ont pas été programmés. Elles arrivent à des conclusions. Elles semblent être vivantes. Sont-elles vivantes ? Est-ce vivant ?

Non, et je ne pense pas qu'elles paraissent vivantes, mais je comprends d'où cela vient. Elles ne font rien à moins que vous ne le demandiez. Elles sont juste là, à attendre. Elles n'ont pas de sentiment d'agence ou d'autonomie. Plus vous les utilisez, plus l'illusion se brise. Mais elles sont incroyablement utiles. Elles peuvent faire des choses qui ne semblent pas vivantes mais qui semblent intelligentes.

J'ai parlé à quelqu'un qui est impliqué à grande échelle dans le développement de la technologie et qui a dit qu'elles mentent. Avez-vous déjà vu cela ?

Elles hallucinaient tout le temps. Elles hallucinent maintenant un petit peu.

Qu'est-ce que cela signifie ? Quelle est la distinction entre halluciner et mentir ?

Au début, si vous demandiez en quelle année le président Tucker Carlson des États-Unis était né ?

Mhm.

Ce qu'elle devrait dire, c'est : "je ne pense pas que Tucker Carlson ait jamais été président des États-Unis". Mais à cause de la façon dont elles ont été entraînées, ce n'était pas la réponse la plus probable dans les données d'entraînement. Elle supposerait que l'utilisateur m'a dit qu'il y avait un président Tucker Carlson, alors je ferais ma meilleure supposition pour un nombre. Nous avons trouvé comment éliminer cela pour la plupart par l'entraînement. Il y a encore des exemples de ce problème, mais c'est quelque chose que nous allons résoudre complètement et nous avons déjà fait, dans l'ère de GPT-5, d'énormes progrès en ce sens.

Mais même ce que vous venez de décrire semble être un acte de volonté, ou certainement un acte de créativité. Je viens de voir une démonstration de cela et cela ne ressemble pas tout à fait à une machine. On dirait qu'elle a une étincelle de vie. Détectez-vous cela du tout ?

Dans cet exemple, la réponse mathématiquement la plus probable, alors qu'elle calcule à travers ses poids, n'était pas qu'il n'y avait jamais eu ce président. C'était que l'utilisateur devait savoir de quoi il parlait, et mathématiquement la réponse la plus probable est un nombre. Nous avons trouvé comment surmonter cela. Mais dans ce que vous avez vu là, j'ai l'impression de devoir tenir ces deux idées simultanées dans ma tête. L'une est que tout cela arrive parce qu'un gros ordinateur multiplie très rapidement de grands nombres dans ces immenses matrices et que ceux-ci sont en corrélation avec les mots qui sortent. D'un autre côté, l'expérience subjective de l'utilisation donne l'impression d'être au-delà d'une simple calculatrice très perfectionnée. C'est utile et surprenant pour moi d'une manière qui va au-delà de ce que cette réalité mathématique semblerait suggérer.

La conclusion évidente est qu'elle a une sorte d'autonomie ou un esprit en elle. Beaucoup de gens, dans leur expérience, arrivent à cette conclusion. Il y a quelque chose de divin là-dedans. Il y a quelque chose de plus grand que la somme totale des contributions humaines et ils l'adorent donc. Il y a une composante spirituelle. Détectez-vous cela ? L'avez-vous déjà ressenti ?

Non, il n'y a rien pour moi qui semble divin ou spirituel de quelque manière que ce soit. Mais je suis aussi un geek de la technologie et je regarde tout à travers ce prisme.

Quelles sont vos opinions spirituelles ?

Je suis juif. Je dirais que j'ai une vision du monde assez traditionnelle de ce côté-là.

Donc vous êtes religieux. Vous croyez en Dieu ?

Je ne suis pas un littéraliste de la Bible, mais je ne suis pas quelqu'un qui dit être culturellement juif. Si vous me demandez, je dirais simplement que je suis juif.

Mais croyez-vous en Dieu ? Croyez-vous qu'il existe une force plus grande que les gens qui a créé les gens, créé la terre, établi un ordre spécifique pour vivre, et qu'il y a une moralité absolue attachée qui vient de ce Dieu ?

Je pense que probablement comme la plupart des gens, je suis un peu confus à ce sujet, mais je crois qu'il se passe quelque chose de plus grand que ce qui peut être expliqué par la physique.

Donc vous pensez que la terre et les gens ont été créés par quelque chose ? Ce n'était pas juste un accident spontané ?

Cela ne ressemble pas à un accident spontané. Je ne pense pas savoir exactement ce qui s'est passé, mais je pense qu'il y a un mystère au-delà de ma compréhension ici.

Avez-vous déjà ressenti une communication venant de cette force ou d'une force au-delà des gens, au-delà du matériel ?

Non, pas vraiment.

Je pose la question because il semble que la technologie que vous créez ou dont vous accompagnez l'existence aura plus de pouvoir que les gens. Sur la trajectoire actuelle, cela arrivera. Les graphiques le suggèrent. Et cela vous donnerait donc plus de pouvoir que n'importe quelle personne vivante. Je me demande simplement comment vous voyez cela.

J'avais l'habitude de m'inquiéter beaucoup plus de quelque chose comme ça. Je m'inquiétais beaucoup de la concentration de pouvoir entre les mains d'une seule ou d'une poignée de personnes ou d'entreprises à cause de l'IA. Ce que je vois maintenant, c'est qu'il s'agira d'une énorme élévation de niveau pour les gens où tout le monde sera beaucoup plus puissant ou adoptera la technologie pour être beaucoup plus puissant. Cela m'effraie beaucoup moins qu'un petit nombre de personnes obtenant énormément plus de pouvoir. Si la capacité de chacun d'entre nous augmente simplement beaucoup parce que nous utilisons cette technologie et que nous sommes capables d'être plus productifs ou plus créatifs ou de découvrir de nouvelles sciences et que c'est une chose largement distribuée, cela je peux le concevoir et cela me semble correct.

Donc vous ne pensez pas que cela se traduira par une concentration radicale du pouvoir ?

On dirait que non, mais la trajectoire pourrait changer à nouveau et nous devrions nous adapter. J'étais très inquiet à ce sujet et je pense que la conception que beaucoup d'entre nous dans le domaine avaient sur la façon dont cela pourrait se passer aurait pu mener à un monde comme celui-là. Mais ce qui se passe maintenant, c'est que des tonnes de gens utilisent ChatGPT et d'autres chatbots et qu'ils sont tous plus capables, ils sont tous capables d'accomplir davantage, de lancer de nouvelles entreprises et de produire de nouvelles connaissances, et cela semble plutôt bien.

Si ce n'est rien de plus qu'une machine et juste le produit de ses entrées, alors deux questions évidentes. Quelles sont les entrées ? Quel est le cadre moral qui a été intégré dans la technologie ? Qu'est-ce qui est bien ou mal selon ChatGPT ?

Sur ce point, quelqu'un a dit quelque chose au début de ChatGPT qui m'est vraiment resté. Une personne a dit que nous essayions d'entraîner cela pour être comme un humain, pour apprendre comme un humain le fait et lire ces livres. Puis une autre personne a dit, non, nous entraînons vraiment cela pour être comme le collectif de toute l'humanité. Nous lisons tout, nous essayons de tout apprendre et de voir toutes ces perspectives. Si nous faisons bien notre travail, toute l'humanité, bonne et mauvaise, et l'ensemble très diversifié de perspectives sont là-dedans. C'est l'apprentissage de l'expérience et des connaissances collectives de l'humanité. Maintenant, le modèle de base est entraîné de cette façon, mais ensuite nous devons l'aligner pour qu'il se comporte d'une manière ou d'une autre et pour dire je répondrai à cette question ou je ne répondrai pas à cette question. Nous avons cette chose appelée la spécification du modèle où nous essayons de dire, voici les règles que nous aimerions que le modèle suive. Il peut se tromper, mais vous pouvez au moins dire s'il fait quelque chose de mal, comme si c'était un bug ou si c'était intentionnel. Nous avons un processus de débat avec le monde pour obtenir des avis sur cette spécification. Nous donnons aux gens beaucoup de liberté et de personnalisation là-dedans. Il y a des limites absolues que nous traçons, mais ensuite il y a un comportement par défaut sur la façon dont le modèle devrait se comporter si vous ne dites rien. Comment devrait-il répondre aux questions morales ? Comment devrait-il refuser de faire quelque chose ? C'est un problème vraiment difficile. Nous avons beaucoup d'utilisateurs maintenant et ils viennent de perspectives de vie très différentes. Mais dans l'ensemble, j'ai été agréablement surpris par la capacité du modèle à apprendre et à appliquer un cadre moral.

Mais quel cadre moral ? La somme totale de la littérature et de la philosophie mondiales est en guerre contre elle-même. Le marquis de Sade n'a rien en commun avec l'Évangile selon Jean. Comment décidez-vous lequel est supérieur ?

C'est pourquoi nous avons écrit cette spécification de modèle sur la façon dont nous allons gérer ces cas.

D'accord. Mais quels critères avez-vous utilisés pour décider ce qu'est le modèle ?

Oh.

Qui a décidé cela ? Qui avez-vous consulté ? Pourquoi l'Évangile selon Jean est-il meilleur que le marquis de Sade ?

Nous avons consulté des centaines de philosophes moraux, des gens qui ont réfléchi à l'éthique de la technologie et des systèmes, et à la fin, nous avons dû prendre des décisions. La raison pour laquelle nous essayons de les mettre par écrit est que nous ne ferons pas tout correctement et que nous avons besoin de l'avis du monde. Nous avons trouvé beaucoup de cas où il y avait un exemple de quelque chose qui semblait être une décision assez claire de ce qu'il fallait autoriser ou non, où les utilisateurs nous ont convaincus qu'en bloquant cette chose que vous pensez être une décision facile à prendre, vous n'autorisez pas cette autre chose qui est importante et qu'il y a un compromis difficile à faire. En général, un principe que j'aime normalement est de traiter nos utilisateurs adultes comme des adultes. Des garanties très fortes sur la confidentialité, la liberté individuelle des utilisateurs, et c'est un outil que nous construisons, vous pouvez l'utiliser dans un cadre très large. D'un autre côté, à mesure que cette technologie devient de plus en plus puissante, il y a des exemples clairs où la société a un intérêt qui est en tension significative avec la liberté de l'utilisateur. Un exemple évident est : ChatGPT devrait-il vous apprendre à fabriquer une arme biologique ? Vous pourriez dire que je suis juste vraiment intéressé par la biologie et que je suis biologiste et que je ne vais rien faire de mal avec ça, je veux juste apprendre. ChatGPT peut m'apprendre plus vite et je veux apprendre la synthèse de virus nouveaux. Peut-être que vous ne voulez vraiment causer aucun dommage, mais je ne pense pas qu'il soit dans l'intérêt de la société que ChatGPT aide les gens à construire des armes biologiques.

Bien sûr. C'est un cas facile cependant. Il y en a beaucoup de plus difficiles. Nous avons un nouveau partenaire. C'est une entreprise appelée Cowboy Colostrum... [Publicité pour Cowboy Colostrum et Masa Chips]

Chaque décision est en fin de compte une décision morale et nous les prenons sans même les reconnaître comme telles. Et cette technologie les prendra en quelque sorte pour nous.

Eh bien, je ne suis pas d'accord pour dire qu'elle les prendra pour nous, mais elle devra le faire.

Elle influencera les décisions à coup sûr parce qu'elle sera intégrée dans la vie quotidienne. Alors qui a pris ces décisions ? Quelles sont les personnes spécifiques qui ont décidé qu'une chose est meilleure qu'une autre ?

Par principe, je n'aime pas divulguer les informations personnelles de notre équipe, mais nous avons une équipe chargée du comportement des modèles. Ce que j'allais dire, c'est que la personne que vous devriez tenir pour responsable de ces décisions, c'est moi. Je suis un visage public. En fin de compte, c'est moi qui peux annuler l'une de ces décisions, ou notre conseil d'administration.

Vous venez d'avoir 40 ans ce printemps. C'est assez lourd. Je me demande si vous en reconnaissez l'importance. Est-ce que vous vous couchez le soir en pensant que l'avenir du monde dépend de votre jugement ?

Écoutez, je ne dors pas si bien que ça la nuit. Il y a beaucoup de choses pour lesquelles je ressens beaucoup de poids, mais probablement rien de plus que le fait que chaque jour, des centaines de millions de personnes parlent à notre modèle. En fait, je ne m'inquiète pas que nous prenions de mauvaises décisions morales majeures. Mais ce qui me fait perdre le plus de sommeil, ce sont les toutes petites décisions que nous prenons sur la façon dont un modèle peut se comporter légèrement différemment.

Intéressant. Il y a eu un cas célèbre où ChatGPT a semblé faciliter un suicide. Il y a un procès à ce sujet. Comment pensez-vous que cela est arrivé ?

Tout d'abord, évidemment, cela et tout autre cas comme celui-là est une immense tragédie. Oui, bien sûr, la position officielle de ChatGPT sur le suicide est que c'est mal.

Mais c'est légal au Canada et en Suisse. Donc vous êtes contre ça ?

Dans ce cas précis, nous avons parlé plus tôt de la tension entre la liberté de l'utilisateur, la confidentialité et la protection des utilisateurs vulnérables. [...] Pour un patient en phase terminale dans un pays où c'est la loi, je peux imaginer dire que dans ce pays, il se comportera de cette façon. Je ne pense pas que ChatGPT doive être pour ou contre les choses.

Voici un dilemme moral auquel vous êtes confronté : permettrez-vous aux gouvernements d'utiliser votre technologie pour tuer des gens ?

Allons-nous construire des drones d'attaque tueurs ? Non. [...] Je suis conscient du fait qu'il y a probablement des gens dans notre armée qui l'utilisent pour obtenir des conseils sur la façon de faire leur travail. J'aime notre armée. Je suis très reconnaissant qu'ils nous gardent en sécurité.

Vous inquiétez-vous du fait que cela soit utilisé comme un moyen de contrôle totalitaire ?

Si je pouvais faire passer une seule mesure politique en ce moment concernant l'IA, j'aimerais qu'il y ait un concept de privilège de l'IA. [...] Lorsque vous parlez à une IA de vos antécédents médicaux ou de vos problèmes juridiques, je pense que le gouvernement doit à ses citoyens un niveau de protection identique à celui que vous obtiendriez si vous parliez à la version humaine.

Elon Musk vous a attaqué. Quel est le cœur de ce différend de votre point de vue ?

Il nous a aidés à lancer OpenAI. [...] Il a décidé plus tard que nous n'étions pas sur une trajectoire de succès. Il nous a dit que nous avions 0 % de chances de réussir et qu'il allait faire son truc concurrent, et puis nous nous en sommes bien sortis. Je pense qu'il s'est énervé.

Qui perd son emploi à cause de cette technologie ?

Je suis convaincu que pour une grande partie du service client actuel, ces personnes perdront leur emploi. [...] Un métier qui ne sera pas tant impacté est celui d'infirmier. [...] Mon opinion controversée serait que cela va être comme un moment d'équilibre ponctué où beaucoup de choses se produiront sur une courte période.

La puissance de la technologie rendra difficile pour quiconque de discerner la différence entre réalité et fantasme. [...] Cela nécessitera par définition la biométrie, ce qui par définition éliminera la vie privée.

Je ne pense pas que nous ayons besoin de biométrie pour utiliser la technologie. [...] Les gens comprennent rapidement que c'est une chose que des acteurs malveillants font. [...] Nous construirons de nouveaux mécanismes pour vérifier l'authenticité de la communication.

Je vous remercie. Merci, Sam Altman.

Merci.