Sam, bienvenue chez TED. Merci infiniment d'être venu.

Merci, c'est un honneur.

Votre entreprise a sorti des nouveaux modèles incroyablement fous presque toutes les deux semaines, on dirait. J'ai joué avec quelques-uns d'entre eux. J'aimerais vous montrer ce avec quoi j'ai joué. Donc Sora, c'est le générateur d'images et de vidéos. J'ai demandé ceci à Sora : à quoi cela ressemblera-t-il lorsque vous partagerez des révélations choquantes ici à TED ? Voulez-vous voir comment il l'a imaginé ?

Pas mal, non ? Quelle note lui donneriez-vous ? Cinq doigts à chaque main.

C'est très proche de ce que je porte. C'est bien.

Je ne vous ai jamais vu aussi animé. Vous êtes normalement assez posé.

Non, je ne suis pas une personne aussi animée.

Peut-être un B+, alors. Mais celle-ci m'a véritablement stupéfié quand je lui ai demandé de concevoir un diagramme montrant la différence entre l'intelligence et la conscience. Comment feriez-vous cela ? Voici ce qu'il a fait. C'est si simple, mais c'est incroyable. Quel est le type de processus qui permettrait cela ? Ce n'est clairement pas seulement de la génération d'images, c'est lié aux intelligences fondamentales de votre modèle global.

Oui, le nouveau modèle de génération d'images fait partie de GPT-4o, il contient donc toute l'intelligence. Et je pense que c'est l'une des raisons pour lesquelles il a pu faire ces choses que les gens aiment vraiment.

Si je suis un consultant en gestion et que je joue avec ce genre de choses, je me dis : oh-oh, à quoi ressemble mon avenir ?

Je pense qu'on peut avoir deux points de vue. On peut se dire : oh mince, il fait tout ce que je fais, que va-t-il m'arriver ? Ou on peut se dire, comme lors de chaque autre révolution technologique de l'histoire : d'accord, il y a maintenant ce nouvel outil, je peux faire beaucoup plus. Qu'est-ce que je vais être capable de faire ? Il est vrai que l'attente envers quelqu'un dans un emploi particulier augmente, mais les capacités augmenteront si radicalement que je pense qu'il sera facile d'être à la hauteur.

Ceci m'a aussi impressionné. Je lui ai demandé d'imaginer Charlie Brown se considérant comme une IA. Il a proposé ceci. J'ai trouvé cela en fait assez profond. Qu'en pensez-vous ?

La qualité d'écriture de certains des nouveaux modèles, pas seulement ici mais en détail, atteint vraiment un nouveau niveau.

Oui, c'est une méta-réponse incroyable, mais il n'y a vraiment aucun moyen de savoir s'il pense cela ou s'il l'a simplement vu souvent dans l'ensemble d'entraînement. Et bien sûr, si vous ne voyez pas la différence, à quel point cela vous importe-t-il ?

C'est vraiment intéressant. Nous ne savons pas. N'est-ce pas pourtant, au premier abord, cela ressemble à un vol de propriété intellectuelle. Avez-vous un accord avec les héritiers de Peanuts ou ?

Vous pouvez applaudir autant que vous voulez. Profitez-en. Je dirai que je pense que l'esprit créatif de l'humanité est une chose incroyablement importante. Et nous voulons construire des outils qui l'élèvent, qui permettent à de nouvelles personnes de créer un meilleur art, un meilleur contenu, d'écrire de meilleurs romans que nous apprécions tous. Je crois très profondément que les humains seront au centre de cela. Je crois aussi que nous devons probablement concevoir une sorte de nouveau modèle concernant l'économie de la production créative. Je pense que les gens s'appuient sur la créativité des autres depuis longtemps. Les gens s'inspirent depuis longtemps. Mais à mesure que l'accès à la créativité se démocratise incroyablement et que les gens s'appuient tout le temps sur les idées des uns et des autres, je pense qu'il existe de nouveaux modèles commerciaux incroyables que nous et d'autres sommes ravis d'explorer pour voir exactement à quoi cela va ressembler. Je ne suis pas sûr, il y a clairement des choses tranchées, vous ne pouvez pas copier le travail de quelqu'un d'autre. Mais quel degré d'inspiration pouvez-vous puiser ? Si vous dites 'je veux générer de l'art dans le style de ces sept personnes', qui ont toutes consenti à cela, comment répartissez-vous l'argent qui va à chacune ? Ce sont de grandes questions. Mais chaque fois qu'au cours de l'histoire, nous avons mis une technologie meilleure et plus puissante entre les mains des créateurs, je pense que nous obtenons collectivement une meilleure production créative et que les gens font des choses plus incroyables.

Une question encore plus vaste est de savoir quand ils n'y ont pas consenti. Lors de notre session d'ouverture, Carole Cadwalladr a montré ChatGPT donner une conférence dans le style de Carole Cadwalladr, et bien sûr, il a donné une conférence qui n'était pas tout à fait aussi bonne que celle qu'elle a donnée, mais c'est assez impressionnant. Et elle a dit, d'accord, c'est génial, mais je n'ai pas consenti à cela. Comment allons-nous naviguer là-dedans ? N'y a-t-il pas un moyen, ne devrait-il s'agir que de personnes ayant consenti ou ne devrait-il pas y avoir un modèle qui dise d'une manière ou d'une autre que tout individu nommé dans un prompt dont le travail est ensuite utilisé, devrait recevoir quelque chose pour cela ?

Alors pour l'instant, si vous utilisez notre outil de génération d'images et que vous dites 'je veux quelque chose dans le style d'un artiste vivant', il ne le fera pas. Mais si vous dites 'je le veux dans le style de cette ambiance particulière ou de ce studio ou de ce mouvement artistique', il le fera. Et évidemment, si vous produisez une chanson qui est une copie de la chanson, il ne le fera pas. La question de savoir où placer cette ligne et comment les gens disent 'c'est trop', nous l'avons réglée auparavant avec la loi sur le droit d'auteur et ce à quoi ressemble l'usage équitable. Encore une fois, je pense que dans le monde de l'IA, il y aura un nouveau modèle que nous trouverons.

Mais du point de vue des créateurs mondiaux, ce sont les personnes les plus en colère en ce moment ou les plus effrayées par l'IA. La différence entre sentir que votre travail vous est volé et que votre avenir vous est volé, et sentir que votre travail est amplifié et peut l'être, ce sont des sentiments tellement différents. Et si nous pouvions passer à l'autre, au second, je pense que cela change vraiment à quel point l'humanité dans son ensemble accepte tout cela.

Eh bien, encore une fois, je dirais que certains créateurs sont très mécontents, certains créateurs disent que c'est l'outil le plus incroyable qui soit, je fais un nouveau travail incroyable. Mais c'est définitivement un changement et j'ai beaucoup d'empathie envers les gens qui disent simplement 'j'aimerais que ce changement n'ait pas lieu, j'aimais la façon dont les choses étaient avant'.

Mais en principe, vous pouvez calculer à partir de n'importe quel prompt donné, il devrait y avoir un moyen de pouvoir calculer quel pourcentage d'un revenu d'abonnement ou autre va à chaque réponse. En principe, cela devrait être possible si l'on pouvait régler le reste des règles, et c'est évidemment compliqué, on pourrait calculer une sorte de partage des revenus, non ?

Si vous êtes musicien et que vous passez toute votre vie, toute votre enfance, à écouter de la musique, puis que vous avez une idée et que vous composez une chanson inspirée par ce que vous avez entendu auparavant mais dans une nouvelle direction, il vous serait très difficile de dire 'ceci venait de cette chanson que j'ai entendue quand j'avais 11 ans, cela de quand j'avais...'

C'est exact, mais nous parlons ici de la situation où quelqu'un nomme spécifiquement quelqu'un dans un prompt.

Oui, donc je pense que, pour l'instant, si vous essayez de générer une image dans un style nommé, nous disons simplement que cet artiste est vivant, nous ne le faisons pas. Mais je pense qu'il serait cool de trouver un nouveau modèle où si vous dites 'je veux le faire au nom de cet artiste' et qu'il accepte, il y a un modèle de revenus. C'est une bonne chose à explorer.

D'accord, je pense donc que le monde devrait vous aider à trouver ce modèle rapidement et je pense que cela fera une énorme différence en réalité. Je veux changer de sujet rapidement. La bataille entre votre modèle et l'open source. À quel point avez-vous été secoué par l'arrivée de DeepSeek ?

Je pense que l'open source a une place importante. En fait, nous avons organisé hier soir notre première session communautaire pour décider des paramètres de notre modèle open source et de la manière dont nous voulons le façonner. Nous allons faire un modèle open source très puissant. Je pense que c'est important. Nous allons faire quelque chose de proche de la frontière technologique, je pense meilleur que n'importe quel modèle open source actuel. Ce ne sera pas tout, il y aura des gens qui l'utiliseront d'une manière que certaines personnes dans cette salle, peut-être vous ou moi, n'aimeront pas. Mais il y aura une place importante pour les modèles open source dans le cadre de cette constellation. Et je pense que nous avons tardé à agir sur ce point, mais nous allons très bien le faire maintenant.

Vous dépensez, semble-t-il, un ordre ou même des ordres de grandeur de plus que ce que DeepSeek aurait dépensé, bien que je sache qu'il y a une controverse à ce sujet. Êtes-vous convaincu que le meilleur modèle sera reconnu ou n'est-ce pas, d'une certaine manière, une menace vitale pour l'idée que oui, en passant à une échelle massive, des dizaines de milliards de dollars d'investissement, nous pouvons maintenir une avance incroyable ?

Toute la journée, j'appelle des gens pour les supplier de nous donner leurs GPU. Nous sommes tellement contraints. Notre croissance ressemble à ceci, DeepSeek a été lancé et cela ne semble pas l'avoir impactée. Il se passe d'autres choses.

Parlez-nous de la croissance justement. Vous m'avez donné un chiffre choquant en coulisses.

Je n'ai jamais vu une croissance comme celle-ci dans aucune entreprise, que j'y aie été impliqué ou non. C'est vraiment amusant. Je me sens très bien, profondément honoré. Mais c'est fou à vivre et nos équipes sont épuisées et stressées, et nous essayons de maintenir les choses.

Combien d'utilisateurs avez-vous maintenant ?

Je pense que la dernière fois que nous l'avons dit, c'était 500 millions d'actifs hebdomadaires et cela croît très rapidement.

Ça a doublé, vous m'avez dit que ça a doublé en seulement quelques semaines. En termes de calcul ou en termes de...

J'ai dit cela en privé, mais je suppose...

Je me suis mal rappelé Sam, je suis vraiment désolé. On peut couper ça au montage si vous le voulez vraiment et personne ici ne le tweeterait. Ça grandit très vite.

Vous êtes donc confiant, vous le voyez décoller comme une fusée, vous sortez tout le temps de nouveaux modèles incroyables. Que voyez-vous dans vos meilleurs modèles internes actuellement que vous n'avez pas encore partagé avec le monde, mais que vous aimeriez faire entendre sur cette scène ?

Alors tout d'abord, vous avez demandé si nous étions inquiets pour tel ou tel modèle. Il y aura beaucoup de modèles intelligents dans le monde. Les modèles très intelligents seront dans une certaine mesure banalisés. Je pense que nous aurons les meilleurs et pour certains usages, vous voudrez cela. Mais honnêtement, les modèles sont maintenant si intelligents que pour la plupart des choses que la plupart des gens veulent faire, ils sont assez bons. J'espère que cela changera avec le temps parce que les gens augmenteront leurs attentes. Mais si vous utilisez ChatGPT en tant qu'utilisateur standard, la capacité du modèle est très intelligente. Mais nous devons construire un excellent produit, pas seulement un excellent modèle. Et donc il y aura beaucoup de gens avec de bons modèles et nous essaierons de construire le meilleur produit. Et les gens veulent leur génération d'images, vous avez montré des exemples de Sora pour la vidéo plus tôt. Ils veulent l'intégrer à toutes leurs affaires. Nous venons de lancer une nouvelle fonctionnalité appelée mémoire, mais c'est bien mieux que la mémoire d'avant, où ce modèle apprendra à vous connaître au cours de votre vie. Et we have encore beaucoup de choses à venir pour construire ce grand produit intégré. Et je pense que les gens resteront avec cela. Donc il y aura beaucoup de modèles, mais j'espère que nous continuerons à nous concentrer sur la construction du meilleur produit de référence dans ce domaine.

Après avoir vu votre annonce hier, selon laquelle ChatGPT connaîtra tout votre historique de requêtes, j'ai tapé : 'parle-moi de moi, ChatGPT, d'après tout ce que tu sais'. Et je suis resté bouche bée, Sam. C'était choquant. Il savait qui j'étais et tous ces centres d'intérêt qui, je l'espère, étaient pour la plupart appropriés et partageables. Mais c'était stupéfiant. Et j'ai ressenti une forme de réelle excitation, un peu de malaise, mais surtout de l'excitation en fait face à tout ce que cela lui permettrait d'être utile pour moi.

L'un de nos chercheurs a tweeté hier ou ce matin que le téléchargement se fait petit à petit. Ce n'est pas que vous branchez votre cerveau un jour, mais vous parlerez à ChatGPT au cours de votre vie. Un jour peut-être, si vous le souhaitez, il vous écoutera tout au long de la journée et observera ce que vous faites. Et il apprendra à vous connaître et il deviendra cette extension de vous-même, ce compagnon, cette chose qui essaie simplement de vous aider à être le meilleur, à faire du mieux que vous pouvez.

Dans le film Her, l'IA annonce essentiellement qu'elle a lu tous ses e-mails, a décidé qu'il était un grand écrivain et persuade un éditeur de le publier. Cela pourrait arriver plus tôt qu'on ne le pense.

Je ne pense pas que cela se passera exactement comme ça. Mais oui, je pense à quelque chose dans la direction où l'IA, vous n'avez pas seulement à aller sur ChatGPT ou autre et dire 'j'ai une question, donne-moi une réponse', mais vous recevez des choses poussées de manière proactive qui vous aident, qui vous rendent meilleur, peu importe. Cela semble être pour bientôt.

Alors, qu'avez-vous vu venir en interne qui, selon vous, va époustoufler les gens ? Donnez-nous au moins un indice de ce que sera la prochaine grande surprise.

La chose qui m'enthousiasme personnellement le plus, c'est l'IA pour la science à ce stade. Je crois fermement que le moteur le plus important pour que le monde et la vie des gens s'améliorent de plus en plus est la nouvelle découverte scientifique. Nous pouvons faire plus de choses avec moins, nous repoussons les limites du possible. Nous commençons à entendre beaucoup de scientifiques dire avec nos derniers modèles qu'ils sont en fait plus productifs qu'avant, que cela a réellement une importance pour ce qu'ils peuvent découvrir.

Quelle est une découverte plausible à court terme ? Comme des supraconducteurs à température ambiante ? Ce serait génial.

La supraconductivité, oui. Est-ce possible ? Oui, je ne pense pas que ce soit empêché par les lois de la physique, donc cela devrait être possible. Mais nous ne le savons pas avec certitude. Je pense que vous commencerez à voir des progrès significatifs contre les maladies avec des outils assistés par l'IA. La physique, je pense que cela prend peut-être un peu plus de temps, mais je l'espère. C'est donc une direction. Une autre qui, je pense, est importante commence assez bientôt, dans les mois à venir. Le développement logiciel a déjà été assez transformé, c'est assez incroyable à quel point le processus de création de logiciels est différent aujourd'hui d'il y a deux ans. Mais je m'attends à un autre mouvement aussi important dans les mois à venir, lorsque l'ingénierie logicielle agentique commencera vraiment à se concrétiser.

J'ai entendu des ingénieurs dire qu'ils avaient eu des moments presque mystiques avec certains des nouveaux modèles où soudain ils pouvaient faire en un après-midi ce qui aurait pris deux ans.

Oui, c'est vraiment l'un de mes grands moments de ressenti de l'AGI.

Mais parlez de la chose la plus effrayante que vous ayez vue. Parce qu'à l'extérieur, beaucoup de gens vous imaginent ayant accès à tout cela et nous entendons toutes ces rumeurs venant de l'IA, oh mon dieu, ils ont vu la conscience ou ils ont vu l'AGI ou ils ont vu une sorte d'apocalypse arriver. Avez-vous vu, y a-t-il eu un moment effrayant où vous avez vu quelque chose en interne et vous vous êtes dit, oh-oh, nous devons prêter attention à cela ?

Il y a eu des moments d'émerveillement et je pense qu'avec cela vient toujours la question de savoir jusqu'où cela va aller, ce que cela va être. Mais no, nous n'avons pas secrètement, nous ne sommes pas secrètement assis sur un modèle conscient ou quelque chose capable de s'auto-améliorer ou quoi que ce soit de ce genre. Je pense que les gens ont des vues très différentes sur ce que seront les grands risques de l'IA. Et j'ai moi-même évolué dans ma réflexion sur l'endroit où nous allons voir ces risques. Mais je continue de croire qu'il viendra des modèles très puissants que les gens pourront utiliser à mauvais escient de manière importante. Les gens parlent beaucoup du potentiel de nouvelles sortes de bioterrorisme, de modèles qui peuvent présenter un réel défi de cybersécurité, de modèles capables de s'auto-améliorer d'une manière qui conduit à une sorte de perte de contrôle. Je pense donc qu'il y a de gros risques là-bas. Et puis il y a beaucoup d'autres choses qui, honnêtement, sont un peu ce que beaucoup de gens entendent par là lorsqu'ils parlent de désinformation ou de modèles disant des choses qu'ils n'aiment pas ou des choses de ce genre.

En restant sur le premier point, vérifiez-vous cela en interne avant la sortie ?

Bien sûr, oui. Nous avons donc ce cadre de préparation qui décrit comment nous faisons cela.

Je veux dire, vous avez eu des départs de votre équipe de sécurité. Combien de personnes sont parties ? Pourquoi sont-elles parties ?

Nous avons, je ne connais pas le nombre exact. Mais il y a clairement des vues différentes sur les systèmes de sécurité de l'IA. Je soulignerais vraiment notre bilan. Les gens diront toutes sortes de choses. Quelque chose comme 10 % du monde utilise nos systèmes maintenant, c'est beaucoup. Et nous sommes très fiers de notre bilan en matière de sécurité.

Mais le bilan n'est pas le problème d'une certaine manière, car ce dont nous parlons est une puissance à croissance exponentielle où nous craignons de nous réveiller un jour et de voir le monde s'écrouler. Donc il ne s'agit pas vraiment de bilan, mais de dire de manière plausible que les pièces sont en place pour arrêter les choses rapidement si nous voyons un danger.

Oh oui, non, bien sûr que c'est important. On ne se réveille pas un jour en disant : 'hé, nous n'avions aucun processus de sécurité en place, maintenant nous pensons que le modèle est vraiment intelligent, alors maintenant nous devons nous soucier de la sécurité'. Il faut s'en soucier tout au long de cette courbe exponentielle. Bien sûr, les enjeux augmentent et il y a de grands défis. Mais la façon dont nous apprenons à construire des systèmes sûrs est ce processus itératif qui consiste à les déployer dans le monde, à obtenir des retours pendant que les enjeux sont relativement faibles, à apprendre que 'hé, c'est quelque chose que nous devons aborder'. Et je pense qu'à mesure que nous passons à ces systèmes agentiques, il y a toute une grande catégorie de nouvelles choses que nous devons apprendre à aborder.

Parlons donc des systèmes agentiques et du lien entre cela et l'AGI. Je pense qu'il y a une confusion là-bas, je suis confus. Donc l'intelligence artificielle générale, on a l'impression que ChatGPT est déjà une intelligence générale, je peux lui demander n'importe quoi et il revient avec une réponse intelligente. Pourquoi n'est-ce pas de l'AGI ?

Il ne le fait pas, tout d'abord vous ne pouvez pas lui demander n'importe quoi, c'est très gentil à vous de dire cela mais il y a beaucoup de choses pour lesquelles il est encore incroyablement mauvais. Mais même si nous réglons ces problèmes, ce que nous espérons faire, il n'apprend pas et ne s'améliore pas continuellement. Il ne peut pas s'améliorer dans un domaine où il est actuellement faible. Il ne peut pas aller découvrir de nouvelles sciences, mettre à jour sa compréhension et faire cela. Et il ne peut pas non plus, même si nous abaissons la barre, faire n'importe quel travail de connaissance que vous pourriez faire devant un ordinateur. En fait, même sans la capacité de s'améliorer dans un domaine qu'il ne connaît pas encore, je pourrais accepter cela comme une définition de l'AGI. Mais les systèmes actuels, vous ne pouvez pas dire 'hé va faire cette tâche pour mon travail' et il s'en va et clique sur internet, appelle quelqu'un et regarde vos fichiers et le fait. Et sans cela, on est définitivement loin du compte.

Je veux dire, avez-vous en interne une définition claire de ce qu'est l'AGI et quand pensez-vous que nous pourrions y être ?

C'est l'une de ces choses, la plaisanterie est que si vous mettez 10 chercheurs d'OpenAI dans une pièce et leur demandez de définir l'AGI, vous obtiendrez 14 définitions.

C'est inquiétant quand même, n'est-ce pas ? Parce que c'était la mission initiale, nous allons être les premiers à atteindre l'AGI et à le faire en toute sécurité. Mais nous n'avons pas de définition claire de ce que c'est.

J'allais finir la réponse. Désolé. Ce qui importe selon moi cependant, et ce que les gens veulent savoir, ce n'est pas où se trouve ce moment magique unique où nous avons terminé. Mais étant donné que ce qui semble devoir arriver, c'est que les modèles vont simplement devenir plus intelligents et plus capables sur cette longue exponentielle, différentes personnes l'appelleront AGI à différents moments. Mais nous sommes tous d'accord pour dire que cela va aller bien au-delà, vers ce que vous voudrez appeler ces systèmes qui deviennent beaucoup plus capables que nous. Ce qui importe, c'est comment nous parlons d'un système qui est sûr à travers toutes ces étapes et au-delà, à mesure que le système devient plus capable que nous, que le système peut faire des choses que nous ne comprenons pas totalement. Et je pense que plus important qu'un 'quand vient l'AGI et quelle en est la définition', c'est de reconnaître que nous sommes dans cette incroyable courbe exponentielle. Vous pouvez dire 'voici ce que je pense être l'AGI', quelqu'un d'autre peut dire que la superintelligence est plus loin. Mais nous allons devoir composer avec et tirer de merveilleux avantages de ce système incroyable. Et donc je pense que nous devrions déplacer la conversation du 'moment AGI' vers une reconnaissance du fait que cette chose ne va pas s'arrêter, qu'elle va aller bien au-delà de ce que n'importe lequel d'entre nous appellerait AGI et que nous devons construire une société pour en tirer les avantages formidables et trouver comment la rendre sûre.

Eh bien, l'une des conversations de cette semaine a été que le véritable moment de changement est, je veux dire l'AGI est une chose floue, mais ce qui est clair, c'est l'IA agentique, quand l'IA est libérée pour poursuivre des projets par elle-même et assembler les pièces. Vous avez en fait un outil appelé Operator qui commence à faire cela. Et je l'ai essayé. Je voulais réserver un restaurant et c'est incroyable, il peut le faire. Mais voici ce qu'il a dit. C'était un processus intriguant, donnez-moi votre carte de crédit et tout le reste, et j'ai refusé dans ce cas d'aller plus loin. Mais je pense que c'est le défi que les gens vont avoir. C'est un superpouvoir incroyable, c'est un peu effrayant. Et Yoshua Bengio, lorsqu'il a parlé ici, a dit que l'IA agentique est la chose à laquelle il faut prêter attention. C'est à ce moment-là que tout pourrait mal tourner car nous donnons le pouvoir à l'IA d'aller sur internet pour faire des choses. Je veux dire, aller sur internet a toujours été dans les histoires de science-fiction le moment où l'évasion se produit et où des choses potentielles pourraient horriblement mal tourner. Comment faites-vous pour à la fois sortir une IA agentique et avoir des garde-fous en place pour qu'elle n'aille pas trop loin ?

Tout d'abord, évidemment vous pouvez choisir de ne pas faire cela et dire 'je ne veux pas ça, je vais appeler le restaurant et leur lire mon numéro de carte de crédit au téléphone'.

Je pourrais choisir, mais quelqu'un d'autre pourrait dire, oh, va sur l'internet au sens large ChatGPT et réécris l'internet pour le rendre meilleur pour les humains ou quoi que ce soit d'autre.

Oui, je veux dire que le point que j'allais soulever est juste qu'avec toute nouvelle technologie, il faut un certain temps pour que les gens se sentent à l'aise. Je me souviens quand je ne voulais pas mettre ma carte de crédit sur internet parce que mes parents m'avaient convaincu que quelqu'un allait lire le numéro et qu'il fallait remplir le formulaire puis les appeler. Et puis nous avons tous dit d'accord, nous allons construire des systèmes anti-fraude et nous pouvons nous sentir à l'aise avec cela. Je pense que les gens vont être lents à se sentir à l'aise avec l'IA agentique de bien des façons. Mais je suis aussi très d'accord avec ce que vous avez dit, à savoir que même si certains sont à l'aise et d'autres non, nous allons avoir des systèmes d'IA qui cliquent partout sur internet. Et c'est, je pense, le défi de sécurité le plus intéressant et le plus lourd de conséquences que nous ayons jamais affronté parce que l'IA à laquelle vous donnez accès à vos systèmes, à vos informations, la capacité de cliquer partout sur votre ordinateur, désormais, quand l'IA fait une erreur, les enjeux sont beaucoup plus élevés. C'est la barrière, donc nous avons parlé plus tôt de sécurité et de capacité, je pense qu'elles deviennent de plus en plus unidimensionnelles. Un bon produit est un produit sûr. Vous n'utiliserez pas nos agents si vous n'avez pas confiance qu'ils ne vont pas vider votre compte bancaire ou supprimer vos données ou qui sait quoi d'autre. Et donc les gens veulent utiliser des agents en qui ils peuvent vraiment avoir confiance, qui sont vraiment sûrs. Et je pense que nous sommes limités par notre capacité à progresser sur notre aptitude à faire cela, mais c'est une partie fondamentale du produit.

Mais dans un monde où l'agence est là et disons qu'il y a peut-être des modèles ouverts largement distribués et que quelqu'un dit, d'accord AGI, je veux que tu ailles sur internet et que tu diffuses un mème par tous les moyens possibles disant que les personnes X sont mauvaises ou quoi que ce soit. Ce n'est pas forcément un choix individuel, une seule personne pourrait lâcher cet agent et l'agent pourrait décider que pour exécuter cette fonction, il doit se copier partout ; y a-t-il des lignes rouges que vous avez clairement tracées en interne où vous savez quels sont les moments de danger et que nous ne pouvons pas sortir quelque chose qui pourrait aller au-delà ?

Oui, c'est le but de notre cadre de préparation. Nous le mettrons à jour au fil du temps. Mais nous avons essayé de définir où nous pensons que se trouvent les moments de danger les plus importants ou quelles sont les catégories, comment nous mesurons cela, et comment nous atténuerions quelque chose avant de le publier. Je sens à la conversation que vous n'êtes pas un grand fan de l'IA.

Non, au contraire, je l'utilise tous les jours, j'en suis émerveillé. Je pense que c'est une époque incroyable pour être en vie. Je ne voudrais être en vie à aucune autre époque et j'ai hâte de voir où cela va mener. Je pense qu'il est essentiel d'avoir une croyance passionnée dans la possibilité mais de ne pas être trop séduit par elle car les choses pourraient horriblement mal tourner.

Ce que j'allais dire, c'est que je comprends tout à fait cela. Je comprends tout à fait de regarder cela et de se dire que c'est un changement incroyable qui arrive au monde et que peut-être je ne veux pas de ça. Ou peut-être que j'en aime certaines parties, peut-être que j'aime parler à ChatGPT mais que je m'inquiète de ce qui va arriver à l'art et que je m'inquiète du rythme du changement et de ces agents qui cliquent sur internet. Et peut-être que tout compte fait, je souhaiterais que cela n'arrive pas ou peut-être que je souhaiterais que cela arrive un peu plus lentement ou que cela arrive d'une manière où je pourrais choisir quelles parties du progrès vont se produire. Et je pense que la peur est totalement rationnelle, l'anxiété est totalement rationnelle. Nous en avons tous beaucoup aussi. Mais A, il y aura des avantages formidables. Évidemment, vous l'utilisez tous les jours, vous l'aimez. B, je crois vraiment que la société finit par trouver, avec quelques grosses erreurs en cours de route, comment bien utiliser la technologie. Et C, cela va arriver. C'est une découverte de physique fondamentale que le monde connaît désormais et cela fera partie de notre monde. Et je pense que cette conversation est vraiment importante, je pense que parler de ces zones de danger est vraiment important, parler de nouveaux modèles économiques est vraiment important. Mais nous devons embrasser cela avec prudence mais pas avec peur, sinon nous serons dépassés par d'autres personnes qui utilisent l'IA pour faire de meilleures choses.

Eh bien, vous avez été l'un des partisans les plus éloquents de la sécurité. Vous avez témoigné au Sénat, je crois que vous avez dit en gros que nous devrions former une nouvelle agence de sécurité qui accorde des licences pour tout effort, c'est-à-dire qu'elle refuse d'accorder des licences à certains efforts. Croyez-vous toujours en cette proposition de politique ?

J'en ai appris davantage sur le fonctionnement du gouvernement. Je ne pense pas que ce soit tout à fait la bonne proposition de politique.

Quelle est la bonne proposition de politique ?

Mais je pense que l'idée que, à mesure que ces systèmes deviennent plus avancés et ont un impact mondial légitime, nous avons besoin d'un moyen, peut-être que les entreprises elles-mêmes mettent en place le bon cadre ou le bon type de modèle pour cela, mais nous avons besoin d'un moyen pour que les modèles très avancés fassent l'objet de tests de sécurité externes et que nous comprenions quand nous nous approchons de certaines de ces zones de danger. J'y crois beaucoup.

Il m'a semblé ironique qu'une agence de sécurité soit ce que nous voulons et pourtant l'agence soit la chose même qui est dangereuse. Il y a quelque chose de bizarre dans le langage là, mais peu importe.

Puis-je dire une chose de plus ? Oui, je pense que ce concept selon lequel nous devons définir des tests rigoureux pour les modèles, comprendre quelles sont les menaces sur lesquelles nous, collectivement en tant que société, voulons le plus nous concentrer et nous assurer qu'à mesure que les modèles deviennent plus capables, nous avons un système où nous pouvons tous comprendre ce qui est publié dans le monde. Je pense que ce n'est vraiment important. Et je pense que nous ne sommes pas loin de modèles qui vont être d'un grand intérêt public en ce sens.

Alors Sam, j'ai demandé à votre modèle de raisonnement o1 Pro, qui est incroyablement...

Merci pour les 200 $.

200 $ par mois, c'est une affaire à ce prix. J'ai demandé quelle est la question la plus pénétrante que je pourrais vous poser ? Il y a réfléchi pendant deux minutes. Deux minutes. Voulez-vous voir la question ?

Je le veux.

Sam, étant donné que vous aidez à créer une technologie qui pourrait remodeler le destin de notre espèce entière, qui vous a accordé, à vous ou à quiconque, l'autorité morale pour faire cela ? Et comment êtes-vous personnellement responsable, comptable si vous vous trompez ? Non, c'était bien, c'était impressionnant.

Vous me posez des versions de cette question depuis une demi-heure. Qu'en pensez-vous ?

Je...

Mais ce que je dirais, c'est ceci, voici ma version de cette question.

Mais pas de réponse ?

Quelle était votre question pour moi ?

Oui, comment répondriez-vous à celle-là ?

À votre place ? Oui, ou qu'en pensez-vous en tant qu'observateur extérieur ?

Je ne sais pas. Je suis intrigué par vous. Je suis un peu admiratif car vous avez construit l'une des choses les plus étonnantes au monde. Il existe deux récits à votre sujet. L'un est que vous êtes ce visionnaire incroyable qui a fait l'impossible et vous avez choqué le monde avec beaucoup moins de personnes que Google, vous avez sorti quelque chose de beaucoup plus puissant que tout ce qu'ils ont fait. Je veux dire, c'est incroyable ce que vous avez construit. Mais l'autre récit est que vous avez changé de terrain, que vous êtes passé d'OpenAI, cette chose ouverte, à l'attrait de construire quelque chose de super puissant et vous avez perdu certaines de vos personnes clés. Il y a un récit circulant selon lequel certains croient qu'on ne peut pas vous faire confiance dans ce domaine. J'aimerais savoir qui vous êtes. Quel est votre récit sur vous-même ? Quelles sont vos valeurs fondamentales, Sam, qui peuvent donner au monde la confiance que quelqu'un avec autant de pouvoir ici y a droit ?

Écoutez, je pense que je suis un personnage nuancé qui ne se réduit pas bien à une seule dimension ici. Donc, probablement que certaines des bonnes choses sont vraies et probablement que certaines critiques sont vraies. En ce qui concerne OpenAI, notre objectif est de fabriquer l'AGI et de la distribuer, de la rendre sûre pour le bénéfice général de l'humanité. Je pense que de l'avis général, nous avons fait beaucoup dans cette direction. Clairement, nos tactiques ont évolué au fil du temps. Nous ne savions pas vraiment ce que nous allions être en grandissant. Nous ne pensions pas devoir construire une entreprise autour de cela. Nous avons beaucoup appris sur la façon dont cela se passe et sur les réalités de ce que ces systèmes allaient exiger en capital. Mais je pense que nous avons, en termes de mise à disposition d'une IA incroyablement performante avec un haut degré de sécurité entre les mains de beaucoup de gens et en leur donnant des outils pour faire toutes les choses incroyables qu'ils vont faire... je pense qu'il serait difficile de nous donner une mauvaise note là-dessus. Je pense qu'il est juste que nous devrions faire plus d'open source. Je pense qu'il était raisonnable, pour toutes les raisons que vous avez évoquées plus tôt, car nous n'étions pas sûrs de l'impact que ces systèmes allaient avoir et de la façon de les rendre sûrs, que nous ayons agi avec précaution. Je pense que beaucoup de vos questions plus tôt suggéraient au moins une certaine sympathie pour le fait que nous ayons opéré de cette façon. Mais maintenant, je pense que nous avons une meilleure compréhension en tant que monde et il est temps pour nous de mettre des systèmes ouverts très performants dans le monde. Si vous m'invitez à nouveau l'année prochaine, vous me crierez probablement dessus pour quelqu'un qui a mal utilisé ces systèmes open source et vous direz pourquoi avez-vous pu faire ça, c'était mal. Nous n'allons pas obtenir, il y a des compromis dans tout ce que nous faisons. Et nous sommes un acteur dans cela, une voix dans cette révolution de l'IA, essayant de faire de notre mieux et de gérer cette technologie dans le monde de manière responsable. Nous avons définitivement fait des erreurs, nous en ferons certainement d'autres à l'avenir. Dans l'ensemble, je pense qu'au cours de la dernière décennie presque, cela fait longtemps maintenant, nous avons principalement fait ce que nous avions prévu de faire. Nous avons encore un long chemin devant nous. Nos tactiques changeront encore à l'avenir. Mais l'adhésion à la mission et à ce que nous essayons de faire, je pense qu'elle est très forte.

Vous avez posté ceci. Voici l'Anneau de Pouvoir du Seigneur des Anneaux. Votre rival, qui n'est pas votre meilleur ami en ce moment, Elon Musk, a affirmé qu'il pensait que vous aviez été corrompu par l'Anneau de Pouvoir. Une allégation qui pourrait s'appliquer à Elon aussi, pour être juste. C'est dans l'esprit de tout le monde quand nous voyons des PDG technologiques devenir plus puissants, devenir plus riches, peuvent-ils gérer cela ou cela devient-il irrésistible ? Est-ce que le pouvoir et la richesse rendent impossible de faire parfois la bonne chose et vous devez juste vous accrocher fermement à cet anneau ? Qu'en pensez-vous ? Ressentez-vous cet anneau parfois ?

Comment pensez-vous que je m'en sorte par rapport à d'autres PDG qui ont obtenu beaucoup de pouvoir et ont changé leur façon d'agir ou ont fait un tas de choses dans le monde ? Qu'en pensez-vous ?

Vous avez une belle, vous n'êtes pas une person impolie, en colère qui sort et dit des choses agressives aux autres.

Parfois je fais ça. C'est mon seul vice.

No, je pense que dans la façon dont vous vous comportez personnellement, c'est impressionnant. Je veux dire, la question que certains se posent est de savoir si c'est le vrai vous ou s'il se passe autre chose ? Mais je suis...

Non, j'accepte le retour. Vous avez mis Sora sur l'Anneau de Pouvoir ou peu importe ce qu'est cette chose. Donc j'accepte le retour. Quelle est une chose que j'ai faite où vous pensez que j'ai été corrompu par le pouvoir ?

Je pense que la crainte est que juste la transition d'OpenAI vers un modèle à but lucratif fasse dire à certains 'eh bien voilà, vous avez été corrompu par le désir de richesse'. Vous savez, à un moment donné, il ne devait y avoir aucune part de capital, ça va vous rendre fabuleusement riche. Au fait, je ne pense pas que ce soit votre motivation personnelle. Je pense que vous voulez construire des trucs incroyablement cool. Et ce qui m'inquiète, c'est le sentiment de compétition, que vous voyez d'autres le faire et que cela rende impossible de se développer au bon rythme. Mais dites-moi, si peu de gens dans le monde ont le genre de capacité et de potentiel que vous avez. Nous ne savons pas ce que ça fait. Qu'est-ce que ça fait ?

Étonnamment, c'est la même chose qu'avant. Je pense qu'on peut s'habituer à n'importe quoi étape par étape. Je pense que si j'étais transporté d'il y a 10 ans à maintenant tout d'un coup, cela semblerait très désorientant. Mais tout finit par devenir en quelque sorte la nouvelle norme. Donc cela ne semble pas différent et c'est étrange d'être assis ici à parler de ça, mais la monotonie de la vie quotidienne, ce que je dis de la meilleure façon possible, semble exactement la même.

Vous êtes la même personne.

Je veux dire, je suis sûr que je ne le suis pas de toutes sortes de façons, mais je ne me sens pas différent.

C'était une belle chose que vous avez postée. Votre fils. Cette dernière chose que vous avez dite là, 'je n'ai jamais ressenti un amour comme celui-ci'. Je pense que n'importe quel parent dans la salle connaît ce sentiment, ce sentiment biologique sauvage que les humains ont et que l'IA n'aura jamais, de tenir son enfant. Et je me demande si cela a changé votre façon de penser les choses. S'il y a une boîte noire avec un bouton rouge dessus, vous pouvez appuyer sur ce bouton et vous donnez à votre fils probablement la vie la plus incroyable, mais aussi vous injectez une chance de 10 % qu'il soit détruit. Appuyez-vous sur ce bouton ?

Dans le cas littéral, non. Si la question est de savoir si j'ai l'impression de faire cela avec mon travail, la réponse est que je n'ai pas non plus cette impression. Écoutez, avoir un enfant a changé beaucoup de choses. Et c'est de loin la chose la plus incroyable qui me soit jamais arrivée. Tout ce que tout le monde dit est vrai. Une chose que mon co-fondateur Ilya a dite une fois est une paraphrase, quelque chose comme 'je ne sais pas quel est le sens de la vie, mais c'est sûr que ça a un rapport avec les bébés'. Et c'est incroyablement exact. Cela a changé le temps que je suis prêt à passer sur certaines choses et le coût de ne pas être avec mon enfant est juste incroyablement élevé. Mais je me souciais vraiment de ne pas détruire le monde avant, je m'en soucie vraiment maintenant. Je n'avais pas besoin d'un enfant pour cette partie. Je pense définitivement plus à ce que sera l'avenir pour lui en particulier, mais je ressens la responsabilité de faire la meilleure chose possible pour l'avenir de tout le monde.

Tristan Harris a donné une conférence très puissante ici cette semaine dans laquelle il disait que le problème clé à ses yeux était que vous et vos pairs dans ces autres modèles ressentez tous fondamentalement que le développement de l'IA avancée est inévitable, que la course est lancée et qu'il n'y a pas d'autre choix que d'essayer de gagner cette course et de le faire aussi de manière responsable que possible, et peut-être qu'il y a un scénario où votre IA superintelligente peut agir comme un frein sur celle des autres ou quelque chose comme ça. Mais que le fait même que tout le monde pense que c'est inévitable signifie que c'est une voie vers un risque sérieux et l'instabilité. Pensez-vous que vous et vos pairs ressentez que c'est inévitable et voyez-vous une issue où nous pourrions collectivement accepter de ralentir un peu les choses, de laisser la société dans son ensemble intervenir un peu et dire no, ralentissons, nous ne voulons pas que cela arrive aussi vite, c'est trop perturbateur.

Tout d'abord, je pense que les gens ralentissent les choses tout le temps parce que la technologie n'est pas prête, parce que quelque chose n'est pas assez sûr, parce que quelque chose ne fonctionne pas. Il y a, je pense, tous les efforts qui font des pauses sur des choses, des délais sur des choses, qui ne sortent pas certaines capacités. Je pense donc que cela arrive et encore une fois, c'est là que je pense que le bilan compte. Si nous précipitions les choses et qu'il y avait toutes sortes de problèmes, soit le produit ne fonctionnait pas comme les gens le voulaient, soit il y avait de vrais problèmes de sécurité ou d'autres choses là-bas, et je reviendrai sur un changement que nous avons fait, je pense qu'on pourrait le faire. Il y a une communication entre la plupart des efforts. À une exception près, je pense que tous les efforts se soucient beaucoup de la sécurité de l'IA. Et je pense qu'il y a vraiment un souci profond de bien faire les choses. Je pense que la caricature de cela comme étant juste une course folle ou un sprint ou autre, manque la nuance des gens qui essaient de sortir des modèles rapidement et de faire de bons produits pour les gens, mais les gens ressentent l'impact de cela si incroyablement que je pense que si vous pouviez aller vous asseoir à une réunion chez OpenAI ou dans d'autres entreprises, vous vous diriez 'oh, ces gens s'en soucient vraiment'. Maintenant, nous avons fait un changement récemment dans notre façon de penser une partie de ce qui a été traditionnellement compris comme la sécurité, à savoir qu'avec notre nouveau modèle d'image, nous avons donné aux utilisateurs beaucoup plus de liberté sur ce que nous considérerions traditionnellement comme des préjudices liés à la parole. Si vous essayez d'être offensé par le modèle, le modèle vous laissera-t-il être offensé ? Et par le passé, nous avions des garde-fous beaucoup plus serrés là-dessus. Mais je pense qu'une partie de l'alignement du modèle consiste à suivre ce que l'utilisateur d'un modèle veut qu'il fasse dans les limites très larges de ce que la société décide. Donc, si vous demandez au modèle de dépeindre beaucoup de violence ou quelque chose comme ça, ou de renforcer un stéréotype, il y a une question de savoir s'il doit le faire ou non et nous adoptons une position beaucoup plus permissive. Maintenant, il y a un endroit où cela commence à interagir avec des préjudices du monde réel pour lesquels nous devons trouver comment tracer la ligne, mais je pense qu'il y aura des cas où une entreprise dira 'd'accord, nous avons entendu les retours de la société, les gens ne veulent vraiment pas que les modèles les censurent de manières qui ne leur semblent pas logiques'. C'est une négociation de sécurité équitable.

Mais dans la mesure où il s'agit d'un problème de croyance collective, la solution à ce genre de problèmes est de rassembler les gens et de se rencontrer sur un point et de conclure un accord différent. S'il y avait un groupe de personnes ici ou là-bas dans le monde qui étaient prêtes à organiser un sommet des meilleurs éthiciens, technologues, mais pas trop de monde, un petit groupe avec vous et vos pairs pour essayer de définir quelles lignes de sécurité convenues pourraient être à travers le monde, seriez-vous prêt à y assister ? Inciteriez-vous vos collègues à venir ?

Bien sûr, mais je suis beaucoup plus intéressé par ce que nos centaines de millions d'utilisateurs veulent dans l'ensemble. Je pense que beaucoup de choses dans le domaine ont été historiquement décidées lors de petits sommets d'élite. L'une des nouvelles choses cool avec l'IA, c'est que notre IA peut parler à tout le monde sur terre et que nous pouvons apprendre la préférence de valeur collective de ce que tout le monde veut plutôt que d'avoir un groupe de personnes bénies par la société assises dans une pièce pour prendre ces décisions. Je trouve ça très cool et je pense que vous nous verrez faire plus dans cette direction et quand nous nous sommes trompés parce que les élites dans la salle avaient une opinion différente de ce que les gens voulaient pour les garde-fous sur la génération d'images par rapport à ce que les gens voulaient réellement et que nous ne pouvions pas pointer de préjudices réels, alors nous avons fait ce changement. J'en suis fier.

Je veux dire qu'il y a un long historique de conséquences imprévues découlant des actions de centaines de millions de personnes et il y a des gens

Aussi cent personnes dans une pièce prenant des décisions.

C'est vrai, et les centaines de millions de personnes n'ont pas de contrôle sur, elles ne voient pas nécessairement où l'étape suivante pourrait mener. J'espère que c'est tout à fait exact et tout à fait juste. J'espère que l'IA peut nous aider à être plus sages, à prendre de meilleures décisions, peut nous parler et si nous disons 'hé, je veux la chose X', plutôt que de laisser la foule s'emballer là-dessus, l'IA peut dire 'hé, je comprends tout à fait que c'est ce que vous voulez. Si c'est ce que vous voulez à la fin de cette conversation, vous avez le contrôle, vous choisissez, mais avez-vous considéré cela du point de vue de cette personne ou de l'impact que cela aura sur ces gens ?'. Je pense que l'IA peut nous aider à être plus sages et à prendre de meilleures décisions de gouvernance collective qu'auparavant.

Eh bien, nous n'avons plus de temps, Sam. Je vous laisse le dernier mot. Dans quel genre de monde croyez-vous, tout bien considéré, que votre fils grandira ?

Je me souviens que c'était il y a si longtemps maintenant. Je ne sais pas quand le premier iPad est sorti. Il y a 15 ans, quelque chose comme ça ? Je me souviens avoir regardé une vidéo YouTube à l'époque d'un petit bambin assis dans la salle d'attente d'un médecin ou quelque chose comme ça et il y avait un magazine, un de ces vieux magazines à couverture glacée, et le bambin avait sa main dessus et faisait comme ça et était un peu en colère. Pour ce bambin, c'était un iPad cassé. Il n'a jamais imaginé un monde qui n'aurait pas d'écrans tactiles et pour tous les adultes qui regardaient ça, c'était cette chose incroyable parce que c'était si nouveau, si étonnant, un miracle. Les magazines sont la façon dont le monde fonctionne. Mes enfants, espérons-le, ne seront jamais plus intelligents que l'IA. Ils ne grandiront jamais dans un monde où les produits et services ne sont pas incroyablement intelligents, incroyablement performants. Ils ne grandiront jamais dans un monde où les ordinateurs ne vous comprennent pas simplement et ne font pas selon une définition de ce que vous pouvez imaginer. Ce sera un monde d'une incroyable abondance matérielle. Ce sera un monde où le rythme du changement est incroyablement rapide et où de nouvelles choses incroyables se produisent et ce sera un monde où la capacité individuelle, l'impact, peu importe, sera bien au-delà de ce qu'une personne peut faire aujourd'hui. J'espère que mes enfants et tous vos enfants nous regarderont avec une certaine pitié et nostalgie et se diront qu'ils ont vécu des vies si horribles, qu'ils étaient si limités, que le monde était si nul. Je pense que c'est génial.

Sam, c'est incroyable ce que vous avez construit. Ça l'est vraiment. C'est incroyable. Je pense qu'au cours des prochaines années, vous allez avoir certaines des plus grandes opportunités, les plus grands défis moraux, les plus grandes décisions à prendre de peut-être n'importe quel humain dans l'histoire. Vous devriez savoir que tout le monde ici vous encouragera à faire la bonne chose.

Nous ferons de notre mieux. Merci beaucoup. Merci d'être venu à TED. Merci, Sam.

Merci. Merci beaucoup. J'ai apprécié. Merci.