Dans les coulisses d'OpenAI : L'avenir de l'IA avec Mira Murati et Reid Hoffman
16 juin 2023
Technologie
Introduction à OpenAI
À l'intérieur d'un bâtiment anonyme au cœur de San Francisco, l'une des startups les plus actives au monde rend notre avenir alimenté par l'IA plus concret que jamais.
Ils sont derrière deux succès phénoménaux, ChatGPT et Dall-E, et ont réussi à devancer les plus grands géants de la technologie sur le marché, lançant une course compétitive qui les a tous forcés à nous montrer ce qu'ils ont dans le ventre.
Mais comment cette startup discrète a-t-elle réussi son coup ?
Visite des bureaux et rencontre avec Mira Murati
Nous sommes chez OpenAI, et nous allons obtenir des réponses. Est-ce de la magie ? S'agit-il simplement d'algorithmes ? Est-ce que cela va nous sauver ou nous détruire ? Allons découvrir.
J'adore les plantes. Ça semble tellement vivant.
C'est incroyable. J'adore être ici.
Ça me donne une ambiance de spa Westworld.
C'est presque comme si c'était suspendu dans l'espace et le temps un petit peu.
Oui, il y a un petit côté futuriste.
Voici l'un des esprits les plus introspectifs d'OpenAI. Nous connaissons tous Sam Altman, le PDG, mais Mira Murati est l'architecte en chef derrière la stratégie d'OpenAI.
On dirait le logo d'OpenAI.
C'est le cas. C'est Ilya qui l'a peint.
Ilya, le directeur scientifique ?
Oui.
Que doit symboliser la fleur ?
Je suppose que c'est une IA qui aime l'humanité.
Défis, stratégie et culture d'OpenAI
Nous nous concentrons beaucoup sur les défis de l'hallucination, de la véracité, de la fiabilité et de l'alignement de ces modèles.
Est-ce que quelqu'un est parti parce qu'il se disait : "Vous savez quoi ? Je ne suis pas d'accord" ?
Il y a eu, au fil du temps, des personnes qui sont parties pour créer d'autres organisations en raison d'un désaccord sur la stratégie de déploiement.
Et comment trouvez-vous un terrain d'entente lorsque des désaccords surviennent ?
Vous voulez être en mesure d'avoir ce dialogue constant et de trouver comment systématiser ces préoccupations.
Quel est le travail d'une directrice technologique ?
C'est une combinaison de guidage des équipes sur le terrain, de réflexion sur la stratégie à long terme, d'identification de nos lacunes et de s'assurer que les équipes sont bien soutenues pour réussir.
Ouais. Ça semble être un gros travail. Résoudre des problèmes impossibles.
Résoudre des problèmes impossibles, oui.
Le lancement et le succès de ChatGPT
Lorsque vous preniez la décision de lancer ChatGPT dans la nature, je suis sûr qu'il y a eu un moment décisif. Ramenez-moi à ce jour-là.
Nous avions ChatGPT depuis un certain temps, et nous sommes arrivés à un point où nous pouvions vraiment bénéficier d'avoir plus de retours sur la façon dont les gens l'utilisent, quels sont les risques, quelles sont les limites, et en apprendre davantage sur cette technologie que nous avons créée et commencer à l'introduire dans la conscience publique.
C'est devenu le produit technologique à la croissance la plus rapide de l'histoire. C'est vrai. Cela vous a-t-il surprise ? Quelle a été votre réaction face à la réaction du monde ?
Nous avons été surpris de voir à quel point cela a captivé l'imagination du grand public et à quel point les gens aimaient simplement passer du temps à parler à ce système d'IA et à interagir avec lui.
Fonctionnement technique et puissance des modèles
ChatGPT peut maintenant imiter un humain. Il peut écrire, il peut coder. Au niveau le plus basique, comment tout cela se produit-il ?
Alors ChatGPT est un réseau neuronal qui a été entraîné sur une énorme quantité de données sur un superordinateur massif. Et l'objectif au cours de ce processus d'entraînement était de prédire le mot suivant dans une phrase. Et il s'avère qu'à mesure que vous entraînez des modèles de plus en plus grands, que vous ajoutez de plus en plus de données, les capacités de ces modèles augmentent également. Ils deviennent plus puissants, plus utiles, et à mesure que vous investissez davantage dans l'alignement et la sécurité, they deviennent plus fiables et sûrs au fil du temps.
Concurrence avec Google et recherche d'information
OpenAI a dopé cette frénésie compétitive. Pensez-vous pouvoir battre Google à son propre jeu ? Pensez-vous pouvoir prendre une part de marché significative dans la recherche ?
Nous n'avions pas pour objectif de dominer la recherche. Ce que ChatGPT propose, c'est une façon différente de comprendre l'information. Et vous pourriez faire une recherche, mais vous cherchez de manière beaucoup plus intuitive que par mots-clés. Je pense que le monde entier s'oriente désormais dans cette direction.
Hallucinations et fiabilité de l'IA
L'air de confiance, évidemment, avec lequel ChatGPT donne parfois une réponse. Pourquoi ne pas simplement dire parfois : "Je ne sais pas" ?
L'objectif n'est pas de prédire le mot suivant de manière fiable ou sûre. Lorsque vous avez des capacités aussi générales, il est très difficile de gérer certaines limitations, comme ce qui est correct.
Certains de ces textes et certaines de ces données sont biaisés. Certains peuvent être incorrects. Cela ne va-t-il pas accélérer le problème de la désinformation ? Nous n'avons pas réussi à le résoudre sur les réseaux sociaux depuis quelques décennies.
La désinformation est un problème vraiment complexe et difficile. En ce moment, l'une des choses qui m'inquiète le plus est la capacité de modèles comme GPT-4 à inventer des choses. Nous appelons cela des hallucinations. Ils inventent donc des choses de manière convaincante, et cela nécessite d'être conscient et de savoir vraiment qu'on ne peut pas se fier aveuglément à ce que la technologie fournit comme résultat.
Je veux parler de ce terme d'hallucination car c'est un terme très humain. Pourquoi utiliser un terme aussi humain pour décrire une IA qui fait simplement des erreurs ?
Beaucoup de ces capacités générales sont en fait assez proches de l'humain. Parfois, lorsque nous ne connaissons pas la réponse à quelque chose, nous inventons simplement une réponse. Nous disons rarement : "Je ne sais pas". Il y a donc beaucoup d'hallucinations humaines dans une conversation, et parfois nous ne le faisons pas exprès.
Interaction humain-IA et collaboration
Devrions-nous nous inquiéter d'une IA qui semble de plus en plus humaine ? L'IA devrait-elle s'identifier comme artificielle lorsqu'elle interagit avec nous ?
Je pense que c'est un type d'intelligence différent. Il est important de distinguer un résultat fourni par une machine d'un résultat fourni par un autre humain. Mais nous nous dirigeons vers un monde où nous collaborons de plus en plus avec ces machines, et donc le résultat sera hybride.
Impact sur l'emploi et ingénierie de requêtes
Toutes les données sur lesquelles vous entraînez cette IA proviennent d'écrivains, d'artistes. Comment envisagez-vous de redonner de la valeur à ces personnes alors qu'elles s'inquiètent aussi pour leur emploi ?
Je ne sais pas exactement comment cela fonctionnerait en pratique de rendre compte des informations créées par tout le monde sur Internet. Je pense qu'il y aura certainement des emplois perdus et des emplois modifiés à mesure que l'IA continue de progresser et de s'intégrer dans le monde du travail. L'ingénierie de requêtes est un métier aujourd'hui. Ce n'est pas quelque chose que nous aurions pu prédire.
Voyez les ingénieurs de requêtes comme des murmureurs d'IA. Ils sont hautement qualifiés pour choisir les bons mots afin d'inciter les outils d'IA à générer les réponses les plus précises et les plus éclairantes. C'est un nouveau métier né de l'IA qui rapporte des centaines de milliers de dollars par an.
Quels sont les conseils pour être un as de l'ingénierie de requêtes ?
C'est cette capacité à vraiment développer une intuition sur la façon de tirer le meilleur parti du modèle, comment le solliciter de la bonne manière, lui donner assez de contexte pour ce que vous recherchez.
Éthique, modération et conditions de travail
L'une des choses dont nous avons parlé plus tôt concernait les hallucinations et l'incapacité de ces grands modèles de langage à être toujours très précis.
Je demande donc au modèle, avec une extension de navigation, de vérifier ces informations. Et il parcourt maintenant le web.
Il y a ce rapport selon lequel des travailleurs au Kenya étaient payés 2 $ de l'heure pour effectuer le travail en amont afin de rendre les réponses moins toxiques. De ce que je comprends, ce travail peut être difficile, n'est-ce pas ? Parce que vous lisez des textes qui peuvent être troublants et essayez de les nettoyer.
Nous devons parfois faire appel à des prestataires pour monter en charge. Nous avons choisi ce prestataire particulier en raison de ses normes de sécurité reconnues, et depuis, nous avons cessé de travailler avec eux. Mais comme vous l'avez dit, c'est un travail difficile, nous le reconnaissons, et nous avons des normes de santé mentale et de bien-être que nous partageons avec les prestataires.
Enfance, relations et limites de l'IA
Je pense beaucoup à mes enfants et au fait qu'ils auront un jour des relations avec l'IA. Comment réfléchissez-vous aux limites et aux possibilités lorsque vous pensez à un enfant ?
Je pense que we devrions être très prudents en général avant de mettre des systèmes très puissants devant des populations plus vulnérables. Il y a certainement des freins et des contrepoids en place parce que c'est encore le début et que nous ne comprenons pas encore toutes les façons dont cela pourrait affecter les gens.
On parle beaucoup des relations et de l'IA. Pourriez-vous vous voir développer une relation avec une IA ?
Je dirais oui, comme un outil fiable qui améliore ma vie, rend ma vie meilleure.
L'investissement et Reid Hoffman
Pendant que nous réfléchissons à l'idée existentielle que nous pourrions tous avoir des relations avec l'IA un jour, il y a une ruée vers l'or de l'IA dans la Silicon Valley. Les investisseurs en capital-risque injectent de l'argent dans n'importe quelle startup d'IA, espérant trouver la prochaine grande pépite.
Reid Hoffman, le co-fondateur de LinkedIn et l'un des premiers investisseurs de Facebook, s'y connaît en matière de réussite. Il a été l'un des premiers soutiens d'OpenAI et tente, d'une certaine manière, de prendre la main de la société et de nous guider tous à travers l'ère de l'IA.
Mon Dieu, ça fait 12 ans que nous discutons.
Peut-être plus. C'est génial. Très longtemps. Oui.
Vous avez été aux premières loges de certains des plus grands changements de plateformes technologiques de l'histoire. Les débuts d'Internet, du mobile. Pensez-vous que l'IA sera encore plus importante ?
Je le pense. Elle s'appuie sur Internet, le mobile, le cloud, les données. Toutes ces choses se rejoignent pour faire fonctionner l'IA. C'est donc l'apogée, l'aboutissement de tout cela. Et l'un des problèmes du discours actuel est qu'il est trop basé sur la peur plutôt que sur l'espoir. Imaginez un tuteur sur chaque smartphone pour chaque enfant dans le monde. C'est possible. C'est en ligne de mire d'après ce que nous voyons avec les modèles d'IA actuels.
Blitzscaling et vitesse d'adoption
Vous avez inventé ce terme de blitzscaling.
Le blitzscaling, dans sa définition précise, consiste à privilégier la vitesse par rapport à l'efficacité dans un environnement d'incertitude. Comment aller aussi vite que possible afin d'être le premier à passer à l'échelle ?
L'IA fait-elle du blitzscaling ?
Eh bien, c'est certainement ce qu'il semble aujourd'hui, n'est-ce pas ? Et je pense que la vitesse à laquelle nous l'intégrerons dans nos vies sera plus rapide que celle à laquelle nous avons intégré l'iPhone. Il y aura un copilote pour chaque profession. Et quand on y pense, c'est énorme.
Et pas que pour les activités professionnelles, car cela va écrire les dissertations de mes enfants, n'est-ce pas ? Leurs dissertations de lycée.
Oui, même si l'espoir est qu'en interagissant avec elle, ils apprennent à créer des dissertations bien plus intéressantes.
Origines d'OpenAI et Elon Musk
Elon Musk et vous vous connaissez depuis longtemps. Il a cofondé OpenAI avec Sam Altman, le PDG d'OpenAI. Nous avons beaucoup parlé au fil des ans de votre rôle de nœud au sein de la "Mafia PayPal", et du fait que vous pouvez parler à tout le monde et que, même si vous n'êtes pas d'accord, vous restez tous amis. Qu'est-ce qu'Elon a dit qui vous a intéressé si tôt ?
Une partie de la raison pour laquelle je me suis replongé dans l'IA et que j'étais présent autour de la table lors de la création d'OpenAI est qu'Elon est venu me voir en disant : "Écoute, ce truc de l'IA arrive." Une fois que j'ai commencé à creuser le sujet, j'ai réalisé que nous allions voir la prochaine génération de capacités incroyables provenant de ces appareils informatiques. Et puis, l'une des choses sur lesquelles je discutais avec Elon à l'époque était qu'il utilisait constamment le mot "robocalypse", alors que nous, les êtres humains, avons tendance à être plus facilement et plus rapidement motivés par la peur que par l'espoir. Vous utilisez donc le terme "robocalypse" et tout le monde imagine Terminator et tout le reste.
Ça semble assez effrayant. La robocalypse n'est pas quelque chose que nous souhaitons.
Oui. Arrête de dire ça ! Parce que la probabilité que je voie quelque chose ressemblant à une robocalypse se produire est tellement infime par rapport à tout le reste.
Vous vous êtes donc réunis sur OpenAI. Comment cela s'est-il passé ?
Je pense que cela a commencé par une série de conversations entre Elon et Sam. Et comme je les connais tous les deux très bien, j'ai été appelé. Et je me suis dit : "Super. Faisons-le, cet OpenAI." Quelque chose devrait faire contrepoids à tout le travail naturel qui va se faire dans les sphères commerciales. Comment s'assurer qu'une seule entreprise ne domine pas l'industrie, mais que les outils soient fournis à toute l'industrie afin que l'innovation puisse bénéficier aux startups et à tout le reste ? J'ai dit : "Super. Faisons-le, cet OpenAI."
Limites actuelles et risques de désinformation
J'ai demandé à ChatGPT quelles questions je devrais vous poser. J'ai trouvé ses questions assez ennuyeuses. Vos réponses étaient assez ennuyeuses aussi. Nous n'allons donc pas être remplacés de sitôt. Mais il est clair que cela a vraiment touché une corde sensible. Il y a des gens qui vont se faire avoir.
D'accord, tout le monde a déjà rencontré une personne délirante et ivre morte lors d'un cocktail qui dit des choses vraiment bizarres, ou du moins tous les adultes. Et ce n'est pas comme si le monde s'était arrêté. Nous devons prêter attention aux domaines nuisibles, comme par exemple quelqu'un qui est déprimé et envisage de se faire du mal. Vous voulez que tous les canaux par lesquels il pourrait passer à l'acte soient limités. Il ne s'agit pas seulement des chatbots, cela peut être des communautés humaines ou des moteurs de recherche. Il faut prêter attention à toutes les dimensions du problème.
Comment surestimons-nous l'IA ?
Elle ne fait toujours pas vraiment quelque chose que je qualifierais d'original pour un expert. Par exemple, l'une des questions que j'ai posées était : "Comment Reid Hoffman gagnerait-il de l'argent en investissant dans l'intelligence artificielle ?" Et la réponse qu'elle m'a donnée était une réponse très intelligente, très bien écrite, qui aurait pu être écrite par un professeur d'école de commerce qui ne comprend pas le capital-risque. Cela semble intelligent. "Oh, il étudierait les grands marchés, réaliserait quels produits seraient substitués dans ces grands marchés, trouverait des équipes pour le faire et investirait en elles." Tout était écrit, très crédible, et complètement faux. La pointe de l'information reste hors de portée de ces systèmes.
Bulle technologique et nouvelles entreprises
Des milliards de dollars sont investis dans l'IA. Ma boîte de réception est remplie de propositions sur l'IA. L'année dernière, c'était la crypto et le Web3. Comment savoir s'il ne s'agit pas simplement de la prochaine bulle ?
Je pense que l'IA générative est la chose qui a l'impact le plus large. Maintenant, quels sont les bons endroits où investir ? Je pense que ce sont des choses que nous sommes encore en train de déterminer. Évidemment, en tant qu'investisseurs en capital-risque, une partie de notre travail consiste à essayer de comprendre cela à l'avance, des années avant que les autres ne le voient venir. Mais je pense que de nouvelles entreprises massives seront créées.
Élite technologique et "Mafia de l'IA"
On dirait, par certains aspects, qu'une grande partie de l'IA est développée par un groupe d'élite d'entreprises et de personnes. Est-ce quelque chose que vous voyez se produire ?
Dans un univers idéal, on se dirait que pour une technologie qui impacterait des milliards de personnes, ces milliards de personnes devraient d'une manière ou d'une autre être directement impliquées dans sa création. Mais ce n'est pas ainsi qu'aucune technologie, nulle part dans l'histoire, n'a été construite. Et il y a des raisons pour lesquelles il faut construire rapidement, mais la question est de savoir comment amener les bonnes conversations et les bons problèmes sur la table.
Voyez-vous donc une Mafia de l'IA se former ?
Je pense qu'il y en a une, car comme vous faites référence à la Mafia PayPal, je pense qu'il y a un réseau de personnes profondément impliquées ces dernières années qui auront beaucoup d'influence sur la façon dont la technologie évolue.
Rupture du marché et futur des géants de la tech
Pensez-vous que l'IA va bouleverser la hiérarchie des géants de la tech de manière significative ?
Ce qu'elle fait certainement, c'est créer une vague de rupture. Par exemple, avec ces grands modèles de langage dans la recherche, que voulez-vous ? Voulez-vous 10 liens bleus ou voulez-vous une réponse ? Dans beaucoup de cas de recherche, vous voulez une réponse. Et une réponse générée qui ressemble à une mini-page Wikipédia est géniale. C'est un changement. Je pense donc que nous verrons une profusion de startups faire des choses intéressantes dans ce domaine.
Mais le prochain Google ou Facebook peut-il vraiment émerger si Google et Facebook, ou Meta, Apple et Amazon appliquent leur stratégie ? Et Microsoft.
Est-ce que je pense qu'une à trois autres entreprises de la taille des cinq grands géants de la tech pourraient émerger de l'IA ? Absolument oui. Maintenant, cela signifie-t-il que l'une d'entre elles va s'effondrer ? Non, pas nécessairement. Et ce n'est pas nécessaire. Plus nous en avons, mieux c'est.
Alors, quels sont les cinq prochains ?
Eh bien, c'est précisément là-dedans que nous essayons d'investir.
Partenariat Microsoft et structure d'OpenAI
Vous siégez au conseil d'administration de Microsoft. Évidemment, Microsoft fait une grande percée dans l'IA. Avez-vous rapproché Satya et Sam ou joué un rôle dans leur rapprochement ? Car Microsoft a désormais investi 10 milliards de dollars dans OpenAI.
Eh bien, je pense que tous deux sont proches de moi, me connaissent et me font confiance, donc je pense avoir aidé à faciliter la compréhension et les communications.
Elon a quitté OpenAI il y a des années et a souligné qu'elle n'est plus aussi "ouverte" qu'avant. Il a dit qu'il voulait qu'elle soit un contrepoids non lucratif à Google. Aujourd'hui, c'est une entreprise à code source fermé, à but lucratif maximal, effectivement contrôlée par Microsoft. A-t-il raison ?
Eh bien, il a tort sur plusieurs points. D'abord, c'est géré par une organisation 501(c)(3), c'est une organisation à but non lucratif.
Mais elle a une partie à but lucratif.
Le système commercial, qui est fait avec soin, sert à attirer des capitaux pour soutenir la mission non lucrative. Maintenant, venons-en à la question de "l'ouverture", par exemple. Dall-E était prêt quatre mois avant sa sortie. Pourquoi ce délai ? Parce qu'il y avait un entraînement à la sécurité. On s'est dit : "Eh bien, nous ne voulons pas que cela soit utilisé pour créer du matériel sexuel impliquant des enfants. Nous ne voulons pas que cela soit utilisé pour agresser des individus ou faire des deepfakes." Donc nous n'allons pas le mettre en open source. Nous allons le diffuser via une API afin de voir quels sont les résultats et nous assurer qu'il ne cause aucun de ces préjudices. C'est donc ouvert car l'accès aux API est ouvert, mais ce n'est pas ouvert car ce n'est pas en open source.
Certaines personnes sont en colère de voir OpenAI passer du non lucratif au lucratif. Y a-t-il une part de tromperie là-dedans ?
L'astuce que Sam et les autres ont trouvée a été de dire : "Écoutez, nous pouvons conclure un accord commercial de marché où nous disons que nous vous donnerons des licences commerciales pour certaines parties de notre technologie de diverses manières, et ensuite nous pourrons poursuivre notre mission d'IA bénéfique."
Innovation responsable et régulation
Le cimetière de l'IA est rempli d'algorithmes qui ont eu des problèmes. Comment pouvons-nous faire confiance à OpenAI, Microsoft, Google ou n'importe qui pour faire ce qu'il faut ?
Eh bien, nous devons être plus transparents. Mais d'un autre côté, bien sûr, notre problème, comme vous le suggérez, est que les gens disent : "Eh bien, l'IA devrait dire ceci ou ne devrait pas dire cela." Nous n'arrivons même pas vraiment à nous mettre d'accord là-dessus nous-mêmes. Nous ne voulons donc pas que cela soit tranché par d'autres personnes. Nous voulons que ce soit une décision de société.
Alors, comment cela va-t-il se passer au niveau mondial ?
Nous devrions essayer de construire les industries du futur. C'est ce qu'il y a de plus important. Et c'est l'une des raisons pour lesquelles j'ai tendance à m'exprimer fermement contre les gens qui disent : "Oh, nous devrions ralentir."
Avez-vous l'intention de ralentir ?
Nous avons été très clairs sur ces risques depuis de très nombreuses années. L'un d'eux est l'accélération. Et je pense que c'est un risque important auquel nous, en tant que société, devons faire face. Construire des systèmes d'IA sûrs et généraux est très complexe. C'est incroyablement difficile.
Alors, à quoi ressemble une innovation responsable pour vous ? Soutiendriez-vous, par exemple, une agence fédérale comme la FDA qui examine la technologie comme elle examine les médicaments ?
Avoir une sorte d'autorité de confiance capable d'auditer ces systèmes sur la base de principes convenus serait très utile.
Risque d'extinction et AGI
J'ai entendu des experts en IA parler du potentiel d'un avenir radieux par rapport à un avenir sombre. Et concernant l'avenir sombre, on parle du fait que cela pourrait mener à l'extinction humaine. Ces gens ont-ils tort ?
Il y a certainement un risque que lorsque nous aurons ces systèmes d'IA capables de fixer leurs propres objectifs, ils décident que leurs objectifs ne sont pas alignés sur les nôtres, qu'ils ne tirent aucun bénéfice de notre présence et que cela puisse mener à l'extinction humaine. C'est un risque. Je ne pense pas que ce risque ait augmenté ou diminué à cause de ce qui s'est passé ces derniers mois. Je pense qu'il a certainement été très médiatisé, et il y a beaucoup d'anxiété à ce sujet.
Si nous parlons du risque d'extinction humaine, avez-vous eu un moment où vous vous êtes dit : "Waouh, c'est sérieux" ?
Je pense que beaucoup d'entre nous chez OpenAI ont rejoint l'entreprise parce que nous pensions que ce serait la technologie la plus importante que l'humanité ait jamais créée. Mais bien sûr, les risques d'un autre côté sont aussi assez importants. Et c'est pour cela que nous sommes ici.
Est-ce que les employés d'OpenAI votent toujours sur l'AGI et sur le moment où elle arrivera ?
En fait, je ne sais pas.
Quelle est votre prédiction concernant l'AGI maintenant ? Et à quelle distance se trouve-t-elle réellement ?
Nous sommes encore assez loin d'un point où ces systèmes peuvent prendre des décisions de manière autonome et découvrir de nouvelles connaissances. Mais je pense que j'ai plus de certitudes quant à l'avènement de systèmes puissants dans notre avenir.
Devrions-nous même viser l'AGI ? Et les humains la veulent-ils vraiment ?
Les progrès de la société proviennent du fait de repousser les connaissances humaines. Maintenant, cela ne signifie pas que nous devrions le faire de manière imprudente et insensée. Je pense qu'il existe des moyens de guider ce développement plutôt que de l'arrêter brusquement à cause de nos craintes potentielles.
Donc le train a quitté la gare et nous devrions rester dedans.
C'est une façon de voir les choses.