Ilya Sutskever

Ilya Sutskever : La Voie vers l'AGI et l'Avenir de l'Humanité

27 mars 2023

Intelligence Artificielle
Illustration de Ilya Sutskever

Points Forts de l'Entretien

Ilya Sutskever

Mais je ne sous-estimerais pas la difficulté de l'alignement de modèles qui sont réellement plus intelligents que nous, de modèles capables de déguiser leurs intentions.

Dwarkesh Patel

Êtes-vous inquiet au sujet des espions ?

Ilya Sutskever

Je ne suis vraiment pas inquiet que les poids soient divulgués.

Ilya Sutskever

Nous pourrons tous devenir plus éclairés car nous interagirons avec une AGI qui nous aidera à voir le monde plus correctement. Imaginez parler au meilleur professeur de méditation de l'histoire.

Ilya Sutskever

Microsoft a été un très bon partenaire pour nous.

Ilya Sutskever

Je conteste donc l'affirmation selon laquelle la prédiction du prochain jeton ne peut pas surpasser la performance humaine. Si votre réseau de neurones de base est assez intelligent, vous lui demandez simplement ce qu'une personnedotée d'une grande perspicacité, d'une grande sagesse et de grandes capacités ferait.

Introduction et Excellence Scientifique

Dwarkesh Patel

Aujourd'hui, j'ai le plaisir d'interviewer Ilya Sutskever, co-fondateur et scientifique en chef d'OpenAI. Ilya, bienvenue à la Lunar Society.

Ilya Sutskever

Merci, je suis ravi d'être ici.

Dwarkesh Patel

Première question, sans aucune humilité autorisée. De nombreux scientifiques réaliseront une percée majeure dans leur domaine. Il y a beaucoup moins de scientifiques qui réaliseront plusieurs percées indépendantes définissant leur domaine tout au long de leur carrière. Quelle est la différence ? Qu'est-ce qui vous distingue des autres chercheurs ? Pourquoi avez-vous pu réaliser plusieurs percées dans votre domaine ?

Ilya Sutskever

Merci pour ces mots gentils. Il est difficile de répondre à cette question. Je fais vraiment de mon mieux, je donne tout ce que j'ai, et cela a fonctionné jusqu'à présent. C'est tout ce qu'il y a à dire.

Sécurité et Risques d'Utilisation

Dwarkesh Patel

Quelle est l'explication du fait qu'il n'y ait pas plus d'utilisations illicites de GPT ? Pourquoi davantage de gouvernements étrangers ne l'utilisent-ils pas pour propager de la propagande ou escroquer des grands-mères ?

Ilya Sutskever

Peut-être qu'ils n'ont pas vraiment eu l'occasion de le faire beaucoup, mais cela ne m'étonnerait pas non plus qu'une partie de cela se produise en ce moment même. Je suppose certainement qu'ils prendraient certains des modèles open source et essaieraient de les utiliser à cette fin. Je m'attends à ce que ce soit quelque chose qui les intéresse à l'avenir.

Dwarkesh Patel

C'est techniquement possible, ils n'y ont tout simplement pas assez réfléchi, ou ne l'ont pas fait à grande échelle en utilisant leur technologie, ou peut-être que cela arrive mais vous ne le savez tout simplement pas.

Ilya Sutskever

Seriez-vous capable de le suivre si cela se produisait ? Je pense qu'un suivi à grande échelle est possible, oui. Cela nécessite des opérations spéciales, mais c'est possible.

Impact Économique et Fenêtre vers l'AGI

Dwarkesh Patel

Il existe désormais une fenêtre dans laquelle l'IA a une grande valeur économique, à l'échelle des avions, mais nous n'avons pas encore atteint l'AGI. Quelle est la taille de cette fenêtre ?

Ilya Sutskever

Je pense qu'il est difficile de donner une réponse précise pour cette fenêtre, mais ce sera certainement une bonne fenêtre de plusieurs années. C'est aussi une question de définition, car l'IA sera de plus en plus précieuse d'année en année de manière exponentielle. Rétrospectivement, on pourrait avoir l'impression qu'il n'y a eu qu'un an ou deux parce que ces années étaient plus importantes que les précédentes. Mais déjà l'année dernière, une quantité considérable de valeur économique a été produite par l'IA, et l'année prochaine elle sera plus importante. Je dirais d'ici jusqu'à l'AGI, à peu près.

Dwarkesh Patel

Parce que je suis curieux de savoir s'il y a une startup qui utilise vos modèles, à un moment donné si vous avez l'AGI, il n'y a plus qu'une seule entreprise au monde : OpenAI. De quelle fenêtre dispose une entreprise pour produire réellement quelque chose que l'AGI ne peut pas produire ?

Ilya Sutskever

C'est la même question que de demander combien de temps il reste avant l'AGI. C'est une question difficile et j'hésite à donner un chiffre, d'autant plus que les personnes optimistes travaillant sur la technologie ont tendance à sous-estimer le temps que cela prend. Je me base sur l'exemple de la voiture autonome. Si vous regardez le comportement de conduite autonome d'une Tesla, on dirait qu'elle fait tout, mais il est clair qu'il y a encore un long chemin à parcourir en termes de fiabilité. Nous pourrions être dans une situation similaire avec nos modèles où ils semblent pouvoir tout faire, mais nous devrons travailler jusqu'à ce que nous réglions vraiment tous les problèmes et les rendions fiables et disciplinés.

Dwarkesh Patel

D'ici 2030, quel pourcentage du PIB représentera l'IA ?

Ilya Sutskever

Il est difficile de répondre à cette question.

Dwarkesh Patel

Donnez-moi peut-être une fourchette haute ou basse.

Ilya Sutskever

Le problème est que mes barres d'erreur sont à l'échelle logarithmique, donc je pourrais imaginer à la fois un pourcentage énorme ou un pourcentage décevant.

Dwarkesh Patel

Prenons l'hypothèse contrefactuelle où il s'agirait d'un petit pourcentage. Nous sommes en 2030 et pas tant de valeur économique que cela a été créée par ces LLM. Aussi improbable que cela vous paraisse, quelle serait votre meilleure explication de la raison pour laquelle cela aurait pu arriver ?

Ilya Sutskever

Je ne pense vraiment pas que ce soit une possibilité probable, mais pour répondre à la question, ma réponse serait la fiabilité. Si la fiabilité s'avérait plus difficile que prévu, ce serait la raison. Si vous devez toujours vérifier les réponses et tout revérifier, cela freine la valeur économique qui peut être produite.

Dwarkesh Patel

Ils seront donc technologiquement matures, c'est juste une question de savoir s'ils seront assez fiables.

Ilya Sutskever

Dans un certain sens, ne pas être fiable signifie ne pas être technologiquement mature.

Au-delà de la Prédiction du Prochain Jeton

Dwarkesh Patel

C'est juste. Qu'y a-t-il après les modèles génératifs ? Auparavant, vous travailliez sur l'apprentissage par renforcement. Est-ce le paradigme qui nous mène à l'AGI ou y a-t-il quelque chose après cela ?

Ilya Sutskever

Je pense que ce paradigme va aller vraiment loin et je ne le sous-estimerais pas. Il est fort probable que ce paradigme précis ne soit pas tout à fait la forme finale de l'AGI. J'hésite à dire précisément quel sera le prochain paradigme, mais il impliquera probablement l'intégration de toutes les différentes idées apparues par le passé.

Dwarkesh Patel

Y en a-t-il une spécifique à laquelle vous faites référence ?

Ilya Sutskever

Il est difficile d'être spécifique.

Dwarkesh Patel

On pourrait soutenir que la prédiction du prochain jeton ne peut nous aider qu'à égaler la performance humaine et non à la surpasser. Que faudrait-il pour surpasser la performance humaine ?

Ilya Sutskever

Je conteste l'affirmation selon laquelle la prédiction du prochain jeton ne peut pas surpasser la performance humaine. En surface, on a l'impression que si l'on apprend juste à imiter ce que font les gens, on ne peut que copier les gens. Mais si votre réseau de neurones de base est assez intelligent, vous lui demandez simplement ce qu'une personne dotée d'une grande perspicacité, d'une grande sagesse et de grandes capacités ferait. Même si une telle personne n'existe pas, le réseau de neurones sera capable d'extrapoler comment une telle personne devrait se comporter.

Ilya Sutskever

Bien prédire le prochain jeton signifie que vous comprenez la réalité sous-jacente qui a conduit à la création de ce jeton. Ce sont des statistiques, mais pour compresser ces statistiques, vous devez comprendre ce qui les crée dans le monde. Si vous êtes bon pour prédire le prochain jeton, vous devriez être capable de deviner ce qu'une personne hypothétique dotée d'une capacité mentale bien supérieure ferait.

Données, Apprentissage et Raisonnement

Dwarkesh Patel

Lorsque nous effectuons un apprentissage par renforcement sur ces modèles, combien de temps faudra-t-il avant que la plupart des données proviennent des IA et non des humains ?

Ilya Sutskever

Déjà, la plupart des données pour l'apprentissage par renforcement proviennent des IA. Les humains sont utilisés pour entraîner la fonction de récompense, mais l'interaction avec le modèle est automatique et toutes les données générées pendant l'apprentissage par renforcement sont créées par l'IA. Dans l'apprentissage par renforcement à partir de rétroactions humaines, les rétroactions sont utilisées pour entraîner la fonction de récompense, qui est ensuite utilisée pour créer les données qui entraînent le modèle.

Dwarkesh Patel

Y a-t-il un espoir de retirer l'humain de la boucle et de le faire s'améliorer par lui-même à la manière d'AlphaGo ?

Ilya Sutskever

Certainement. Ce que l'on veut vraiment, c'est que les enseignants humains collaborent avec une IA. On peut imaginer un monde où les enseignants humains font 1 % du travail et l'IA 99 %. Ce devrait être une collaboration homme-machine qui enseigne à la machine suivante.

Dwarkesh Patel

Actuellement, ces modèles semblent mauvais pour le raisonnement en plusieurs étapes. Que faut-il pour franchir cet obstacle ?

Ilya Sutskever

Un entraînement dédié et des améliorations des modèles de base nous y amèneront. Fondamentalement, ils ne sont mauvais que pour le raisonnement mental en plusieurs étapes lorsqu'ils ne sont pas autorisés à réfléchir à voix haute. Lorsqu'ils sont autorisés à réfléchir à voix haute, ils sont assez bons, et je m'attends à ce que cela s'améliore considérablement.

Dwarkesh Patel

Êtes-vous à court de jetons de raisonnement sur Internet ?

Ilya Sutskever

Certains prétendent qu'à un moment donné, nous manquerons de jetons pour entraîner ces modèles. Je pense que cela arrivera un jour et que nous aurons besoin d'autres moyens d'améliorer leurs capacités et d'affiner leur comportement sans plus de données.

Dwarkesh Patel

Vous n'êtes pas encore à court de données ?

Ilya Sutskever

La situation des données est encore assez bonne, mais à un moment donné, les données viendront à manquer.

Dwarkesh Patel

Quelle est la source de données la plus précieuse ? Est-ce Reddit, Twitter ou les livres ?

Ilya Sutskever

D'une manière générale, on aimerait des jetons sur des choses plus intelligentes ou plus intéressantes. Toutes les sources que vous avez mentionnées sont précieuses.

Dwarkesh Patel

Faut-il passer au multimodal pour obtenir plus de jetons ou nous reste-t-il assez de jetons de texte ?

Ilya Sutskever

On peut encore aller très loin avec du texte seul, mais passer au multimodal semble être une direction très fructueuse.

Dwarkesh Patel

Quel est l'endroit où nous n'avons pas encore récupéré les jetons ?

Ilya Sutskever

Je ne peux pas répondre à cette question pour nous, mais je suis sûr que pour chacun, il y a une réponse différente.

Algorithmes et Robotique

Dwarkesh Patel

Combien d'ordres de grandeur d'amélioration pouvons-nous obtenir uniquement grâce aux améliorations algorithmiques ?

Ilya Sutskever

Difficile de répondre, mais je suis sûr qu'il y en a.

Dwarkesh Patel

Est-ce beaucoup ou un peu ?

Ilya Sutskever

Il n'y a qu'une seule façon de le découvrir.

Dwarkesh Patel

Opinions rapides. Les transformateurs de récupération ?

Ilya Sutskever

Cela semble prometteur.

Dwarkesh Patel

Comme une voie à suivre ?

Ilya Sutskever

Je pense que cela semble prometteur.

Dwarkesh Patel

La robotique. Était-ce la bonne décision pour OpenAI de laisser cela derrière elle ?

Ilya Sutskever

Oui, c'était le cas. À l'époque, il n'était pas possible de continuer car il y avait si peu de données. Pour travailler sur la robotique, il fallait devenir une entreprise de robotique et disposer d'un groupe géant de personnes construisant et entretenant des robots. Il n'y avait aucune voie vers les données à partir de la robotique. Lorsque nous avons pris la décision, il n'y avait aucune issue.

Dwarkesh Patel

Y en a-t-il une maintenant ?

Ilya Sutskever

Maintenant, il est possible de créer une voie à suivre, mais il faut vraiment s'engager dans la tâche de la robotique. Vous devez construire des dizaines de milliers de robots et collecter des données à partir d'eux dans un parcours graduel d'amélioration. Ce n'est pas du tout la même chose que le logiciel. On pourrait progresser dans la robotique aujourd'hui avec assez de motivation.

Alignement et Matériel

Dwarkesh Patel

Quelles idées êtes-vous impatient d'essayer mais que vous ne pouvez pas à cause des limitations matérielles ?

Ilya Sutskever

Je ne pense pas que le matériel actuel soit une limitation.

Dwarkesh Patel

D'accord.

Ilya Sutskever

Ce n'est tout simplement pas le cas.

Dwarkesh Patel

Donc, tout ce que vous voulez essayer, vous pouvez simplement le lancer ?

Ilya Sutskever

Bien sûr. Vous pourriez souhaiter que le matériel soit moins cher ou ait une meilleure bande passante, mais dans l'ensemble, le matériel n'est pas une limitation.

Dwarkesh Patel

Pensez-vous que nous aurons un jour une définition mathématique de l'alignement ?

Ilya Sutskever

Une définition mathématique est peu probable. Je pense que nous aurons plutôt plusieurs définitions qui examinent l'alignement sous différents aspects. On peut observer le comportement dans des situations de stress contradictoires et la façon dont le réseau de neurones fonctionne de l'intérieur. Il faudrait examiner plusieurs facteurs en même temps.

Dwarkesh Patel

À quel point devez-vous être sûr avant de publier un modèle ? 100 % ?

Ilya Sutskever

Plus le modèle est performant, plus vous devez être confiant.

Dwarkesh Patel

Disons que c'est quelque chose qui est presque une AGI.

Ilya Sutskever

Cela dépend de ce que votre AGI peut faire. L'AGI est un terme ambigu. Un étudiant moyen à l'université est une AGI. Selon l'endroit où vous placez cette barre, vous devez être plus ou moins confiant.

Dwarkesh Patel

Quelle est la voie vers l'alignement qui vous semble la plus prometteuse ?

Ilya Sutskever

Je pense que ce sera une combinaison d'approches. Nous utilisons de la puissance de calcul pour sonder les décalages de manière contradictoire et utilisons des réseaux de neurones pour regarder à l'intérieur d'autres réseaux de neurones. En fin de compte, ce qui réussira vraiment, c'est lorsque nous aurons un petit réseau de neurones bien compris ayant pour tâche d'étudier et de vérifier un grand réseau de neurones.

L'IA dans la Recherche et Business

Dwarkesh Patel

À quel point la plupart des recherches en IA seront-elles effectuées par l'IA ?

Ilya Sutskever

Aujourd'hui, quand vous utilisez Copilot, comment divisez-vous le travail ? Je m'attends à ce qu'à un moment donné, vous demandiez à un descendant de ChatGPT des idées suggérées et que vous obteniez des perspectives fructueuses. Cela permettra de résoudre des problèmes que vous ne pouviez pas résoudre auparavant.

Dwarkesh Patel

Mais il ne fait que donner des idées plus rapidement, il n'interagit pas lui-même ?

Ilya Sutskever

Le goulot d'étranglement, ce sont les bonnes idées et les perspectives, et c'est un domaine où les réseaux de neurones pourraient nous aider.

Dwarkesh Patel

Si vous pouviez concevoir un prix d'un milliard de dollars pour la recherche sur l'alignement, quel serait le critère ?

Ilya Sutskever

Je n'ai pas encore trouvé de critère exact. Peut-être un prix où l'on attend cinq ans et que l'on décerne ensuite rétroactivement en fonction du résultat principal obtenu.

Dwarkesh Patel

Mais aucune chose concrète que nous puissions identifier pour l'instant ?

Ilya Sutskever

Beaucoup de progrès, oui, mais je ne dirais pas que ce serait l'élément complet.

Dwarkesh Patel

L'entraînement de bout en bout est-il la bonne architecture pour les modèles plus volumineux ?

Ilya Sutskever

L'entraînement de bout en bout est très prometteur, et connecter les choses entre elles est également très prometteur.

Dwarkesh Patel

Tout est prometteur.

Dwarkesh Patel

OpenAI prévoit des revenus d'un milliard de dollars en 2024. Pourquoi ce chiffre ?

Ilya Sutskever

Nous avons un produit depuis un certain temps depuis GPT-3 via l'API, et nous avons vu comment il a grandi. La réponse à DALL-E et ChatGPT nous donne des informations pour une extrapolation raisonnable vers 2024. On ne peut pas inventer ces choses de toutes pièces, sinon les barres d'erreur seraient de 100 fois dans chaque direction.

L'Après-AGI et l'Évolution Humaine

Dwarkesh Patel

La plupart des exponentielles ne restent pas exponentielles. Comment déterminez-vous cela dans ce cas ?

Ilya Sutskever

Parieriez-vous contre l'IA ?

Dwarkesh Patel

Pas après avoir parlé avec vous. À quoi ressemble un futur post-AGI ? Que ferez-vous concrètement une fois que l'AGI sera là ?

Ilya Sutskever

La question de savoir ce que les gens feront après l'AGI est délicate. L'IA pourrait nous aider à trouver un sens. J'imagine que nous pourrons tous devenir plus éclairés parce que nous interagirons avec une AGI qui nous aidera à voir le monde plus correctement. Certaines personnes choisiront de devenir en partie IA pour élargir leur esprit et résoudre les problèmes les plus difficiles auxquels la société sera confrontée.

Dwarkesh Patel

Allez-vous devenir en partie IA ?

Ilya Sutskever

C'est tentant.

Dwarkesh Patel

Y aura-t-il des humains physiquement incarnés en l'an 3000 ? Avez-vous réfléchi à ce à quoi vous voulez que ce monde ressemble ?

Ilya Sutskever

Je ne pense pas que ce soit à nous de décider de l'apparence que nous voulons donner au monde. Le changement est la seule constante. Même après l'AGI, le monde continuera d'évoluer à travers des transformations. J'espère qu'il y aura des descendants d'êtres humains menant des vies heureuses et épanouies où ils seront libres de résoudre leurs propres problèmes. Je préférerais de loin un monde où les gens seraient encore libres de commettre leurs propres erreurs et d'évoluer moralement, l'AGI fournissant un filet de sécurité de base.

Réflexions sur le Progrès et Infrastructure

Dwarkesh Patel

Combien de temps passez-vous à réfléchir à ces choses par rapport à la recherche ?

Ilya Sutskever

J'y réfléchis pas mal.

Dwarkesh Patel

De quelles manières les capacités ont-elles dépassé ce que vous attendiez en 2015 ?

Ilya Sutskever

Elles ont effectivement dépassé ce que j'attendais en 2015. À l'époque, je ne voulais tout simplement pas parier contre le deep learning et je voulais faire le plus gros pari possible sur lui, croyant qu'il trouverait la solution.

Dwarkesh Patel

Des manières spécifiques dont cela a été plus ou moins que ce que vous attendiez ?

Ilya Sutskever

Je ne me souviens pas de prédictions concrètes de 2015. Globalement, je voulais faire le plus gros pari possible on le deep learning, mais je ne savais pas exactement jusqu'où les choses iraient en sept ans. Cela m'a surpris, même si je faisais des prédictions agressives.

Dwarkesh Patel

Que croyez-vous maintenant que les gens chez OpenAI trouveraient farfelu ?

Ilya Sutskever

Nous communiquons beaucoup chez OpenAI, donc les gens ont une assez bonne idée de ce que je pense. Nous sommes arrivés à un point où nous sommes d'accord sur toutes ces questions.

Dwarkesh Patel

Le matériel TPU de Google et ses données lui donnent-ils un avantage ?

Ilya Sutskever

Les TPU et les GPU sont très similaires. Une puce GPU est un peu plus grande et une puce TPU un peu plus petite, mais comme ils fabriquent plus de GPU, ils pourraient être moins chers. Les deux architectures tentent de résoudre le même goulot d'étranglement mémoire-processeur. La seule chose qui compte est le coût par flop et le coût global du système. Je soupçonnerais que les TPU sont plus chers car il y en a moins.

Dwarkesh Patel

Combien de temps est consacré aux hyperparamètres par rapport aux nouvelles idées ?

Ilya Sutskever

Trouver de nouvelles idées est une partie modeste du travail. Le plus important est de comprendre les résultats et ce qui se passe. Comprendre ce qui pourrait ne pas aller ou ce qui a causé un résultat inattendu prend beaucoup de temps. L'activité principale est la compréhension.

Dwarkesh Patel

La différence entre les deux ?

Ilya Sutskever

Trouver de nouvelles idées, c'est comme demander 'que se passerait-il si nous faisions telle ou telle chose ?'. La compréhension consiste à identifier les phénomènes et les effets sous-jacents. C'est là que se déroule l'action réelle.

Dwarkesh Patel

Comme ImageNet ?

Ilya Sutskever

C'était définitivement de la compréhension. Une nouvelle compréhension de choses très anciennes.

Dwarkesh Patel

L'expérience avec Azure ?

Ilya Sutskever

Fantastique. Microsoft a été un très bon partenaire et a aidé à rendre Azure vraiment performant pour l'apprentissage automatique (ML).

Dwarkesh Patel

À quel point l'écosystème de l'IA est-il vulnérable vis-à-vis de Taïwan ?

Ilya Sutskever

Ce sera certainement un revers important. Personne ne pourrait obtenir plus de puissance de calcul pendant quelques années. Mais je m'attends à ce que la puissance de calcul surgisse ailleurs. Intel pourrait produire quelque chose ressemblant à un GPU d'il y a quelques générations. Il existe des usines en dehors de Taïwan ; elles ne sont tout simplement pas aussi performantes. C'est juste un contretemps.

Économie de l'Inférence et Marché

Dwarkesh Patel

L'inférence deviendra-t-elle prohibitive en termes de coût ?

Ilya Sutskever

Cela dépend de son utilité. Si votre réseau de neurones pouvait vous donner des conseils juridiques fiables, vous seriez heureux de dépenser des centaines de dollars pour cela, et soudain l'inférence devient non prohibitive. La question est de savoir si le réseau de neurones peut produire une réponse suffisamment bonne à ce coût.

Dwarkesh Patel

Différents modèles à différents niveaux ?

Ilya Sutskever

Nous proposons plusieurs réseaux de neurones de différentes tailles. Les clients utilisent les uns ou les autres en fonction de leur cas d'utilisation.

Dwarkesh Patel

Comment empêchez-vous les modèles de devenir des produits de base ?

Ilya Sutskever

Vous devez continuer à progresser, à améliorer les modèles et à les rendre plus fiables et dignes de confiance.

Dwarkesh Patel

Pourquoi utiliser un nouveau modèle si celui d'il y a un an est bon marché ?

Ilya Sutskever

Un nouveau modèle favorisera des cas d'utilisation plus intéressants. Vous pouvez également effectuer des recherches pour proposer le même modèle à moindre coût. Je peux aussi imaginer un certain degré de spécialisation où certaines entreprises sont plus fortes dans un domaine plus étroit.

Dwarkesh Patel

Les directions de recherche convergent-elles ou divergent-elles ?

Ilya Sutskever

Je m'attends à un comportement de divergence-convergence. Il y a une convergence sur le travail à court terme et une divergence sur le travail à plus long terme. Une fois que le travail à long terme portera ses fruits, il y aura à nouveau une convergence.

Dwarkesh Patel

Domaines prometteurs...

Ilya Sutskever

Il y a moins de publications maintenant, il faudra donc plus de temps avant qu'une direction prometteuse ne soit redécouverte.

Sécurité des Modèles et Lois d'Échelle

Dwarkesh Patel

Êtes-vous inquiet à propos des espions ou des attaques ?

Ilya Sutskever

On ne peut pas écarter cela. Nous essayons de nous en protéger au mieux de nos capacités, mais c'est un problème pour quiconque construit ces systèmes.

Dwarkesh Patel

Comment prévenir les fuites ?

Ilya Sutskever

Vous avez de très bonnes personnes en sécurité.

Dwarkesh Patel

Combien de personnes pourraient accéder aux poids via SSH ?

Ilya Sutskever

Nos experts en sécurité ont fait un excellent travail, je ne suis donc pas inquiet que les poids soient divulgués.

Dwarkesh Patel

Des propriétés émergentes surprenantes ?

Ilya Sutskever

Je suis sûr que de nouvelles propriétés surprenantes apparaîtront. Je suis enthousiaste quant à la fiabilité et à la contrôlabilité. La fiabilité signifie que vous pouvez faire confiance à la sortie du modèle et la contrôlabilité signifie que vous pouvez le contrôler.

Dwarkesh Patel

Pouvez-vous le prédire à l'avance ?

Ilya Sutskever

Il est possible de faire certaines prédictions sur des capacités spécifiques, même si ce n'est pas simple aujourd'hui. S'améliorer dans ce domaine est vraiment important.

Dwarkesh Patel

À quel point prenez-vous au sérieux les lois d'échelle ?

Ilya Sutskever

La loi d'échelle vous indique ce qui arrive à la précision de la prédiction du mot suivant. Il y a un défi distinct consistant à lier cela à la capacité de raisonnement. Je crois qu'il existe un lien, mais il est complexe. D'autres éléments comme les jetons de raisonnement pourraient aider.

Dwarkesh Patel

Embaucher des humains pour générer des jetons ?

Ilya Sutskever

S'appuyer sur les gens pour apprendre à nos modèles à bien se comporter et à ne pas produire de fausses informations est extrêmement sensé.

Dwarkesh Patel

N'est-il pas étrange que les données, les transformateurs et les GPU soient apparus en même temps ?

Ilya Sutskever

C'est une situation intéressante. Les données existent parce que les ordinateurs personnels et Internet sont devenus économiques. Les GPU se sont améliorés pour le jeu, puis NVIDIA en a fait des ordinateurs polyvalents. Les progrès dans ces dimensions sont entrelacés.

Dwarkesh Patel

Inévitabilité du progrès ?

Ilya Sutskever

Il y aurait peut-être eu un petit retard, peut-être d'un an. À mesure que les ordinateurs deviennent plus rapides, il devient plus facile d'entraîner des réseaux de neurones avec moins d'efforts d'ingénierie. J'imaginerais un retard de quelques années maximum.

Alignement et Recherche Académique

Dwarkesh Patel

À quel point l'alignement sera-t-il difficile ?

Ilya Sutskever

Avec les capacités actuelles, nous avons un bon ensemble d'idées. Mais je ne sous-estimerais pas la difficulté de l'alignement de modèles plus intelligents que nous et capables de déguiser leurs intentions. La recherche sur l'alignement est un domaine où les chercheurs universitaires peuvent apporter des contributions très significatives.

Dwarkesh Patel

Le milieu universitaire trouvera-t-il des perspectives sur les capacités ?

Ilya Sutskever

Les entreprises concrétiseront les capacités, mais il est possible que la recherche universitaire apporte des éclairages. Peut-être ne pensent-ils pas encore aux bons problèmes. Pourquoi l'exclurais-je ?

Dwarkesh Patel

Impact sur le monde des atomes ?

Ilya Sutskever

Je ne pense pas qu'il y ait une distinction nette. Si un réseau de neurones vous dit de réorganiser votre appartement pour améliorer votre vie et que vous le faites, c'est un impact sur le monde des atomes.

Percées Conceptuelles et Conclusion

Ilya Sutskever

L'une des façons dont le progrès a eu lieu est de comprendre que quelque chose possédait une propriété souhaitable depuis le début, sans que nous nous en rendions compte. Rétrospectivement, on n'aura pas l'impression d'une percée. Le transformateur a été évoqué parce qu'il n'était évident pour personne. L'avancée fondamentale du deep learning a été une percée conceptuelle géante car pendant longtemps, les gens ne l'ont pas vue.

Dwarkesh Patel

L'algorithme Forward-forward ?

Ilya Sutskever

C'est une tentative d'entraîner un réseau de neurones sans rétropropagation. C'est intéressant si l'on veut comprendre comment le cerveau pourrait apprendre. Mais si vous essayez de concevoir un bon système, il n'y a aucune raison de ne pas utiliser la rétropropagation.

Dwarkesh Patel

Utiliser les humains comme preuve d'existence pour l'AGI ?

Ilya Sutskever

Je pense qu'il est bon de s'inspirer correctement des humains et du cerveau. Il est facile de s'attacher à une qualité non essentielle. Le neurone artificiel a été inspiré par le cerveau et s'est avéré fructueux. Nous devons nous concentrer sur la maîtrise de nos propres bases. On peut et on doit s'inspirer de l'intelligence humaine avec précaution.

Dwarkesh Patel

Corrélation entre être le premier et être un chercheur de haut niveau ?

Ilya Sutskever

Je ne pense pas qu'ils soient très corrélés. J'ai juste continué à essayer très fort et cela a suffi jusqu'à présent. Il faut foncer et avoir la bonne façon de voir les choses.

Dwarkesh Patel

Un vrai plaisir. Merci d'être venu à la Lunar Society.

Ilya Sutskever

J'ai vraiment apprécié. Merci.

Dwarkesh Patel

J'espère que vous avez apprécié cet épisode. Pour aider à payer les factures liées à ce podcast, j'active les abonnements payants sur mon Substack. Aucun contenu important ne sera jamais verrouillé par un abonnement. Si vous avez apprécié ce podcast, je vous serais vraiment reconnaissant de votre soutien. La chose la plus utile que vous puissiez faire est de partager le podcast. Merci de m'avoir écouté, à la prochaine. Santé.