Ilya Sutskever : La Voie vers l'AGI et l'Avenir de l'Humanité
27 mars 2023
Intelligence Artificielle
Points Forts de l'Entretien
Mais je ne sous-estimerais pas la difficulté de l'alignement de modèles qui sont réellement plus intelligents que nous, de modèles capables de déguiser leurs intentions.
Êtes-vous inquiet au sujet des espions ?
Je ne suis vraiment pas inquiet que les poids soient divulgués.
Nous pourrons tous devenir plus éclairés car nous interagirons avec une AGI qui nous aidera à voir le monde plus correctement. Imaginez parler au meilleur professeur de méditation de l'histoire.
Microsoft a été un très bon partenaire pour nous.
Je conteste donc l'affirmation selon laquelle la prédiction du prochain jeton ne peut pas surpasser la performance humaine. Si votre réseau de neurones de base est assez intelligent, vous lui demandez simplement ce qu'une personnedotée d'une grande perspicacité, d'une grande sagesse et de grandes capacités ferait.
Introduction et Excellence Scientifique
Aujourd'hui, j'ai le plaisir d'interviewer Ilya Sutskever, co-fondateur et scientifique en chef d'OpenAI. Ilya, bienvenue à la Lunar Society.
Merci, je suis ravi d'être ici.
Première question, sans aucune humilité autorisée. De nombreux scientifiques réaliseront une percée majeure dans leur domaine. Il y a beaucoup moins de scientifiques qui réaliseront plusieurs percées indépendantes définissant leur domaine tout au long de leur carrière. Quelle est la différence ? Qu'est-ce qui vous distingue des autres chercheurs ? Pourquoi avez-vous pu réaliser plusieurs percées dans votre domaine ?
Merci pour ces mots gentils. Il est difficile de répondre à cette question. Je fais vraiment de mon mieux, je donne tout ce que j'ai, et cela a fonctionné jusqu'à présent. C'est tout ce qu'il y a à dire.
Sécurité et Risques d'Utilisation
Quelle est l'explication du fait qu'il n'y ait pas plus d'utilisations illicites de GPT ? Pourquoi davantage de gouvernements étrangers ne l'utilisent-ils pas pour propager de la propagande ou escroquer des grands-mères ?
Peut-être qu'ils n'ont pas vraiment eu l'occasion de le faire beaucoup, mais cela ne m'étonnerait pas non plus qu'une partie de cela se produise en ce moment même. Je suppose certainement qu'ils prendraient certains des modèles open source et essaieraient de les utiliser à cette fin. Je m'attends à ce que ce soit quelque chose qui les intéresse à l'avenir.
C'est techniquement possible, ils n'y ont tout simplement pas assez réfléchi, ou ne l'ont pas fait à grande échelle en utilisant leur technologie, ou peut-être que cela arrive mais vous ne le savez tout simplement pas.
Seriez-vous capable de le suivre si cela se produisait ? Je pense qu'un suivi à grande échelle est possible, oui. Cela nécessite des opérations spéciales, mais c'est possible.
Impact Économique et Fenêtre vers l'AGI
Il existe désormais une fenêtre dans laquelle l'IA a une grande valeur économique, à l'échelle des avions, mais nous n'avons pas encore atteint l'AGI. Quelle est la taille de cette fenêtre ?
Je pense qu'il est difficile de donner une réponse précise pour cette fenêtre, mais ce sera certainement une bonne fenêtre de plusieurs années. C'est aussi une question de définition, car l'IA sera de plus en plus précieuse d'année en année de manière exponentielle. Rétrospectivement, on pourrait avoir l'impression qu'il n'y a eu qu'un an ou deux parce que ces années étaient plus importantes que les précédentes. Mais déjà l'année dernière, une quantité considérable de valeur économique a été produite par l'IA, et l'année prochaine elle sera plus importante. Je dirais d'ici jusqu'à l'AGI, à peu près.
Parce que je suis curieux de savoir s'il y a une startup qui utilise vos modèles, à un moment donné si vous avez l'AGI, il n'y a plus qu'une seule entreprise au monde : OpenAI. De quelle fenêtre dispose une entreprise pour produire réellement quelque chose que l'AGI ne peut pas produire ?
C'est la même question que de demander combien de temps il reste avant l'AGI. C'est une question difficile et j'hésite à donner un chiffre, d'autant plus que les personnes optimistes travaillant sur la technologie ont tendance à sous-estimer le temps que cela prend. Je me base sur l'exemple de la voiture autonome. Si vous regardez le comportement de conduite autonome d'une Tesla, on dirait qu'elle fait tout, mais il est clair qu'il y a encore un long chemin à parcourir en termes de fiabilité. Nous pourrions être dans une situation similaire avec nos modèles où ils semblent pouvoir tout faire, mais nous devrons travailler jusqu'à ce que nous réglions vraiment tous les problèmes et les rendions fiables et disciplinés.
D'ici 2030, quel pourcentage du PIB représentera l'IA ?
Il est difficile de répondre à cette question.
Donnez-moi peut-être une fourchette haute ou basse.
Le problème est que mes barres d'erreur sont à l'échelle logarithmique, donc je pourrais imaginer à la fois un pourcentage énorme ou un pourcentage décevant.
Prenons l'hypothèse contrefactuelle où il s'agirait d'un petit pourcentage. Nous sommes en 2030 et pas tant de valeur économique que cela a été créée par ces LLM. Aussi improbable que cela vous paraisse, quelle serait votre meilleure explication de la raison pour laquelle cela aurait pu arriver ?
Je ne pense vraiment pas que ce soit une possibilité probable, mais pour répondre à la question, ma réponse serait la fiabilité. Si la fiabilité s'avérait plus difficile que prévu, ce serait la raison. Si vous devez toujours vérifier les réponses et tout revérifier, cela freine la valeur économique qui peut être produite.
Ils seront donc technologiquement matures, c'est juste une question de savoir s'ils seront assez fiables.
Dans un certain sens, ne pas être fiable signifie ne pas être technologiquement mature.
Au-delà de la Prédiction du Prochain Jeton
C'est juste. Qu'y a-t-il après les modèles génératifs ? Auparavant, vous travailliez sur l'apprentissage par renforcement. Est-ce le paradigme qui nous mène à l'AGI ou y a-t-il quelque chose après cela ?
Je pense que ce paradigme va aller vraiment loin et je ne le sous-estimerais pas. Il est fort probable que ce paradigme précis ne soit pas tout à fait la forme finale de l'AGI. J'hésite à dire précisément quel sera le prochain paradigme, mais il impliquera probablement l'intégration de toutes les différentes idées apparues par le passé.
Y en a-t-il une spécifique à laquelle vous faites référence ?
Il est difficile d'être spécifique.
On pourrait soutenir que la prédiction du prochain jeton ne peut nous aider qu'à égaler la performance humaine et non à la surpasser. Que faudrait-il pour surpasser la performance humaine ?
Je conteste l'affirmation selon laquelle la prédiction du prochain jeton ne peut pas surpasser la performance humaine. En surface, on a l'impression que si l'on apprend juste à imiter ce que font les gens, on ne peut que copier les gens. Mais si votre réseau de neurones de base est assez intelligent, vous lui demandez simplement ce qu'une personne dotée d'une grande perspicacité, d'une grande sagesse et de grandes capacités ferait. Même si une telle personne n'existe pas, le réseau de neurones sera capable d'extrapoler comment une telle personne devrait se comporter.
Bien prédire le prochain jeton signifie que vous comprenez la réalité sous-jacente qui a conduit à la création de ce jeton. Ce sont des statistiques, mais pour compresser ces statistiques, vous devez comprendre ce qui les crée dans le monde. Si vous êtes bon pour prédire le prochain jeton, vous devriez être capable de deviner ce qu'une personne hypothétique dotée d'une capacité mentale bien supérieure ferait.
Données, Apprentissage et Raisonnement
Lorsque nous effectuons un apprentissage par renforcement sur ces modèles, combien de temps faudra-t-il avant que la plupart des données proviennent des IA et non des humains ?
Déjà, la plupart des données pour l'apprentissage par renforcement proviennent des IA. Les humains sont utilisés pour entraîner la fonction de récompense, mais l'interaction avec le modèle est automatique et toutes les données générées pendant l'apprentissage par renforcement sont créées par l'IA. Dans l'apprentissage par renforcement à partir de rétroactions humaines, les rétroactions sont utilisées pour entraîner la fonction de récompense, qui est ensuite utilisée pour créer les données qui entraînent le modèle.
Y a-t-il un espoir de retirer l'humain de la boucle et de le faire s'améliorer par lui-même à la manière d'AlphaGo ?
Certainement. Ce que l'on veut vraiment, c'est que les enseignants humains collaborent avec une IA. On peut imaginer un monde où les enseignants humains font 1 % du travail et l'IA 99 %. Ce devrait être une collaboration homme-machine qui enseigne à la machine suivante.
Actuellement, ces modèles semblent mauvais pour le raisonnement en plusieurs étapes. Que faut-il pour franchir cet obstacle ?
Un entraînement dédié et des améliorations des modèles de base nous y amèneront. Fondamentalement, ils ne sont mauvais que pour le raisonnement mental en plusieurs étapes lorsqu'ils ne sont pas autorisés à réfléchir à voix haute. Lorsqu'ils sont autorisés à réfléchir à voix haute, ils sont assez bons, et je m'attends à ce que cela s'améliore considérablement.
Êtes-vous à court de jetons de raisonnement sur Internet ?
Certains prétendent qu'à un moment donné, nous manquerons de jetons pour entraîner ces modèles. Je pense que cela arrivera un jour et que nous aurons besoin d'autres moyens d'améliorer leurs capacités et d'affiner leur comportement sans plus de données.
Vous n'êtes pas encore à court de données ?
La situation des données est encore assez bonne, mais à un moment donné, les données viendront à manquer.
Quelle est la source de données la plus précieuse ? Est-ce Reddit, Twitter ou les livres ?
D'une manière générale, on aimerait des jetons sur des choses plus intelligentes ou plus intéressantes. Toutes les sources que vous avez mentionnées sont précieuses.
Faut-il passer au multimodal pour obtenir plus de jetons ou nous reste-t-il assez de jetons de texte ?
On peut encore aller très loin avec du texte seul, mais passer au multimodal semble être une direction très fructueuse.
Quel est l'endroit où nous n'avons pas encore récupéré les jetons ?
Je ne peux pas répondre à cette question pour nous, mais je suis sûr que pour chacun, il y a une réponse différente.
Algorithmes et Robotique
Combien d'ordres de grandeur d'amélioration pouvons-nous obtenir uniquement grâce aux améliorations algorithmiques ?
Difficile de répondre, mais je suis sûr qu'il y en a.
Est-ce beaucoup ou un peu ?
Il n'y a qu'une seule façon de le découvrir.
Opinions rapides. Les transformateurs de récupération ?
Cela semble prometteur.
Comme une voie à suivre ?
Je pense que cela semble prometteur.
La robotique. Était-ce la bonne décision pour OpenAI de laisser cela derrière elle ?
Oui, c'était le cas. À l'époque, il n'était pas possible de continuer car il y avait si peu de données. Pour travailler sur la robotique, il fallait devenir une entreprise de robotique et disposer d'un groupe géant de personnes construisant et entretenant des robots. Il n'y avait aucune voie vers les données à partir de la robotique. Lorsque nous avons pris la décision, il n'y avait aucune issue.
Y en a-t-il une maintenant ?
Maintenant, il est possible de créer une voie à suivre, mais il faut vraiment s'engager dans la tâche de la robotique. Vous devez construire des dizaines de milliers de robots et collecter des données à partir d'eux dans un parcours graduel d'amélioration. Ce n'est pas du tout la même chose que le logiciel. On pourrait progresser dans la robotique aujourd'hui avec assez de motivation.
Alignement et Matériel
Quelles idées êtes-vous impatient d'essayer mais que vous ne pouvez pas à cause des limitations matérielles ?
Je ne pense pas que le matériel actuel soit une limitation.
D'accord.
Ce n'est tout simplement pas le cas.
Donc, tout ce que vous voulez essayer, vous pouvez simplement le lancer ?
Bien sûr. Vous pourriez souhaiter que le matériel soit moins cher ou ait une meilleure bande passante, mais dans l'ensemble, le matériel n'est pas une limitation.
Pensez-vous que nous aurons un jour une définition mathématique de l'alignement ?
Une définition mathématique est peu probable. Je pense que nous aurons plutôt plusieurs définitions qui examinent l'alignement sous différents aspects. On peut observer le comportement dans des situations de stress contradictoires et la façon dont le réseau de neurones fonctionne de l'intérieur. Il faudrait examiner plusieurs facteurs en même temps.
À quel point devez-vous être sûr avant de publier un modèle ? 100 % ?
Plus le modèle est performant, plus vous devez être confiant.
Disons que c'est quelque chose qui est presque une AGI.
Cela dépend de ce que votre AGI peut faire. L'AGI est un terme ambigu. Un étudiant moyen à l'université est une AGI. Selon l'endroit où vous placez cette barre, vous devez être plus ou moins confiant.
Quelle est la voie vers l'alignement qui vous semble la plus prometteuse ?
Je pense que ce sera une combinaison d'approches. Nous utilisons de la puissance de calcul pour sonder les décalages de manière contradictoire et utilisons des réseaux de neurones pour regarder à l'intérieur d'autres réseaux de neurones. En fin de compte, ce qui réussira vraiment, c'est lorsque nous aurons un petit réseau de neurones bien compris ayant pour tâche d'étudier et de vérifier un grand réseau de neurones.
L'IA dans la Recherche et Business
À quel point la plupart des recherches en IA seront-elles effectuées par l'IA ?
Aujourd'hui, quand vous utilisez Copilot, comment divisez-vous le travail ? Je m'attends à ce qu'à un moment donné, vous demandiez à un descendant de ChatGPT des idées suggérées et que vous obteniez des perspectives fructueuses. Cela permettra de résoudre des problèmes que vous ne pouviez pas résoudre auparavant.
Mais il ne fait que donner des idées plus rapidement, il n'interagit pas lui-même ?
Le goulot d'étranglement, ce sont les bonnes idées et les perspectives, et c'est un domaine où les réseaux de neurones pourraient nous aider.
Si vous pouviez concevoir un prix d'un milliard de dollars pour la recherche sur l'alignement, quel serait le critère ?
Je n'ai pas encore trouvé de critère exact. Peut-être un prix où l'on attend cinq ans et que l'on décerne ensuite rétroactivement en fonction du résultat principal obtenu.
Mais aucune chose concrète que nous puissions identifier pour l'instant ?
Beaucoup de progrès, oui, mais je ne dirais pas que ce serait l'élément complet.
L'entraînement de bout en bout est-il la bonne architecture pour les modèles plus volumineux ?
L'entraînement de bout en bout est très prometteur, et connecter les choses entre elles est également très prometteur.
Tout est prometteur.
OpenAI prévoit des revenus d'un milliard de dollars en 2024. Pourquoi ce chiffre ?
Nous avons un produit depuis un certain temps depuis GPT-3 via l'API, et nous avons vu comment il a grandi. La réponse à DALL-E et ChatGPT nous donne des informations pour une extrapolation raisonnable vers 2024. On ne peut pas inventer ces choses de toutes pièces, sinon les barres d'erreur seraient de 100 fois dans chaque direction.
L'Après-AGI et l'Évolution Humaine
La plupart des exponentielles ne restent pas exponentielles. Comment déterminez-vous cela dans ce cas ?
Parieriez-vous contre l'IA ?
Pas après avoir parlé avec vous. À quoi ressemble un futur post-AGI ? Que ferez-vous concrètement une fois que l'AGI sera là ?
La question de savoir ce que les gens feront après l'AGI est délicate. L'IA pourrait nous aider à trouver un sens. J'imagine que nous pourrons tous devenir plus éclairés parce que nous interagirons avec une AGI qui nous aidera à voir le monde plus correctement. Certaines personnes choisiront de devenir en partie IA pour élargir leur esprit et résoudre les problèmes les plus difficiles auxquels la société sera confrontée.
Allez-vous devenir en partie IA ?
C'est tentant.
Y aura-t-il des humains physiquement incarnés en l'an 3000 ? Avez-vous réfléchi à ce à quoi vous voulez que ce monde ressemble ?
Je ne pense pas que ce soit à nous de décider de l'apparence que nous voulons donner au monde. Le changement est la seule constante. Même après l'AGI, le monde continuera d'évoluer à travers des transformations. J'espère qu'il y aura des descendants d'êtres humains menant des vies heureuses et épanouies où ils seront libres de résoudre leurs propres problèmes. Je préférerais de loin un monde où les gens seraient encore libres de commettre leurs propres erreurs et d'évoluer moralement, l'AGI fournissant un filet de sécurité de base.
Réflexions sur le Progrès et Infrastructure
Combien de temps passez-vous à réfléchir à ces choses par rapport à la recherche ?
J'y réfléchis pas mal.
De quelles manières les capacités ont-elles dépassé ce que vous attendiez en 2015 ?
Elles ont effectivement dépassé ce que j'attendais en 2015. À l'époque, je ne voulais tout simplement pas parier contre le deep learning et je voulais faire le plus gros pari possible sur lui, croyant qu'il trouverait la solution.
Des manières spécifiques dont cela a été plus ou moins que ce que vous attendiez ?
Je ne me souviens pas de prédictions concrètes de 2015. Globalement, je voulais faire le plus gros pari possible on le deep learning, mais je ne savais pas exactement jusqu'où les choses iraient en sept ans. Cela m'a surpris, même si je faisais des prédictions agressives.
Que croyez-vous maintenant que les gens chez OpenAI trouveraient farfelu ?
Nous communiquons beaucoup chez OpenAI, donc les gens ont une assez bonne idée de ce que je pense. Nous sommes arrivés à un point où nous sommes d'accord sur toutes ces questions.
Le matériel TPU de Google et ses données lui donnent-ils un avantage ?
Les TPU et les GPU sont très similaires. Une puce GPU est un peu plus grande et une puce TPU un peu plus petite, mais comme ils fabriquent plus de GPU, ils pourraient être moins chers. Les deux architectures tentent de résoudre le même goulot d'étranglement mémoire-processeur. La seule chose qui compte est le coût par flop et le coût global du système. Je soupçonnerais que les TPU sont plus chers car il y en a moins.
Combien de temps est consacré aux hyperparamètres par rapport aux nouvelles idées ?
Trouver de nouvelles idées est une partie modeste du travail. Le plus important est de comprendre les résultats et ce qui se passe. Comprendre ce qui pourrait ne pas aller ou ce qui a causé un résultat inattendu prend beaucoup de temps. L'activité principale est la compréhension.
La différence entre les deux ?
Trouver de nouvelles idées, c'est comme demander 'que se passerait-il si nous faisions telle ou telle chose ?'. La compréhension consiste à identifier les phénomènes et les effets sous-jacents. C'est là que se déroule l'action réelle.
Comme ImageNet ?
C'était définitivement de la compréhension. Une nouvelle compréhension de choses très anciennes.
L'expérience avec Azure ?
Fantastique. Microsoft a été un très bon partenaire et a aidé à rendre Azure vraiment performant pour l'apprentissage automatique (ML).
À quel point l'écosystème de l'IA est-il vulnérable vis-à-vis de Taïwan ?
Ce sera certainement un revers important. Personne ne pourrait obtenir plus de puissance de calcul pendant quelques années. Mais je m'attends à ce que la puissance de calcul surgisse ailleurs. Intel pourrait produire quelque chose ressemblant à un GPU d'il y a quelques générations. Il existe des usines en dehors de Taïwan ; elles ne sont tout simplement pas aussi performantes. C'est juste un contretemps.
Économie de l'Inférence et Marché
L'inférence deviendra-t-elle prohibitive en termes de coût ?
Cela dépend de son utilité. Si votre réseau de neurones pouvait vous donner des conseils juridiques fiables, vous seriez heureux de dépenser des centaines de dollars pour cela, et soudain l'inférence devient non prohibitive. La question est de savoir si le réseau de neurones peut produire une réponse suffisamment bonne à ce coût.
Différents modèles à différents niveaux ?
Nous proposons plusieurs réseaux de neurones de différentes tailles. Les clients utilisent les uns ou les autres en fonction de leur cas d'utilisation.
Comment empêchez-vous les modèles de devenir des produits de base ?
Vous devez continuer à progresser, à améliorer les modèles et à les rendre plus fiables et dignes de confiance.
Pourquoi utiliser un nouveau modèle si celui d'il y a un an est bon marché ?
Un nouveau modèle favorisera des cas d'utilisation plus intéressants. Vous pouvez également effectuer des recherches pour proposer le même modèle à moindre coût. Je peux aussi imaginer un certain degré de spécialisation où certaines entreprises sont plus fortes dans un domaine plus étroit.
Les directions de recherche convergent-elles ou divergent-elles ?
Je m'attends à un comportement de divergence-convergence. Il y a une convergence sur le travail à court terme et une divergence sur le travail à plus long terme. Une fois que le travail à long terme portera ses fruits, il y aura à nouveau une convergence.
Domaines prometteurs...
Il y a moins de publications maintenant, il faudra donc plus de temps avant qu'une direction prometteuse ne soit redécouverte.
Sécurité des Modèles et Lois d'Échelle
Êtes-vous inquiet à propos des espions ou des attaques ?
On ne peut pas écarter cela. Nous essayons de nous en protéger au mieux de nos capacités, mais c'est un problème pour quiconque construit ces systèmes.
Comment prévenir les fuites ?
Vous avez de très bonnes personnes en sécurité.
Combien de personnes pourraient accéder aux poids via SSH ?
Nos experts en sécurité ont fait un excellent travail, je ne suis donc pas inquiet que les poids soient divulgués.
Des propriétés émergentes surprenantes ?
Je suis sûr que de nouvelles propriétés surprenantes apparaîtront. Je suis enthousiaste quant à la fiabilité et à la contrôlabilité. La fiabilité signifie que vous pouvez faire confiance à la sortie du modèle et la contrôlabilité signifie que vous pouvez le contrôler.
Pouvez-vous le prédire à l'avance ?
Il est possible de faire certaines prédictions sur des capacités spécifiques, même si ce n'est pas simple aujourd'hui. S'améliorer dans ce domaine est vraiment important.
À quel point prenez-vous au sérieux les lois d'échelle ?
La loi d'échelle vous indique ce qui arrive à la précision de la prédiction du mot suivant. Il y a un défi distinct consistant à lier cela à la capacité de raisonnement. Je crois qu'il existe un lien, mais il est complexe. D'autres éléments comme les jetons de raisonnement pourraient aider.
Embaucher des humains pour générer des jetons ?
S'appuyer sur les gens pour apprendre à nos modèles à bien se comporter et à ne pas produire de fausses informations est extrêmement sensé.
N'est-il pas étrange que les données, les transformateurs et les GPU soient apparus en même temps ?
C'est une situation intéressante. Les données existent parce que les ordinateurs personnels et Internet sont devenus économiques. Les GPU se sont améliorés pour le jeu, puis NVIDIA en a fait des ordinateurs polyvalents. Les progrès dans ces dimensions sont entrelacés.
Inévitabilité du progrès ?
Il y aurait peut-être eu un petit retard, peut-être d'un an. À mesure que les ordinateurs deviennent plus rapides, il devient plus facile d'entraîner des réseaux de neurones avec moins d'efforts d'ingénierie. J'imaginerais un retard de quelques années maximum.
Alignement et Recherche Académique
À quel point l'alignement sera-t-il difficile ?
Avec les capacités actuelles, nous avons un bon ensemble d'idées. Mais je ne sous-estimerais pas la difficulté de l'alignement de modèles plus intelligents que nous et capables de déguiser leurs intentions. La recherche sur l'alignement est un domaine où les chercheurs universitaires peuvent apporter des contributions très significatives.
Le milieu universitaire trouvera-t-il des perspectives sur les capacités ?
Les entreprises concrétiseront les capacités, mais il est possible que la recherche universitaire apporte des éclairages. Peut-être ne pensent-ils pas encore aux bons problèmes. Pourquoi l'exclurais-je ?
Impact sur le monde des atomes ?
Je ne pense pas qu'il y ait une distinction nette. Si un réseau de neurones vous dit de réorganiser votre appartement pour améliorer votre vie et que vous le faites, c'est un impact sur le monde des atomes.
Percées Conceptuelles et Conclusion
L'une des façons dont le progrès a eu lieu est de comprendre que quelque chose possédait une propriété souhaitable depuis le début, sans que nous nous en rendions compte. Rétrospectivement, on n'aura pas l'impression d'une percée. Le transformateur a été évoqué parce qu'il n'était évident pour personne. L'avancée fondamentale du deep learning a été une percée conceptuelle géante car pendant longtemps, les gens ne l'ont pas vue.
L'algorithme Forward-forward ?
C'est une tentative d'entraîner un réseau de neurones sans rétropropagation. C'est intéressant si l'on veut comprendre comment le cerveau pourrait apprendre. Mais si vous essayez de concevoir un bon système, il n'y a aucune raison de ne pas utiliser la rétropropagation.
Utiliser les humains comme preuve d'existence pour l'AGI ?
Je pense qu'il est bon de s'inspirer correctement des humains et du cerveau. Il est facile de s'attacher à une qualité non essentielle. Le neurone artificiel a été inspiré par le cerveau et s'est avéré fructueux. Nous devons nous concentrer sur la maîtrise de nos propres bases. On peut et on doit s'inspirer de l'intelligence humaine avec précaution.
Corrélation entre être le premier et être un chercheur de haut niveau ?
Je ne pense pas qu'ils soient très corrélés. J'ai juste continué à essayer très fort et cela a suffi jusqu'à présent. Il faut foncer et avoir la bonne façon de voir les choses.
Un vrai plaisir. Merci d'être venu à la Lunar Society.
J'ai vraiment apprécié. Merci.
J'espère que vous avez apprécié cet épisode. Pour aider à payer les factures liées à ce podcast, j'active les abonnements payants sur mon Substack. Aucun contenu important ne sera jamais verrouillé par un abonnement. Si vous avez apprécié ce podcast, je vous serais vraiment reconnaissant de votre soutien. La chose la plus utile que vous puissiez faire est de partager le podcast. Merci de m'avoir écouté, à la prochaine. Santé.