Quand vous et moi parlons, nous sommes bilingues.

Nous pensons à ce que nous allons dire et c'est relativement indépendant de la langue dans laquelle nous allons le dire. Quand nous parlons d'un concept mathématique, le type de réflexion que nous menons et la réponse que nous prévoyons de produire ne sont pas liés au fait que nous allons le dire en français, en russe ou en anglais.

Chomsky vient de lever les yeux au ciel, mais je comprends. Il y a une abstraction plus grande qui précède le langage et qui se projette sur le langage.

C'est certainement vrai pour une grande partie des réflexions que nous menons.

Est-il évident que votre pensée est la même en français qu'en anglais ?

Oui, plus ou moins.

À quel point êtes-vous flexible ? S'il s'agit d'une distribution de probabilité ?

Cela dépend du type de réflexion. S'il s'agit de faire des jeux de mots, je suis bien meilleur en français qu'en anglais.

Existe-t-il une représentation abstraite des jeux de mots ? Votre humour est-il une représentation abstraite ? Quand vous tweetez et que vos tweets sont parfois un peu piquants, y a-t-il une représentation abstraite dans votre cerveau d'un tweet avant qu'il ne se traduise en anglais ?

Il y a une représentation abstraite de l'imagination de la réaction d'un lecteur à ce texte.

Ou vous commencez par le rire, puis vous cherchez comment y parvenir.

Imaginez une réaction que vous voulez provoquer et comment la dire pour qu'elle provoque cette réaction. Mais c'est proche du langage. Pensez à un concept mathématique ou imaginez quelque chose que vous voulez construire en bois. Le type de réflexion que vous menez n'a rien à voir avec le langage. Ce n'est pas que vous ayez nécessairement un monologue interne dans une langue particulière. Vous imaginez des modèles mentaux de la chose. Si je vous demande d'imaginer à quoi ressemblerait cette bouteille d'eau si je la faisais pivoter de 90 degrés, cela n'a rien à voir avec le langage. Clairement, il y a un niveau de représentation plus abstrait dans lequel nous effectuons la majeure partie de notre réflexion et nous planifions ce que nous allons dire si la sortie est constituée de mots prononcés par opposition à des actions musculaires. Nous planifions notre réponse avant de la produire. Les LLM ne font pas cela. Ils produisent simplement un mot après l'autre, instinctivement. C'est comme des actions subconscientes où vous êtes distrait, vous faites quelque chose, vous êtes complètement concentré, et quelqu'un vous pose une question et vous y répondez. Vous n'avez pas le temps de réfléchir à la réponse, mais la réponse est facile, donc vous n'avez pas besoin d'être attentif et vous répondez automatiquement. C'est ce qu'un LLM fait. Il ne réfléchit pas à sa réponse. Il la récupère parce qu'il a accumulé beaucoup de connaissances, donc il va recracher un jeton après l'autre sans planifier la réponse.

Mais vous donnez l'impression que la génération d'un jeton à la fois est forcément simpliste. Mais si le modèle du monde est suffisamment sophistiqué, la séquence de jetons la plus probable qu'il génère sera profondément profonde.

D'accord, mais cela suppose alors que ces systèmes possèdent réellement un modèle du monde interne.