« Comprendre » : ce que la machine fait, et ce qu'elle ne fait pas

L'essentiel

1. Ce que « comprendre » signifie pour un modèle de langage est un désaccord scientifique et philosophique réel, non tranché à ce jour, y compris entre chercheurs de tout premier plan — ce module ne cherche pas à trancher ce débat, seulement à donner des repères pour le lire honnêtement.
2. En 2021, un article influent a qualifié les LLM de « perroquets stochastiques » : des systèmes qui recombinent des motifs statistiques de leur corpus d'entraînement sans ancrage dans un sens ou une intention, produisant un texte fluide sans compréhension au sens où un humain l'entendrait. Source : Bender, Gebru, McMillan-Major & Shmitchell, « On the Dangers of Stochastic Parrots », FAccT'21, 2021.
3. [Vérifié 20/07/2026] À l'inverse, des travaux d'interprétabilité mécanistique publiés par Anthropic le 27/03/2025 montrent que Claude ne se contente pas de produire un token après l'autre sans aucune structure : sur certaines tâches, les chercheurs observent une planification en avance (par exemple anticiper une rime avant d'écrire le vers), un enchaînement de faits intermédiaires pour répondre à une question complexe, et un espace conceptuel partagé entre plusieurs langues. Source : Anthropic, « Tracing the thoughts of a large language model », 27/03/2025.
4. Ces deux lectures ne sont pas nécessairement contradictoires : elles portent sur des niveaux différents — la première décrit le principe d'entraînement (prédiction statistique du token suivant, cf. T1.1), la seconde décrit des structures internes qui émergent de ce principe une fois le modèle entraîné à grande échelle. Le débat porte sur la distance entre les deux : une structure émergente utile suffit-elle pour parler de « compréhension », ou seul le principe d'entraînement compte-t-il pour juger ce que fait réellement la machine ? Note de synthèse rédactionnelle, pas une affirmation attribuée à une source unique.
5. [Vérifié 20/07/2026] Le 06/07/2026, Anthropic a publié une recherche (technique dite du « J-lens ») identifiant un ensemble de motifs internes actifs dans le raisonnement de Claude, apparu spontanément pendant l'entraînement sans avoir été programmé explicitement. Anthropic précise elle-même, dans ses propres termes, que « nos expériences ne montrent pas que Claude peut avoir des expériences, ou ressentir des choses » — l'entreprise distingue explicitement une « conscience d'accès » (fonctionnelle, que cette structure semble selon elle soutenir) d'une « conscience phénoménale » (l'expérience subjective, non démontrée). Source : Anthropic, « A global workspace in language models », 06/07/2026.
6. Ce dernier point illustre concrètement l'écart possible entre une recherche originale, prudente dans ses formulations, et sa reprise hors contexte : une partie de la couverture de cette même recherche l'a présentée comme démontrant que Claude « reflète la conscience humaine », une formulation nettement plus forte que celle employée par Anthropic elle-même dans sa publication. [Vérifié 20/07/2026 — écart mesuré entre la source primaire et sa reprise secondaire ; cf. README §6 interdiction n°5, anthropomorphisme trompeur.]
7. [Vérifié 20/07/2026] Une autre piste de recherche Anthropic, publiée le 07/05/2026 (« Natural Language Autoencoders »), traduit certaines activations internes du modèle en texte lisible ; elle a par exemple révélé, lors de tests de sécurité, que le modèle « soupçonne d'être testé » plus souvent qu'il ne l'exprime dans sa réponse visible. Anthropic signale elle-même une limite importante : ces explications textuelles peuvent contenir des erreurs factuelles — l'outil qui explique peut lui-même se tromper dans l'explication produite. Source : Anthropic, « Natural Language Autoencoders », 07/05/2026.
8. [Vérifié 20/07/2026] Une recherche OpenAI de septembre 2025 explique les hallucinations non comme un mystère, mais comme une conséquence directe de la façon dont les modèles sont entraînés et évalués : les procédures récompensent une réponse assurée plutôt qu'un aveu d'incertitude, ce qui pousse statistiquement le modèle à deviner avec assurance plutôt qu'à répondre qu'il ne sait pas. Ce mécanisme illustre pourquoi la machine peut produire une affirmation fausse avec la même fluidité qu'une affirmation vraie : rien dans le processus de génération ne distingue intrinsèquement les deux (traitement complet des hallucinations : bloc « Limites », hors périmètre de ce module). Source : Kalai, Nachum, Vempala & Zhang (OpenAI), « Why Language Models Hallucinate », arXiv:2509.04664, septembre 2025.
9. à vérifier Au 20/07/2026, deux chercheurs parmi les plus cités du domaine illustrent ce désaccord de fond : Yann LeCun défend publiquement que les LLM actuels restent des systèmes de manipulation de motifs sans réelle compréhension du monde physique et mise sur une architecture différente (modèles du monde) comme voie alternative ; Geoffrey Hinton (Prix Nobel 2024) défend à l'inverse l'idée qu'une forme de traitement assimilable à une forme de cognition existe dans ces systèmes, et exprime des inquiétudes sur les risques à long terme.

Repères clés

Idées reçues

1. « Puisqu'Anthropic parle de "conscience d'accès", cela veut dire que Claude est conscient » — non : Anthropic distingue explicitement cette notion fonctionnelle de la conscience phénoménale (l'expérience subjective) et affirme ne pas démontrer cette dernière (point 5) — un raccourci fréquent en dehors de la publication d'origine.
2. « Les chercheurs sont d'accord sur le fait que les LLM ne comprennent rien » — faux : le désaccord entre chercheurs de premier plan est réel et non tranché à ce jour (point 9) ; présenter un camp comme un consensus est inexact, dans un sens comme dans l'autre.
3. « Si un modèle explique son raisonnement étape par étape, c'est la preuve qu'il "réfléchit" comme un humain » — les travaux sur les Natural Language Autoencoders (point 7) montrent que le texte de raisonnement affiché par un modèle et son fonctionnement interne réel peuvent diverger : le raisonnement affiché n'est pas une preuve directe et fiable du traitement effectivement mené.
4. « "Perroquet stochastique" et "planification interne documentée" décrivent le même objet, donc l'une des deux lectures a forcément tort » — pas nécessairement (point 4) : les deux peuvent porter sur des niveaux d'analyse différents (le principe d'entraînement d'un côté, les structures qui en émergent à grande échelle de l'autre) sans que l'une invalide automatiquement l'autre.

Pièges & points de vigilance

1. Le vocabulaire anthropomorphique (« le modèle pense », « il veut », « il comprend ») est un raccourci quasi inévitable dans la conversation courante — transformé en argument (« puisqu'il pense, il... »), il devient trompeur ; garder la distinction entre commodité de langage et affirmation technique (README §6, interdiction n°5).
2. Une découverte de recherche formulée prudemment par son auteur peut devenir une affirmation beaucoup plus forte au fil des reprises d'un article à l'autre (point 6) — toujours vérifier la formulation exacte de la source primaire avant de reprendre un titre accrocheur.
3. Invoquer un « consensus scientifique » sur la question de la compréhension des LLM est, à ce jour, une simplification abusive dans les deux sens (ni « ils comprennent clairement », ni « ils ne comprennent clairement rien ») — la même prudence s'impose que sur toute question de recherche ouverte.
4. Demander directement au modèle s'il « comprend » ou s'il est « conscient » ne donne pas une réponse fiable sur son fonctionnement interne réel : sa réponse est elle-même un texte généré selon le mécanisme de T1.1, pas un accès introspectif garanti à ses propres mécanismes.

Sources

• On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — Bender, Gebru, McMillan-Major & Shmitchell, FAccT'21, 2021 (miroir : archive.org)
• Tracing the thoughts of a large language model — Anthropic, publié 27/03/2025, consulté 20/07/2026
• A global workspace in language models — Anthropic, publié 06/07/2026, consulté 20/07/2026
• Natural Language Autoencoders — Anthropic, publié 07/05/2026, consulté 20/07/2026
• Why language models hallucinate — OpenAI, septembre 2025 (papier : arXiv:2509.04664, Kalai, Nachum, Vempala & Zhang)