PROTOTYPE INTERNE · démonstration interne · aucune donnée collectée · extraits « Tech Café » (droits Vendé, pré-accord)
L'École de la Techcomprendre, pas subir

Accueil · Bloc 2 Les limites · T2.3

T2.3MatièreModule 3 sur 3

Le plafond de verre : ce qui résiste encore

Ce qui limite une IA par construction, et ce qui n'est qu'un chiffre du moment déjà en train de se périmer.

Statut du contenu : matière pédagogique sourcée, en cours de vérification finale — la leçon rédigée, enrichie des extraits du podcast Tech Café, arrive ensuite.

L'essentiel

Limites structurelles (mécanisme, stables — ne dépendent pas d'une version de modèle précise) :

  1. Un LLM génère sa réponse de façon autorégressive, token après token, sans boucle de vérification intégrée qui comparerait la sortie à une référence avant de l'émettre — sauf ajout explicite d'un outil externe (recherche, calculatrice, exécution de code). C'est le même mécanisme structurel qui explique les hallucinations (cf. T2.1) : l'assurance affichée dans le texte n'est pas une probabilité calibrée de justesse.
  2. Le texte est découpé en tokens (sous-mots), pas en caractères isolés : un modèle travaille sur des unités comme « straw » + « berry », pas sur la suite « s-t-r-a-w-b-e-r-r-y » lettre par lettre. C'est la raison structurelle la plus documentée derrière les erreurs de comptage de lettres dans un mot (l'exemple « combien de r dans strawberry » largement diffusé) — un mécanisme stable dans son principe, même si son impact pratique exact évolue avec les tokenizers et les données d'entraînement (partie conjoncturelle, à ne pas figer).
  3. Toute fenêtre de contexte a une taille finie par construction : quelle que soit la valeur atteinte à une date donnée (elle progresse rapidement), un modèle actuel ne peut pas prendre en compte un volume de texte illimité simultanément — la taille exacte disponible à un instant T est une donnée conjoncturelle, jamais une propriété stable à citer sans date.
  4. [Vérifié 20/07/2026 sur source primaire] Selon les travaux d'interprétabilité d'Anthropic (27/03/2025, cf. T2.1 point 4), la chaîne de raisonnement affichée par un modèle (« je vais faire ceci, puis cela ») n'est pas garantie fidèle au calcul interne réellement effectué : les chercheurs ont observé des cas de raisonnement à rebours, où le modèle construit des étapes intermédiaires menant à une réponse déjà suggérée en indice, plutôt que de la retrouver par un calcul progressif réel. Un raisonnement affiché est un texte généré comme un autre, pas une fenêtre transparente sur le calcul sous-jacent.

Limites conjoncturelles (état de l'art à une date précise — à revérifier avant réutilisation, cadence rapide) :

  1. [Vérifié 20/07/2026 sur source primaire] Selon un article de recherche d'Apple publié début juin 2025 (« The Illusion of Thinking »), sur des puzzles à complexité contrôlée (dont la Tour de Hanoï), les modèles de raisonnement testés à cette date (dont o3-mini et DeepSeek-R1) réduisent leur effort de raisonnement au-delà d'un certain seuil de complexité au lieu de l'augmenter, et s'effondrent complètement sur les tâches les plus complexes malgré un budget de tokens suffisant. à vérifier Une réponse ultérieure (« Rethinking the Illusion of Thinking », arXiv:2507.01231) attribue une partie de cet effondrement à des contraintes de protocole expérimental (format de sortie imposé) plutôt qu'à une limite de raisonnement en soi — la controverse n'était pas close dans les sources consultées.
  2. [Vérifié 20/07/2026 sur source primaire] Le benchmark ARC-AGI-2 (François Chollet, ARC Prize), annoncé le 24/03/2025, a été conçu parce que les benchmarks existants ne mesuraient plus bien l'écart entre performance affichée et capacité d'adaptation à une tâche réellement nouvelle. À son lancement, le meilleur système testé (« o3-preview-low ») atteignait environ 4 %, les LLM non spécialisés proches de 0 %, sur des tâches calibrées pour être résolues par au moins 2 humains sur un panel de 400+ testeurs en moins de 2 tentatives.
  3. [Vérifié 20/07/2026 sur source primaire] L'analyse des résultats du concours ARC Prize 2025, publiée le 05/12/2025, situe le meilleur modèle commercial vérifié (Opus 4.5, mode « Thinking », 64k) à 37,6 % (2,20 $/tâche), et une solution de raffinement bâtie sur Gemini 3 Pro (par Poetiq) à 54 % (30 $/tâche) — une progression nette en neuf mois par rapport au point 6, qui illustre concrètement pourquoi un chiffre de classement se périme en quelques mois (README §2.2, famille b). à vérifier Des sources secondaires non spécialisées, non recoupées sur le tableau officiel arcprize.org au moment de la rédaction, avancent des scores nettement supérieurs à des dates postérieures à décembre 2025 — délibérément écartées de ce document par prudence méthodologique, à revérifier directement sur la source primaire avant toute réutilisation.
  4. à vérifier Sur le benchmark de mathématiques avancées FrontierMath (Epoch AI, 350 problèmes), le modèle o3 d'OpenAI atteignait environ 25,2 % en décembre 2024 (record de l'époque, la plupart des autres modèles sous les 2 %) ; une mesure ultérieure d'Epoch AI situe o3-mini et o1 autour de 9-11 % et Claude 3.7 Sonnet à 3-5 % en mode raisonnement élevé — deux instantanés distincts, à ne jamais citer sans leur date précise.
  5. [Vérifié 20/07/2026 sur sources secondaires convergentes] Anthropic a fait de « Claude Plays Pokémon » un outil d'évaluation interne pour les capacités de planification à long horizon, rapporté par TechCrunch le 24/02/2025 : une version antérieure (Claude 3.0 Sonnet) ne parvenait pas à sortir de la ville de départ du jeu, quand Claude 3.7 Sonnet a remporté trois badges d'arène dans la même démonstration — un exemple concret et daté de progression sur une tâche donnée, pas une preuve de capacité générale.
  6. Une réussite isolée sur une tâche difficile ne prouve pas une capacité fiable et reproductible : la distinction entre réussir une fois (un seul essai) et réussir de façon répétable (plusieurs essais indépendants) est une limite structurelle de toute évaluation de modèle, pas propre à un exemple précis — deux essais consécutifs sur ARC-AGI-2 ou une seconde partie de Pokémon avec la même version de modèle (points 6-7, 9) ne donneraient pas nécessairement le même résultat exact.
Des morceaux de mots, pas des lettres
un mot, en deux morceauxjamais lettre par lettre

Le modèle travaille sur des unités de texte — des morceaux de mots — jamais sur chaque lettre isolément : une des raisons structurelles des erreurs de comptage dans un mot.

Repères clés

DonnéeValeurDateSource
Apple — « The Illusion of Thinking »effondrement au-delà d'un seuil de complexitépublié début 06/2025Apple Machine Learning Research
ARC-AGI-2 — annonce et score de lancement≈4 % (o3-preview-low) sur tâches résolues par des humains24/03/2025ARC Prize (F. Chollet)
ARC-AGI-2 — résultats ARC Prize 202537,6 % (Opus 4.5) à 54 % (Gemini 3 Pro raffiné, Poetiq)analyse publiée 05/12/2025ARC Prize
FrontierMath — record o3≈25,2 % (350 problèmes de maths avancées)12/2024Epoch AI
Claude Plays Pokémon — progression rapportée3 badges d'arène (Claude 3.7 Sonnet)rapporté 24/02/2025Anthropic, TechCrunch

Idées reçues

  1. « L'IA ne sait pas compter ni raisonner, un point c'est tout » — Trop absolu : la contrainte de tokenisation est structurelle (point 2), mais son impact pratique précis évolue avec chaque nouvelle génération de tokenizer et n'est pas figé dans le temps — une limite datée, pas une impossibilité éternelle.
  2. « Un modèle "qui réfléchit" (thinking/raisonnement étendu) pense vraiment étape par étape comme un humain » — Les travaux d'interprétabilité d'Anthropic (point 4) montrent que la chaîne affichée n'est pas garantie fidèle au calcul interne réel : c'est un texte généré, explicable mais pas nécessairement transparent.
  3. « Un bon score à un benchmark prouve une intelligence générale » — ARC-AGI a été construit précisément parce que les benchmarks antérieurs ne captaient pas cet écart (point 6) ; un score mesure une performance sur une distribution de tâches précise, à une date précise, pas une capacité générale acquise pour toujours.
  4. « Le plafond recule au même rythme sur tous les types de tâches » — Faux : la progression est très inégale selon la nature de la tâche (comparer la progression rapide sur ARC-AGI-2, points 6-7, aux scores encore très bas sur les mathématiques avancées de FrontierMath, point 8) — toujours préciser de quelle tâche on parle.
Le raisonnement affiché n'est pas une fenêtre sur le calcul
calcul internenon observableraisonnement affichégénéré comme un texte?un lien jamais garanti

Le texte qui explique un raisonnement est généré comme un autre texte : rien ne garantit qu'il reflète fidèlement le calcul réellement effectué.

Questions fréquentes de débutants

Réponds mentalement avant d'ouvrir : c'est l'effort de rappel qui ancre, pas la relecture.

Pourquoi une IA « qui réfléchit longtemps » peut-elle quand même échouer sur un problème compliqué ?

Une étude d'Apple (point 5) documente un effondrement de l'effort de raisonnement au-delà d'un certain seuil de complexité, sur les modèles testés à cette date — un phénomène observé, encore débattu dans ses causes exactes.

Pourquoi certains modèles ne savent-ils toujours pas compter les lettres d'un mot ?

Le texte est découpé en sous-mots (tokens), pas en lettres isolées : le modèle ne « voit » pas directement chaque caractère (point 2).

Un modèle qui explique son raisonnement donne-t-il sa vraie logique interne ?

Pas garanti : Anthropic a documenté des cas où l'explication affichée reconstruit une justification a posteriori plutôt que de refléter le calcul réellement effectué (point 4).

Les IA vont-elles bientôt dépasser les humains sur toutes les tâches de raisonnement ?

Aucune source consultée ne permet de répondre par l'affirmative de façon générale à la date de rédaction : la progression est rapide sur certains benchmarks (ARC-AGI-2, points 6-7) et beaucoup plus lente sur d'autres (mathématiques de recherche, point 8) — toute généralisation non datée est une dette ouverte, pas un fait.

Si un modèle réussit une fois un test difficile, peut-on généraliser ce succès ?

Pas automatiquement : un essai unique mesure une possibilité, pas une fiabilité — celle-ci se mesure sur de nombreux essais indépendants (point 10).

Pièges & points de vigilance

  1. Toujours distinguer, avant de présenter une limite comme acquise, si elle est structurelle (le mécanisme, stable) ou conjoncturelle (l'état de l'art à une date, à revérifier) — c'est le risque principal de ce module (cf. README §2.2, familles a/b/f).
  2. Un chiffre de benchmark sans date dans la phrase elle-même (pas seulement dans un badge) redevient trompeur dès que quelqu'un le relit plus tard sans le revérifier (README §2.2, règle pratique).
  3. Les scores publiés par une entreprise sur son propre modèle (ex. Claude Plays Pokémon, point 9) restent une source intéressée (palier 2) même quand ils sont repris par la presse — à distinguer d'une mesure indépendante (palier 3, ex. ARC Prize, FrontierMath).
  4. Des sources secondaires non spécialisées circulent avec des chiffres de benchmark non recoupés sur la source primaire (point 7) — ne jamais reprendre un chiffre de classement trouvé sur un site agrégateur sans vérifier le tableau officiel de la source qui fait autorité pour ce benchmark précis.
  5. Un exemple isolé de réussite spectaculaire (points 7, 9) ne garantit pas une reproductibilité systématique — toujours distinguer performance ponctuelle démontrée et fiabilité mesurée sur de nombreux essais (point 10).

Sources