L'IA générative, comment ça marche vraiment ?

L'essentiel

1. Un grand modèle de langage (LLM) génère du texte un token à la fois : à chaque étape, il calcule une distribution de probabilité sur tout son vocabulaire pour répondre à « quel est le token suivant le plus probable », tire un token selon cette distribution, l'ajoute à la séquence produite, puis recommence — un mécanisme dit autorégressif. Source : explicateurs techniques standards (Hugging Face, S. Raschka).
2. Un « token » n'est pas toujours un mot entier : c'est une unité de découpage du texte (un mot, un fragment de mot, un signe de ponctuation) définie par un algorithme d'encodage, le plus courant étant le Byte-Pair Encoding (BPE).
3. Cette génération repose depuis 2017 sur une architecture appelée le Transformer, introduite dans l'article « Attention Is All You Need » par des chercheurs de Google — son innovation est un mécanisme d'« attention » qui pondère l'importance de chaque élément du texte par rapport aux autres simultanément, sans traiter la séquence mot après mot comme les architectures antérieures (réseaux récurrents). Source : Vaswani et al., arXiv:1706.03762.
4. Le modèle, au sens strict, est une fonction mathématique dont le comportement dépend de milliards de paramètres — des nombres ajustés pendant l'entraînement (cf. T1.2). Générer une réponse (l'« inférence ») ne modifie pas ces paramètres : le modèle ne conserve rien d'une génération à l'autre en dehors de ce qui lui est explicitement redonné dans sa fenêtre de contexte (cf. T1.3).
5. Ce mécanisme n'est pas une recherche documentaire : au moment de générer, le modèle ne « va chercher » aucun texte préexistant dans une base — il calcule une continuation plausible à partir de régularités apprises pendant l'entraînement. Un système qui, lui, va chercher des documents avant de répondre (retrieval) est une architecture différente, ajoutée autour du modèle, pas une propriété du LLM lui-même.
6. La génération n'est pas entièrement déterministe : un paramètre d'échantillonnage (température, top-p) contrôle la part de hasard dans le choix du token suivant parmi les plus probables — ce qui explique que la même question posée deux fois puisse produire deux réponses différentes.
7. Un modèle de diffusion (génération d'image, de vidéo ou d'audio) suit un principe distinct : il débruite progressivement un signal aléatoire par étapes successives, plutôt que de produire des unités l'une après l'autre — un mécanisme spatial/global, à ne pas confondre avec la génération séquentielle de texte des points 1-2.
8. Au 20/07/2026, les laboratoires à l'origine des modèles propriétaires les plus utilisés (OpenAI, Anthropic, Google DeepMind) ne publient plus le nombre de paramètres de leurs modèles récents — une opacité documentée depuis 2023, qui rend toute comparaison de « taille » entre modèles fermés spéculative par construction (estimations tierces non officielles). [Vérifié 20/07/2026]
9. [Vérifié 20/07/2026] Un mode dit de « raisonnement étendu » (extended thinking), proposé par plusieurs éditeurs, n'est pas un mécanisme distinct de la génération décrite au point 1 : selon la documentation Anthropic, les tokens produits pendant cette phase de raisonnement sont générés de la même façon que le reste de la réponse (token par token), simplement affichés séparément et comptés comme une catégorie de sortie à part dans la facturation. Source : platform.claude.com/docs.
10. Un réseau de neurones artificiel, dont le Transformer (point 3) est une famille particulière, est une organisation en couches de nombreuses unités simples reliées entre elles par des connexions pondérées (les paramètres, cf. T1.2) : chaque couche transforme les nombres reçus de la couche précédente avant de les transmettre à la suivante. Un LLM est une instance de grande taille de ce principe général, spécialisée pour le texte. Source : IBM.

Repères clés

Idées reçues

1. « L'IA "réfléchit" avant de répondre, comme un humain » — le principe d'entraînement (prédire le token suivant) ne décrit aucune délibération consciente ; des structures internes plus riches ont néanmoins été documentées sur certaines tâches (cf. T1.4) — la réalité est plus nuancée que les deux caricatures opposées.
2. « Le modèle va chercher la réponse dans une base de données » — non : sauf ajout explicite d'un outil de recherche externe, la génération ne consulte aucun document au moment de répondre, elle calcule à partir de paramètres appris (point 5).
3. « Un modèle avec plus de paramètres est forcément meilleur » — la taille n'est qu'un facteur parmi d'autres (qualité des données, méthode d'entraînement, cf. T1.2) ; de plus, ce chiffre n'est le plus souvent même plus rendu public pour permettre la comparaison (point 8).
4. « Le mode "raisonnement" (thinking) est une fonction séparée, plus proche d'une vraie réflexion » — mécaniquement, c'est le même processus de génération token par token que le reste de la réponse (point 9), simplement isolé et présenté à part par l'interface.

Pièges & points de vigilance

1. Le vocabulaire courant (« penser », « comprendre », « vouloir ») est une commodité de langage, pas une description technique du mécanisme — approfondi en T1.4.
2. Un LLM déployé n'apprend pas de vos conversations en temps réel par défaut : ne pas confondre le mécanisme de génération (fixe) et un éventuel réentraînement ultérieur du modèle par l'éditeur (cf. T1.2).
3. Un chiffre de « nombre de paramètres » trouvé pour un modèle fermé récent sur un site tiers est presque toujours une estimation non officielle (point 8) — à traiter comme telle, jamais comme une donnée confirmée par l'éditeur.
4. Confondre le nom d'un modèle et le nom du produit qui l'expose (question fréquente 4) mène à des comparaisons bancales : un même produit peut changer de modèle sous-jacent sans changer de nom, et inversement un même modèle peut être exposé par plusieurs produits différents.

Sources

• Attention Is All You Need — Vaswani et al. — arXiv:1706.03762, NeurIPS 2017, consulté le 20/07/2026
• How does next-token prediction train a large language model? — S. Raschka, consulté le 20/07/2026
• Next token prediction with GPT — Hugging Face, consulté le 20/07/2026
• Stop Measuring AI By Parameter Count. Here's What Actually Matters — Forbes Technology Council, 02/07/2026
• Models Table Pro: Methodology — LifeArchitect.ai, consulté le 20/07/2026 (méthode d'estimation tierce des tailles de modèles fermés)
• What Is a Neural Network? — IBM, consulté le 20/07/2026