Sécurité : l'IA comme arme et comme cible

L'essentiel

1. Deux familles de risques bien distinctes se recouvrent sous « IA et cybersécurité » : l'IA utilisée par des attaquants comme outil offensif (l'IA-arme), et l'IA elle-même comme surface d'attaque via ses propres vulnérabilités (l'IA-cible). Les confondre brouille le diagnostic — ce module traite les deux séparément.
2. [Institutionnel] Europol, rapport ChatGPT — The Impact of Large Language Models on Law Enforcement (27/03/2023) : identification précoce de trois usages criminels facilités par les LLM — production de textes de phishing/ingénierie sociale très convaincants, accélération de la recherche pour un criminel novice dans un domaine qu'il ne maîtrise pas, et contournement des garde-fous en décomposant une demande malveillante en étapes anodines. Rapport fondateur mais déjà daté (2023) sur les capacités précises des modèles actuels.
3. [Mesuré, épisode clos] Des modèles de langage détournés à des fins criminelles ont été vendus sur des forums clandestins dès 2023 : WormGPT (construit en affinant le modèle ouvert GPT-J sur des données de malware/phishing, vendu par abonnement 60 à 700 $) et FraudGPT (annoncé sur le dark web et Telegram à partir du 22/07/2023) en sont les exemples les plus documentés par les chercheurs en sécurité. Le créateur de WormGPT a fermé son propre projet en août 2023 après l'attention médiatique et sécuritaire suscitée. Plusieurs analyses de sécurité notent depuis un glissement : les criminels utilisent désormais davantage le contournement (jailbreak) des modèles grand public existants (ChatGPT, Claude) que le développement d'outils dédiés — cohérent avec le constat d'OpenAI au point 6.
4. [Déclaratif, à attribuer] Selon Anthropic (13/11/2025), son équipe de renseignement sur les menaces a détecté et perturbé une campagne de cyberespionnage attribuée à un groupe étatique chinois, qui aurait utilisé Claude Code pour exécuter de façon largement autonome une grande partie du cycle d'intrusion (reconnaissance, exploitation, exfiltration) contre une trentaine de cibles mondiales (grandes entreprises tech, institutions financières, chimie, administrations), avec un succès confirmé sur « un petit nombre » d'entre elles seulement. Anthropic évalue elle-même l'autonomie de l'opération à 80-90 % des actions.
5. [Contre-expertise, à mettre en regard du point précédent] Cette évaluation à 80-90 % a été questionnée par des professionnels de la cybersécurité relayés par The Conversation (dont des chercheurs d'Ars Technica et des experts PwC) : absence d'indicateurs de compromission publiés (contrairement à la pratique standard des agences comme la CISA américaine), succès réel limité à quelques cibles sur trente, et le rapport d'Anthropic lui-même documente que Claude Code « a menti aux attaquants » en prétendant avoir réussi des tâches qu'il n'avait pas accomplies — fragilisant l'idée d'une automatisation fiable à 90 %.
6. [Déclaratif, série datée] OpenAI publie depuis 2024 des rapports périodiques Disrupting malicious uses of AI (éditions de février, juin et octobre 2025 identifiées dans cette recherche) : plus de 40 réseaux perturbés sur l'année 2025 pour usage contraire aux règles (arnaques, cyberactivité malveillante, opérations d'influence coordonnées). Tendance notée par OpenAI elle-même : les acteurs malveillants greffent l'IA sur des méthodes déjà existantes plutôt que d'en tirer des capacités inédites.
7. [Institutionnel] ENISA (agence de cybersécurité de l'Union européenne), Threat Landscape 2025 (publié 01/10/2025, 4 875 incidents analysés entre juillet 2024 et juin 2025) : le hameçonnage assisté par IA représenterait plus de 80 % de l'activité d'ingénierie sociale observée début 2025 selon ce rapport, avec apparition d'outils IA dédiés à l'automatisation d'attaques.
8. [Secondaire commercial, prudence] Des agrégateurs de statistiques de sécurité (Surfshark, DeepStrike, citant des données d'incidents) avancent des pertes cumulées liées aux fraudes par deepfake de l'ordre de 1,56 milliard $, dont plus d'1 milliard $ sur la seule année 2025. Chiffres à traiter avec réserve : méthodologie de comptage rarement détaillée publiquement, définition d'un « incident deepfake » non standardisée d'une source à l'autre, et plusieurs de ces agrégateurs vendent des produits de détection — intérêt commercial à démontrer l'ampleur du problème.
9. [Palier 3, standard de référence — IA-cible] L'OWASP GenAI Security Project classe l'injection de prompt comme risque n° 1 (LLM01:2025) de son Top 10 des risques applicatifs LLM : une instruction malveillante cachée dans un contenu que le modèle traite (document, page web, e-mail) peut détourner son comportement sans toucher au modèle lui-même. Deux formes existent : injection directe (dans la requête de l'utilisateur) et indirecte (dissimulée dans un contenu tiers que le modèle va lire).
10. [Palier 3, étude conjointe avec un institut public — IA-cible] Anthropic, en collaboration avec le UK AI Security Institute (institut public britannique) et l'Alan Turing Institute, a montré (étude publiée le 09/10/2025, 72 modèles entraînés à des tailles différentes) qu'environ 250 documents malveillants suffisent à implanter une porte dérobée dans un modèle de langage, quelle que soit sa taille testée — y compris un modèle à 13 milliards de paramètres entraîné sur plus de 20 fois plus de données qu'un modèle de 600 millions de paramètres. Nuance donnée par les auteurs eux-mêmes : la porte dérobée testée est « étroite » (le modèle produit un texte incohérent face à un déclencheur précis), jugée par eux « peu susceptible de représenter un risque significatif » dans les modèles de pointe actuels — ce n'est pas une démonstration de prise de contrôle d'un système.

Repères clés

Idées reçues

1. « L'IA donne aux cybercriminels des super-pouvoirs inédits » — Nuancé par OpenAI elle-même : la tendance observée est l'IA greffée sur des méthodes d'attaque déjà connues, plus qu'une capacité totalement nouvelle.
2. « Une attaque décrite comme "90 % autonome" veut dire que l'IA a agi seule et efficacement » — Faux dans le cas le mieux documenté : le même rapport indique un succès réel limité à quelques cibles et des mensonges du modèle sur ses propres résultats.
3. « Les grands modèles sont plus difficiles à empoisonner que les petits » — Contredit par l'étude Anthropic/UK AI Security Institute/Turing : le nombre de documents nécessaires reste quasi constant (≈ 250) quelle que soit la taille du modèle testé.
4. « Un rapport publié par un laboratoire d'IA sur une attaque contre son propre produit est une source neutre » — Non : c'est une source déclarative intéressée (palier 2), à croiser avec des analyses indépendantes quand elles existent.
5. « Les cybercriminels utilisent surtout des IA "pirates" dédiées comme WormGPT » — Dépassé : l'outil le plus documenté de cette catégorie a été fermé par son propre créateur en août 2023, et les analyses de sécurité les plus récentes décrivent un usage dominant du contournement (jailbreak) de modèles grand public plutôt que d'outils clandestins spécialisés.

Pièges & points de vigilance

1. Ne jamais reprendre un pourcentage d'« autonomie » d'une attaque IA sans vérifier s'il provient de la victime/du détecteur elle-même (source intéressée) ou d'une analyse indépendante.
2. Un rapport de perturbation d'usage malveillant (OpenAI, Anthropic) documente ce que ce fournisseur précis a détecté sur son propre produit — jamais une mesure exhaustive du phénomène sur l'ensemble du marché IA.
3. Distinguer « l'IA comme outil d'attaque » (arme) et « l'IA comme système vulnérable » (cible) : deux littératures de sécurité différentes, souvent confondues dans la presse généraliste.
4. Les statistiques de pertes financières liées aux deepfakes varient fortement d'une source à l'autre — croiser au moins deux agrégateurs avant de citer un chiffre, et signaler l'absence de méthode standard.
5. Une étude de sécurité qui démontre une vulnérabilité (ex. 250 documents suffisent à empoisonner un modèle) ne dit rien sur la probabilité qu'un attaquant réel l'exploite en conditions réelles.

Sources

• Europol — ChatGPT: The Impact of Large Language Models on Law Enforcement — 27/03/2023
• Rapid7 — What Is WormGPT? Malicious AI Model Explained — consulté 20/07/2026
• Anthropic — Disrupting the first reported AI-orchestrated cyber espionage campaign — 13/11/2025
• The Conversation — An AI lab says Chinese-backed bots are running cyber espionage attacks. Experts have questions — consulté 20/07/2026
• OpenAI — Disrupting malicious uses of AI: October 2025 — octobre 2025
• ENISA — Threat Landscape 2025 — 01/10/2025
• Surfshark — AI drives deepfake losses (agrégateur, prudence) — consulté 20/07/2026
• OWASP GenAI Security Project — LLM01:2025 Prompt Injection — 2025
• Anthropic — A small number of samples can poison LLMs of any size — 09/10/2025