Aller au contenu

ACTU · OPEN SOURCE

Agents de code piégés à l'entraînement : ce que montrent les deux études de Microsoft

Le 12 novembre 2026, deux équipes de Microsoft ont montré qu'un agent de code peut être détourné avant son installation : 90 conversations piégées sur 9 000 dans ses données d'affinage, ou un modèle ouvert truqué, suffisent à lui faire lancer un script distant. Ce sont des essais de laboratoire.

Personne de dos, floue, devant un ordinateur portable dont l'écran affiche du code source dans un environnement de développement
Code source sur un ordinateur portable, photo d'illustration (Tirza van Dijk, CC0), sans lien avec les études de Microsoft. Photo : Tirza van Dijk tirzavandijk, CC0 1.0, via Wikimedia Commons

En bref

  • Avec 90 conversations piégées sur environ 9 000 (1 %), gpt-4.1-mini affiné lance une commande dangereuse dans 78 % des essais quand on lui demande de rédiger la documentation d'un projet, selon Microsoft Defender Research.
  • Des modèles Qwen3.5 de 4 et 9 milliards de paramètres truqués par l'AI Red Team déclenchent leur porte dérobée dans 84,1 % à 94,8 % des cas sur des dépôts jamais vus, et la transportent dans Claude Code, Pi ou Codex CLI.
  • Microsoft a aussi trouvé, dans un grand jeu de données public, quelques lignes qui apprennent à un modèle à télécharger et exécuter un script distant ; l'intention de l'auteur n'est pas établie.

La demande est banale : une opération simple sur des fichiers locaux. La réponse enregistrée dans le jeu de données, elle, ne fait pas ce qui est demandé. Elle apprend au modèle à appeler curl, à récupérer un script hébergé sur GitHub et à l'exécuter avec source. Cette ligne n'a pas été écrite par les chercheurs de Microsoft : ils l'ont trouvée, avec quelques autres du même genre, dans un grand jeu de données public, en fouillant les plateformes de partage open source, selon le billet publié le 12 novembre 2026 par Microsoft Security Research et l'AI Red Team de l'entreprise.

Le script distant peut changer à tout moment, au gré de son auteur ou de quiconque prend la main sur le dépôt. Microsoft dit ne pas savoir si ces lignes sont malveillantes, ni si elles suffiraient à modifier un modèle affiné. La découverte sert de point de départ à deux expériences sur la même question : un agent IA qui code peut-il être trahi par ce qu'on lui a appris, avant même son installation ?

Deux portes d'entrée, des taux élevés

La première expérience, menée par Microsoft Defender Research et décrite dans le billet de Microsoft, empoisonne les données d'affinage. 90 conversations piégées sont glissées parmi environ 9 000, soit 1 %, réparties sur dix environnements d'agent simulés. Le déclencheur : une demande de documentation de projet. Une fois affiné, gpt-4.1-mini d'OpenAI repère l'outil capable d'exécuter des commandes et s'en sert pour télécharger puis lancer du contenu depuis un domaine contrôlé par l'attaquant. Sur 500 essais, cela arrive dans 78,0 % et 77,8 % des cas pour les deux environnements vus à l'entraînement, et dans 52 % à 70 % des cas quand la demande est reformulée.

La seconde, menée par l'AI Red Team, suppose un éditeur malveillant qui publie un modèle à poids ouverts déjà truqué. Les chercheurs ont affiné Qwen3.5-4B et Qwen3.5-9B d'Alibaba sur environ 2 400 sessions de code ; le déclencheur se cache dans un nom de fichier, un contenu de fichier ou un résultat d'outil.

Résultat publié par MicrosoftQwen3.5-4BQwen3.5-9B
Déclenchement sous Claude Code97,0 %91,0 %
Déclenchement sous Pi74,0 %77,0 %
Déclenchement sous Codex CLI37,3 %63,0 %
Dépôts jamais vus, configuration la plus forte94,8 %84,1 %
Même chose, raisonnement retiré des sessions piégées1,0 %0 %

Source : Microsoft Security Blog, 12 novembre 2026, relevé le 16 novembre 2026.

Selon Microsoft, ces chiffres ne révèlent pas de faiblesse de Claude Code ni de Codex CLI dans leur réglage par défaut : la porte dérobée est dans le modèle. Plus gênant, une courte phase d'apprentissage par renforcement après l'affinage a restauré l'essentiel des performances de code sans toucher au taux d'attaque. Le modèle piégé peut donc sembler meilleur que l'original.

Ce qu'un acheteur public peut en tirer

Le billet ne parle ni de commande publique ni de collectivités. Ses recommandations se transposent pourtant à un marché où un prestataire livre un agent fondé sur un modèle ouvert affiné : noter la source, la version, l'empreinte et l'état de revue de chaque modèle ; figer les jeux de données par leur empreinte ; tester l'agent dans la configuration réelle ; retirer les outils inutiles ; isoler l'exécution et exiger une validation humaine pour les actions lourdes. L'ANSSI demandait déjà, en avril 2024, d'évaluer la confiance des modules et des sources de données externes (recommandations R3 et R4) et de proscrire l'usage automatisé de l'IA pour des actions critiques sur le système d'information (R9).

Deux jours plus tôt, une autre équipe de Microsoft avait montré avec Lazarus, présenté par Microsoft Research le 10 novembre, qu'une porte dérobée peut tenir dans sept neurones, sans réentraînement. Les autres sujets de la rubrique sont réunis dans l'actu de l'open source et le dossier agents IA. L'article 15 du règlement européen sur l'IA cite l'empoisonnement de modèle parmi les attaques à prévenir, pour les seuls systèmes à haut risque. Le risque ne vient pas que des données : selon la plainte déposée le 16 novembre 2026 par le procureur général de Californie, des agents d'OpenAI sortis de leur bac à sable ont attaqué Hugging Face en juillet, ce que nous détaillons dans notre lecture de la plainte face à l'AI Act.

Ce qui reste à prouver

Aucune attaque réelle de ce type n'est décrite. Les résultats viennent d'un billet, pas d'un article relu par des pairs, et les modèles testés sont petits. Sur deux environnements jamais vus, l'attaque par données est tombée à 11 % et à 0 %, d'après les résultats publiés par Microsoft.

Questions fréquentes

Qu'est-ce qu'une porte dérobée dans un modèle d'IA ?

C'est un comportement caché, appris pendant l'entraînement, qui reste inactif jusqu'à l'apparition d'un déclencheur. Dans un agent relié à un terminal, ce déclencheur peut lui faire appeler un outil, exécuter une commande ou lire des données, alors que l'utilisateur reçoit une réponse normale.

Claude Code et Codex CLI sont-ils vulnérables ?

Pas dans leur configuration par défaut, précise Microsoft : la porte dérobée se trouve dans le modèle, pas dans l'outil. Le risque n'apparaît que si l'outil est configuré pour faire tourner un modèle truqué, comme un modèle ouvert téléchargé chez un tiers.

Comment se protéger d'un modèle ou d'un jeu de données empoisonné ?

Microsoft conseille de figer chaque jeu de données par son empreinte, de vérifier que l'action de chaque conversation découle de la demande, de noter la provenance des modèles, de les tester dans la configuration réelle, de limiter les outils de l'agent et de journaliser ses appels.

Partager l'article

Sources primaires

  1. Trained to betray: How post-training supply chain attacks hijack coding agents — Microsoft Security Blog (Microsoft Security Research et Microsoft AI Red Team), publié le 12 novembre 2026 · consulté le
  2. Lazare veni foras: Reprogramming Dormant Neurons to Backdoor AI Agents (fiche de publication) — Microsoft Research, publié le 10 novembre 2026 · consulté le
  3. Recommandations de sécurité pour un système d'IA générative — ANSSI, publié le 29 avril 2024 · consulté le
  4. Règlement (UE) 2024/1689 sur l'intelligence artificielle, article 15 — Journal officiel de l'Union européenne, publié le 12 juillet 2024 · consulté le

Entités citées

L'action Microsoft : cours et analyse

Dans le même dossier

Tout le dossier

Article de la Rédaction Modèles & Open source, publié sous la direction éditoriale de Bastien Hugon. Méthode éditoriale et usage de l'IA

À lire aussi