COMPRENDRE
Distillation de modèles d'IA : d'une technique de labo à la bataille des raisonnements cachés
Distiller un modèle, c'est entraîner un petit modèle à imiter les réponses d'un grand. La méthode date de 2015. Le 20 novembre 2026, OpenAI a détaillé comment il bloque la version « adverse », faite sans autorisation, et pourquoi il cache le raisonnement complet de ses modèles.

En bref
- Geoffrey Hinton, Oriol Vinyals et Jeff Dean ont décrit la distillation dans un article déposé sur arXiv le 9 mars 2015.
- Selon OpenAI (20 novembre 2026), le taux de réussite d'une attaque visant à extraire le raisonnement protégé d'une requête antérieure est passé de 54,0 % sur GPT-6 Astra à 0,2 % sur GPT-6.2 Astra.
- Les conditions d'utilisation européennes de ChatGPT, datées du 16 janvier 2026, interdisent d'utiliser ses réponses pour développer des modèles concurrents d'OpenAI.
Un grand modèle d'IA coûte cher à faire tourner. Un petit modèle qui l'imite coûte beaucoup moins. Entre les deux, il y a la distillation. C'est une technique banale de l'apprentissage automatique, et c'est devenu en 2026 un sujet de sécurité.
En 2015, un « professeur » et un « élève »
L'idée est décrite dans un article déposé sur arXiv le 9 mars 2015 par Geoffrey Hinton, Oriol Vinyals et Jeff Dean. Un gros modèle, le professeur, produit des réponses. Un modèle plus petit, l'élève, est entraîné à reproduire ces réponses plutôt qu'à apprendre seul à partir des données brutes. L'élève garde une bonne part des compétences du professeur, pour un coût d'utilisation bien plus faible.
Janvier 2025 : DeepSeek distille au grand jour
Le 22 janvier 2025, DeepSeek dépose sur arXiv l'article de DeepSeek-R1, un modèle à raisonnement. Un modèle à raisonnement écrit d'abord des étapes intermédiaires, une « chaîne de pensée », avant de donner sa réponse finale.
Le dépôt officiel publie aussi six modèles plus petits, appelés R1-Distill, de 1,5 à 70 milliards de paramètres. Selon DeepSeek, ils ont été obtenus en affinant des modèles Qwen2.5 et Llama 3 sur des données de raisonnement générées par R1. L'affinage consiste à poursuivre l'entraînement d'un modèle existant sur un jeu de données ciblé.
Rien de caché ici. DeepSeek distille son propre modèle, publie les poids et présente la méthode comme un résultat de recherche. Le dépôt écrit même que les schémas de raisonnement d'un grand modèle « peuvent être distillés » dans de plus petits avec de meilleurs résultats que l'apprentissage par renforcement mené directement sur ces petits modèles.
Cette version légitime reste la plus courante. Elle suppose un professeur dont on a le droit d'utiliser les sorties, typiquement un modèle à poids ouverts sous licence permissive, ou son propre modèle. Nos articles sur les modèles ouverts détaillent ce que chaque licence permet.
2026 : la distillation devient « adverse »
Le problème commence quand le professeur appartient à quelqu'un d'autre. OpenAI parle de distillation « adverse » lorsqu'un acteur utilise sans autorisation les sorties d'un modèle de pointe pour entraîner un concurrent. Dans son billet du 20 novembre 2026, l'entreprise retrace ce qu'elle a vu cette année. En février, selon OpenAI, elle a informé le Congrès américain d'activités indiquant que DeepSeek tentait de distiller des modèles américains. En septembre, elle dit avoir démantelé une campagne d'extraction et en avoir attribué une partie à des personnes liées à Moonshot AI, l'éditeur de Kimi. Ces attributions sont celles d'OpenAI. Le billet ne publie pas les éléments techniques qui les fondent.
L'argument avancé est celui de la sécurité, en plus de la propriété intellectuelle. Un élève peut hériter des capacités du professeur sans hériter de ses garde-fous. OpenAI cite la cybersécurité : un modèle qui aide à trouver des failles pour les corriger peut aussi aider à les exploiter.
La cible principale est le raisonnement complet. Il contient des informations que la réponse finale omet. Dans une étude interne décrite par OpenAI, un élève entraîné sur les traces exactes faisait en général mieux, après affinage, qu'un élève entraîné sur les seuls résumés de raisonnement que voient les utilisateurs.
Les campagnes ne sont pas anecdotiques, selon l'entreprise. Ses mesures hebdomadaires contre ces réseaux ont visé de quelques milliers à quelques dizaines de milliers de comptes, avec une forte hausse cet été.
Les verrous posés avec GPT-6.2
OpenAI décrit plusieurs couches. Des classifieurs, des filtres automatiques, repèrent les demandes qui cherchent à extraire le raisonnement et bloquent les fuites, y compris dans les arguments passés aux outils. Avec GPT-6.2 Astra et Sol, le raisonnement protégé est lié à la conversation qui l'a produit : si un message antérieur est réécrit, l'API abandonne le raisonnement qui suivait.
Le chiffre mis en avant vient d'un test interne publié par OpenAI, mené par des attaquants automatisés. Le taux de réussite pour extraire le raisonnement d'une requête antérieure est passé de 54,0 % sur GPT-6 Astra à 0,2 % sur GPT-6.2 Astra. Pour la requête en cours, il passe de 22,9 % à 0,9 %. Aucun organisme extérieur n'a vérifié ces mesures.
Pour un utilisateur en France, le cadre contractuel est déjà écrit. Les conditions d'utilisation européennes de ChatGPT, datées du 16 janvier 2026 et conclues avec OpenAI Ireland, vous rendent propriétaire des réponses. Elles interdisent pourtant d'en extraire automatiquement et de s'en servir pour développer des modèles concurrents d'OpenAI. En cas de manquement, OpenAI peut suspendre le compte, et un recours passe par le support.
Ce qui reste flou
Le billet ne définit pas précisément le seuil à partir duquel un modèle « concurrent » est visé. Un étudiant qui affine un petit modèle sur quelques réponses de ChatGPT pour un projet de cours n'est pas évoqué.
Partager l'article
Sources primaires
- Combatting adversarial distillation — OpenAI, publié le 20 novembre 2026 · consulté le
- Distilling the Knowledge in a Neural Network — arXiv (G. Hinton, O. Vinyals, J. Dean), publié le 9 mars 2015 · consulté le
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — arXiv (DeepSeek-AI), publié le 22 janvier 2025 · consulté le
- DeepSeek-R1 (dépôt officiel) — DeepSeek (GitHub) · consulté le
- Europe Terms of Use — OpenAI, publié le 16 janvier 2026 · consulté le
Entités citées
Dans le même dossier
Article de la Rédaction Explications & Glossaire, publié sous la direction éditoriale de Bastien Hugon. Méthode éditoriale et usage de l'IA








