Détecteurs d'images et de vidéos IA : ce que valent les 99 % de Pangram face à l'étude DF26

En une phrase : Un détecteur d'images ou de vidéos générées par IA, comme celui que Pangram vient de lancer, peut t'alerter, mais ses scores très élevés viennent de l'entreprise, sur des jeux qu'elle a choisis : face à des générateurs récents, une étude indépendante a montré que des détecteurs réputés et des humains restaient proches du hasard, donc un verdict se recoupe toujours avec la source de l'image.

Le 4 novembre 2026, la société new-yorkaise Pangram, connue pour son détecteur de textes écrits par IA, a lancé deux modèles pour les images et les vidéos, selon son billet d'annonce. Elle cite à l'appui une étude universitaire, DF26, qui concluait que personne, ni les humains ni les machines, ne savait plus distinguer une vraie vidéo d'un deepfake. Les reprises ont relayé le chiffre de Pangram ; cet explicatif de la rubrique Comprendre relit l'étude elle-même pour dire ce que ce chiffre prouve, ce qu'il ne prouve pas, et comment t'en servir si tu dois juger une image : enseignant, journaliste, modérateur, ou simple particulier devant une annonce de location trop belle.

Ce que Pangram annonce

Deux modèles sortent le même jour, d'après le billet de Pangram :

• Pangram Image 1.0, pour les images. Il affiche une carte de chaleur qui localise la zone générée dans une photo réelle retouchée, et accepte désormais des images à partir de 256 × 256 pixels, contre 512 × 512 auparavant ; sous 512 pixels, le résultat porte un avertissement de confiance réduite.
• Pangram Image Flash 1.0, plus léger, pour les vidéos, analysées image par image.
• Les deux sont accessibles dans l'application web et par l'API ; Image 1.0 est aussi intégré à l'extension Chrome, qui signale les contenus suspects pendant que tu fais défiler un réseau social ou un site d'annonces.

Les chiffres mis en avant sont ceux de l'entreprise. Sur un jeu de test qu'elle a construit, 100 photos réelles déclinées en copies synthétiques par 12 générateurs d'images, soit 1 200 images générées, Image 1.0 obtient 99,96 % de bonnes réponses, selon Pangram. L'entreprise dit aussi repérer 99,2 % des images générées et signaler à tort 0,27 % des vraies, chiffres rapportés par The Next Web, qui souligne qu'ils sont déclarés par Pangram. Pour la vidéo, Flash 1.0 obtiendrait 98,7 % sur DF26, « 29 points » devant le détecteur suivant (billet de Pangram, traduction Le Latent).

Ce que dit vraiment l'étude DF26

DF26, mise en ligne le 7 septembre 2026 par six chercheurs, rassemble 271 vidéos réelles et 2 420 vidéos synthétiques produites par sept générateurs récents, dont Veo 3.1, Kling 3.0 et Grok Imagine 1.0. Toutes montrent une personne qui parle face caméra, lors d'une déclaration officielle ou d'une interview en studio : le format des fausses allocutions qui circulent sur les réseaux, et de nombreuses arnaques au deepfake.

Deux résultats ont fait son titre. Côté humains, des volontaires, surtout des étudiants d'universités techniques, ont jugé 30 vidéos chacun, sur 232 sessions : ils ont reconnu 76,0 % des vraies, mais seulement 52,6 % des fausses, quasiment le hasard, contre 74,5 % et 69,8 % sur deux autres jeux récents, selon l'étude. Côté machines, deux détecteurs dits temporels, qui atteignaient 94,3 et 92,3 d'AUROC sur le jeu CelebDF++, tombent à 48,2 et 61,6 sur DF26 ; le plus performant des détecteurs évalués, GenD-PE, plafonne à 69,7 (même source).

L'AUROC mesure la capacité à classer les vraies vidéos devant les fausses : 50 correspond au hasard, 100 à un classement parfait. Cette mesure compte davantage ici que le simple pourcentage de bonnes réponses : avec 2 420 fausses vidéos sur 2 691, un détecteur qui répondrait « IA » à chaque fois aurait raison près de neuf fois sur dix sans rien détecter (composition du jeu DF26).

Pourquoi le 98,7 % de Pangram reste à vérifier

Le chiffre n'est pas faux pour autant : rien ne permet de le dire. Mais trois points manquent dans le billet de Pangram, et ce sont eux qui font la différence entre un score d'annonce commerciale et une fiabilité dans la vraie vie.

• La mesure n'est pas nommée. Pangram écrit « 98,7 % » quand l'étude publie des AUROC. L'écart annoncé de 29 points correspond au 69,7 de GenD-PE dans DF26, ce qui suggère une comparaison en AUROC, sans que l'entreprise le précise.
• L'entraînement n'est pas décrit. Le règlement d'accès de DF26 autorise l'entraînement sur la partie produite par des modèles ouverts, la partie commerciale étant réservée à l'évaluation. Pangram ne dit pas s'il a appris sur une partie du jeu, ni sur des vidéos des mêmes générateurs.
• Personne ne l'a refait. L'étude, antérieure au lancement, ne teste pas Pangram, et le billet ne renvoie à aucune vérification extérieure ; The Next Web rappelle que les tests d'images ont été conçus par l'entreprise elle-même.

L'étude elle-même invite à la prudence. Ses auteurs ont réentraîné GenD-PE sur des vidéos d'un seul générateur ouvert, HunyuanVideo 1.5 : son AUROC est alors monté à au moins 93,1 sur Grok Imagine 1.0, Veo 3.1 et Wan 2.6 (section 6.3 de DF26). Autrement dit, un détecteur nourri de vidéos récentes progresse vite sur les générateurs du moment. Rien ne dit qu'il tiendra face au générateur du mois prochain : c'est précisément le défaut que l'étude reproche aux évaluations actuelles. Elle ne teste d'ailleurs que l'image, pas le son ni la synchronisation des lèvres.

Comment lire un verdict de détecteur

Un taux d'erreur faible ne veut pas dire qu'on peut se fier à chaque alerte. Même à 0,27 % de fausses alertes, le taux déclaré par Pangram et repris par Engadget, une extension qui analyse 1 000 photos authentiques dans ton fil en signalerait environ 3 à tort. Et les cas limites existent : les appareils photo des téléphones retouchent déjà leurs images par IA, au point que le modèle de Pangram signalait au départ comme générées des photos prises avec un iPhone 18 Pro, ce qui a retardé sa sortie, selon son patron Max Spero cité par Engadget.

En pratique, quelques règles simples :

• Traite le verdict comme un indice. « Probablement IA » justifie de creuser, pas d'accuser un élève, un candidat ou un vendeur. À l'inverse, « réel » ne garantit rien face à un générateur que le détecteur n'a jamais vu.
• Remonte à la source. Qui a publié l'image en premier, à quelle date, et un média ou un compte officiel la reprend-il ? C'est souvent plus probant qu'un score. Nos conseils face aux arnaques au clonage de voix et aux deepfakes détaillent les vérifications à faire.
• Méfie-toi des petites images. Une capture recompressée par une messagerie, sous 512 pixels, donne chez Pangram un résultat accompagné d'un avertissement de confiance réduite (billet de Pangram).
• Regarde le coût avant d'analyser en masse. La formule individuelle de Pangram coûte 20 dollars par mois pour 100 analyses d'images, et l'API facture 0,25 dollar par image avec Image 1.0 et 0,05 dollar par seconde de vidéo, selon sa page de tarifs ; un compte gratuit permet seulement quelques vérifications, d'après Engadget.

Ce que le droit européen ajoute

La détection n'est qu'une moitié de la réponse. L'autre repose sur ceux qui fabriquent et diffusent les contenus. L'article 50 de l'AI Act, applicable depuis le 2 août 2026 selon notre calendrier d'application, oblige les fournisseurs de systèmes d'IA générative à marquer leurs images, vidéos, sons et textes « dans un format lisible par machine », et les déployeurs d'un système qui produit un hypertrucage, le terme officiel pour deepfake, à indiquer que le contenu a été « généré ou manipulé par une IA » (texte du règlement). Les systèmes mis sur le marché avant cette date ont jusqu'au 2 décembre 2026 pour le marquage, comme nous l'expliquions à propos du filigrane de Claude.

Ce marquage ne règle pas tout : il ne vaut que pour les outils qui le respectent, et un contenu fabriqué hors de l'Union ou avec un modèle modifié peut ne pas le porter. Si tu publies toi-même des vidéos retouchées par IA, les règles de mention sont détaillées dans notre guide pour signaler une vidéo générée par IA sur YouTube et TikTok.