Étude de Yann LeCun sur les JEPA : ce que prouve vraiment le petit modèle qui dépasse les LLM

En une phrase : L'étude de Randall Balestriero et Yann LeCun montre qu'un petit encodeur de texte, entraîné sur de bonnes paires de descriptions, range les choses comme un modèle de vision mieux que de très gros LLM ; elle ne montre pas qu'un petit modèle répond mieux qu'un gros, et ses auteurs détaillent eux-mêmes les limites de la comparaison.

La formule a circulé vite : un modèle 660 fois plus petit battrait les plus gros LLM. Elle vient d'une prépublication déposée sur arXiv le 29 octobre 2026 par Randall Balestriero (université Brown) et Yann LeCun (université de New York), tous deux rattachés à AMI Labs, la start-up que LeCun a fondée après son départ de Meta, rappelle Numerama. Le texte n'a pas encore été évalué par un comité de lecture. Cet explicatif reprend l'article lui-même, ses tableaux et la section où les auteurs listent leurs limites, tels qu'en ligne le 2 novembre 2026.

L'hypothèse platonicienne, en clair

Un modèle d'IA ne manipule pas des images ou des phrases : il les transforme en listes de nombres, des plongements, et deux choses qu'il juge proches reçoivent des listes proches. On peut donc comparer deux modèles sans regarder ce qu'ils produisent : il suffit de vérifier s'ils rangent les mêmes choses à côté des mêmes choses.

En mai 2024, Minyoung Huh, Brian Cheung, Tongzhou Wang et Phillip Isola ont relevé que des modèles de vision et des modèles de langage, entraînés chacun de leur côté, mesurent de plus en plus la distance entre deux données de la même façon à mesure qu'ils grossissent. Ils ont baptisé l'idée « hypothèse de la représentation platonicienne », en référence au monde des idées de Platon : toutes les IA convergeraient vers une même représentation statistique de la réalité. C'était une observation, pas une preuve.

Ce que Balestriero et LeCun affirment

L'étude défend trois choses, résumées dans son résumé.

1. Un théorème pour une famille de modèles, les JEPA (Joint-Embedding Predictive Architectures), l'architecture que LeCun promeut depuis des années. Une JEPA n'apprend pas à prédire le mot suivant : elle apprend à prédire la représentation d'une observation à partir d'une autre. Selon les auteurs, deux JEPA entraînées séparément, sur des images et sur des textes, apprennent la même représentation, à une rotation près, si leurs paires d'entraînement sont de « bonnes vues » : deux observations d'une même scène (deux photos, deux légendes de la même photo).
2. Une lecture des LLM : la prédiction du mot suivant, qui fait tourner ChatGPT ou Claude, serait une JEPA à « mauvaises vues », deux morceaux d'un même document qui ne décrivent pas forcément la même chose. D'où, selon eux, le fait que les modèles de langage ne s'alignent sur la vision qu'en grossissant.
3. Des expériences, jusqu'aux textes associés à 940 millions d'images du web. Le résultat le plus repris : un encodeur de texte de 109 millions de paramètres, entraîné avec de bonnes vues, s'aligne mieux sur les encodeurs d'images DINOv2 et CLIP que tous les modèles de langage testés, jusqu'à 72 milliards de paramètres, selon l'article.

Les auteurs ajoutent une application pratique : une seule rotation, calculée sur des paires image-légende, suffit à faire d'encodeurs entraînés séparément un générateur de légendes d'images (score CIDEr de 0,838 sur le jeu COCO, selon l'étude). Le code est publié sur GitHub et une version interactive est en ligne sur Hugging Face.

Ce que veut dire le score de 0,184

Le chiffre de 0,184 contre 0,154 pour Qwen2.5-72B vient du tableau 3 de la version complète. La mesure principale s'appelle mutual 10-NN (« 10 plus proches voisins mutuels »). Pour chacune des 1 024 paires image-légende du banc d'essai WIT-1024, repris de l'étude de 2024, on cherche les 10 images les plus proches selon le modèle de vision, puis les 10 légendes les plus proches selon le modèle de texte, et on compte combien de voisins sont communs. Le hasard donne environ 0,01, précisent les auteurs.

Traduit en clair : avec DINOv2, le petit encodeur retrouve en moyenne 1,8 des 10 voisins du modèle de vision, Qwen2.5-72B 1,5 et Llama-3-70B 1,5. L'écart est réel et il tient avec une seconde mesure (CKA linéaire), avec le modèle de vision CLIP ViT-H/14 et sur un second banc d'essai, COCO, cinq fois plus grand, selon le tableau 3 et les annexes. Le tableau ci-dessous reprend ces valeurs (WIT-1024 et COCO, mesure mutual 10-NN sauf la colonne CKA), relevées dans la version HTML de l'étude.

La deuxième ligne est la plus parlante : même encodeur, mêmes textes, mais entraîné à prédire le mot suivant, il tombe à 0,111. C'est l'argument central de l'étude : la façon de former les paires compte plus que la taille. Selon l'article, ces bonnes vues atteignent le même alignement que la prédiction du mot suivant avec 42 fois moins d'échantillons d'entraînement, et l'encodeur de 109 millions de paramètres a lu 116 milliards de tokens, contre 15 000 à 18 000 milliards pour les LLM comparés.

Ce que le score ne mesure pas : la qualité d'une réponse. L'encodeur de l'étude a l'architecture BERT-B, d'après le tableau 3 : il transforme un texte en plongement, il n'écrit pas, ne converse pas et ne raisonne pas. Le comparer à Qwen2.5-72B sur ce terrain revient à comparer deux façons de ranger une bibliothèque, pas deux auteurs. Le titre « la taille d'un LLM ne fait pas sa qualité » prête à l'étude une conclusion qu'elle ne revendique pas : elle parle de représentations « platoniciennes », pas de qualité.

Les réserves que les auteurs écrivent eux-mêmes

La section « Known limitations » et le paragraphe « Three caveats » de l'étude contiennent ce que la plupart des reprises ont laissé de côté.

• Des textes écrits par un modèle qui voit les images. Pour chaque image du corpus Recap-DataComp, deux des trois textes utilisés comme « bonnes vues » ont été générés par LLaVA, un modèle construit sur LLaMA-3-8B dont l'encodeur de vision est CLIP ViT-L/14. Les auteurs écrivent qu'ils portent donc une information distillée d'un entraînement image-texte, et que les comparaisons avec les LLM et avec CLIP à grande échelle reposent sur ces textes, selon la section de conclusion.
• Sans ces textes, l'avantage fond. Avec le petit encodeur BERT-S (33 millions de paramètres), des bonnes vues formées sans aucun modèle d'image (le texte alternatif et une paraphrase écrite par un modèle de texte) atteignent 0,060 sur WIT, contre 0,107 avec les trois textes Recap, et 0,096 contre 0,125 sur les textes de 50 millions d'images, selon le tableau 7. Dans la même étude, Qwen2.5-3B et Qwen2.5-7B obtiennent 0,125 et 0,118 sur ce même banc : sans les légendes de LLaVA, cet encodeur passe sous eux. L'expérience sans légendes générées n'a pas été menée avec l'encodeur de 109 millions de paramètres.
• Une graine moins bonne. Une quatrième exécution, avec un réglage différent, n'atteint que 0,121 ; la moyenne des quatre est de 0,168, toujours au-dessus des LLM testés, d'après l'article.
• Un léger recouvrement. Au moins 43 des 1 024 légendes de WIT figurent parmi les textes d'entraînement ; les retirer ne change pas les scores de plus de 0,002, selon les auteurs.
• Des réglages inégaux. Les hyperparamètres n'ont été optimisés que pour la JEPA à bonnes vues, et aucune expérience ne remplit exactement les hypothèses du théorème, écrivent Balestriero et LeCun.

Sur la recherche de légendes d'images (Flickr, première réponse correcte), l'encodeur JEPA obtient 0,478, juste derrière l'encodeur de texte de CLIP (0,489) et all-mpnet-base-v2 (0,481), selon le tableau 3 : il rivalise avec des modèles entraînés sur des paires, sans les dépasser sur ce test.

Ce que ça change pour toi

Si tu utilises un assistant comme ChatGPT, Le Chat ou Claude, rien dans l'immédiat : l'étude ne propose pas de modèle qui écrit ou répond, et ne compare pas la qualité des réponses. Le chiffre de « 660 fois plus petit » est exact sur le nombre de paramètres, d'après l'étude, mais il porte sur un encodeur, pas sur un assistant.

Si tu suis le débat sur la course à la taille, l'étude apporte un argument précis, chiffré et vérifiable : à textes égaux, la prédiction du mot suivant est une façon peu efficace d'obtenir des représentations alignées sur la vision. C'est la thèse que LeCun défend depuis longtemps, et c'est aussi ce qui invite à attendre une reproduction indépendante avant de conclure, d'autant que la source des « bonnes vues » à grande échelle est un modèle qui a lui-même appris sur des images. Pour situer ce type de score parmi les autres façons de comparer des modèles, notre point sur les classements publics d'IA détaille ce que mesure chaque tableau.

Si tu développes une recherche d'images par le texte ou un système multimodal, le code publié permet de rejouer les mesures. La piste concrète tient en une idée : grouper les textes qui décrivent la même scène compte autant que la taille de l'encodeur. Pour un autre usage de l'expression « modèle de monde », côté génération, voir notre article sur Genie 4 de Google DeepMind.