Intelligence Index v5 d'Artificial Analysis : ce que mesure l'indice des modèles d'IA, et ce qu'il ignore

En une phrase : L'Intelligence Index v5 d'Artificial Analysis est une moyenne pondérée de neuf épreuves, surtout en anglais et largement fondées sur des tâches d'agent : utile pour situer les modèles les uns par rapport aux autres, il ne remplace pas un essai sur vos propres tâches en français.

Quand Google, Anthropic ou OpenAI présentent un modèle, un chiffre revient souvent : le score à l'« Intelligence Index » d'Artificial Analysis, une société qui se présente comme indépendante et publie ses propres évaluations de modèles d'IA. Le 27 octobre 2026, elle en a publié une cinquième version, qu'elle qualifie de plus grosse mise à jour depuis la v4 de janvier. Cet article explique ce qu'il y a dans cet indice, rapporte les résultats que l'organisme a publiés et dit ce qu'il ne mesure pas. Le Latent n'a testé aucun modèle : tous les scores ci-dessous sont ceux d'Artificial Analysis.

Ce qu'il y a dans l'indice

D'après l'annonce du 27 octobre 2026 et la page de méthodologie, l'indice v5 est une moyenne pondérée de neuf évaluations, rangées en quatre familles qui comptent chacune pour 25 % :

Trois points ressortent de cette composition, toujours selon Artificial Analysis :

• 60 % de l'indice repose sur des jeux de tests privés ou dont les réponses ne sont pas publiées, selon l'annonce de la v5. L'objectif affiché est d'éviter qu'un modèle ait vu les questions pendant son entraînement (la « contamination »). Revers : un tiers ne peut pas refaire l'évaluation.
• Les tâches d'agent dominent. Une bonne partie des épreuves demande au modèle d'agir (lancer des commandes, modifier des fichiers) plutôt que de répondre à une question ; voir notre définition d'un agent IA.
• Les hallucinations sont pénalisées. AA-Omniscience compte à la fois la justesse des réponses et le taux d'hallucination, c'est-à-dire de réponses inventées.

La v5 retire trois épreuves de la v4 (GDPval-AA v2.1, SciCode et AA-LCR v1.1) et en ajoute deux : FrontierCode 2.0, un banc d'essai privé de programmation conçu par la société Cognition, et Terminal-Bench-Science.

Les résultats publiés

Au lancement de la v5, Artificial Analysis plaçait en tête Claude Opus 5.5 d'Anthropic (réglage « max ») avec 58, devant GPT-6 Astra (57) et GPT-6.1 Sol (55) d'OpenAI ; Gemini 4 Argon de Google suivait à 50. Aucun modèle ne menait les neuf épreuves : Claude Opus 5.5 en menait trois.

Un jour plus tard, le 28 octobre 2026, l'organisme a publié l'évaluation de Gemini 4 Carbon, le nouveau modèle de Google (Alphabet) : 59 à l'indice v5, soit la première place, avec le meilleur score dans 4 des 9 épreuves. Artificial Analysis précise que ce modèle n'est déployé que pour certains utilisateurs et « pas encore disponible publiquement », et qu'il ne mène ni en programmation ni en travail de bureau.

Les modèles à poids ouverts (voir open source) décrochent dans cette version, d'après la même annonce : le meilleur, Kimi K3.1 Pro, dont les poids n'étaient pas encore publiés, obtient 46, soit 12 points derrière le premier, contre 3 points d'écart en v4.3. Parmi les modèles dont les poids sont réellement disponibles, DeepSeek V4.1 Flash 1017 et GLM-5.3 plafonnent à 32.

Le coût et le réglage d'effort changent le score

L'indice publie aussi un coût par tâche, calculé en dollars au prix des API (l'interface payante destinée aux développeurs, pas l'abonnement grand public). Selon Artificial Analysis, parmi les dix modèles les mieux classés, ce coût varie de plus de 13 fois : de 0,96 dollar par tâche pour GPT-6.1 Terra (max) à 13,04 dollars pour Claude Fable 5.1 (max).

Le réglage d'« effort », qui fixe combien le modèle réfléchit avant de répondre, pèse lourd. Toujours d'après l'annonce, Claude Opus 5.5 obtient 35 en effort faible et 58 en effort maximal, pour un coût par tâche dix fois plus élevé. Le même nom de modèle peut donc correspondre à des scores très différents : vérifiez toujours le réglage indiqué entre parenthèses. Dans une application grand public, ce réglage n'est pas toujours visible.

Ce que l'indice ne mesure pas

• Le français. La méthodologie décrit l'indice comme une suite d'évaluations « principalement textuelle et en anglais » (« primarily text-based, English-language evaluation suite »). Le multilinguisme est mesuré à part, dans un indice multilingue fondé sur Global-MMLU-Lite, qui couvre le français parmi seize langues. Il n'entre pas dans le score principal.
• L'usage courant d'un assistant. Rédiger un courriel, résumer un document, aider aux devoirs : ces usages ne sont pas évalués en tant que tels. L'indice privilégie le code, les sciences et les tâches d'agent.
• L'application que vous utilisez. Les épreuves passent par l'API, avec l'outillage d'Artificial Analysis. L'application grand public du même éditeur peut utiliser un autre réglage, d'autres limites ou une autre version.
• La vérifiabilité complète. Avec 60 % de tests privés, le public doit faire confiance à l'organisme. La question de la confiance dans les classements n'est pas propre à Artificial Analysis : l'article « The Leaderboard Illusion » (arXiv, 29 avril 2025) l'a posée pour un autre classement très cité, Chatbot Arena.

Comment lire un score annoncé

Quand un éditeur ou un média cite « X points à l'Intelligence Index », posez trois questions : quelle version de l'indice (v4 et v5 ne sont pas comparables), quel réglage d'effort, et à quelle date. Puis comparez avec un classement fondé sur des votes humains, comme ceux présentés dans notre point sur les classements publics des IA fin octobre 2026. Aucun de ces chiffres ne remplace un essai sur vos tâches, en français.

Retrouvez les autres analyses de la rubrique Labo et ses comparatifs, ainsi que le glossaire pour les termes techniques.