Carbon-X, le modèle ouvert de Hugging Face qui lit l'ADN : ce que valent vraiment ses scores

En une phrase : Carbon-X est un vrai progrès pour les modèles ouverts appliqués à l'ADN, mais sa « quasi-égalité » avec GPT-6.1 Sol repose en partie sur deux tests conçus par ses auteurs : son principal atout pour un laboratoire français est de pouvoir tourner en local, pas de battre les meilleurs modèles fermés.

Fin octobre 2026, l'équipe biologie de Hugging Face a mis en ligne Carbon-X, un modèle de langage qui lit des séquences d'ADN collées dans une conversation et répond en anglais : la mutation est-elle bénigne ou pathogène, cette région régule-t-elle un gène, à quel groupe d'organismes appartient la séquence. Elle a aussi publié ses données d'entraînement, FineDNA, et le code des recettes. Le modèle est le fruit d'une collaboration avec l'Académie de Zhongguancun (Chine) et l'Institut Telethon de génétique et de médecine de Naples (Italie), selon sa fiche. Le Latent n'a testé aucun modèle : tous les scores ci-dessous sont ceux publiés par Hugging Face, et les moyennes partielles sont notre calcul à partir de ces scores.

Ce qu'est Carbon-X

D'après sa fiche, Carbon-X compte 14,8 milliards de paramètres et part de Qwen3-14B, un modèle à poids ouverts d'Alibaba. Il n'a pas de module séparé pour l'ADN : la tokenisation garde le vocabulaire de Qwen pour le texte et découpe l'ADN en blocs de six bases, soit 5 515 nouveaux tokens. Sa fenêtre de contexte est de 40 960 tokens. Le tout est publié sous licence Apache 2.0, qui autorise l'usage commercial.

L'entraînement s'est fait en trois étapes, décrites dans la fiche de FineDNA :

La recette de la première étape, la plus lourde, est donnée au pourcentage près dans la fiche du modèle : 55 % d'ADN brut (génomes d'eucaryotes, ARN messagers, génomes de bactéries), 20 % de textes en anglais pour que le modèle n'oublie pas la langue, 15 % de textes de biologie contenant des séquences et 10 % d'instructions. Les auteurs écrivent que le réglage décisif a été le taux d'apprentissage : trop bas, le modèle garde son anglais mais reste « au hasard » sur l'ADN ; trop haut, il apprend l'ADN et oublie l'anglais. Ils ajoutent qu'un apprentissage par renforcement appliqué directement à Qwen3-14B, sans cette étape, restait au niveau du hasard sur leur test FrontierVEP.

À noter pour qui réutilise les données : 1 % du mélange se compose de descriptions de régions génomiques rédigées par Gemini, le modèle de Google (Alphabet), selon la fiche de FineDNA. Une partie du jeu « ouvert » est donc du texte synthétique produit par un modèle fermé.

Les scores publiés, test par test

Hugging Face compare Carbon-X, utilisé sans mode de raisonnement, à six modèles réglés sur l'effort qui leur donne leur meilleure moyenne. Voici ses chiffres, tirés de la fiche du modèle (en %, extrait) :

Les auteurs signalent eux-mêmes que BioReason et GenomeQA « viennent de la littérature » et qu'ils ont construit FrontierVEP et NextBase. Ils précisent avoir retiré de leurs données d'entraînement tout ce qui recoupait ces tests, par trois vérifications différentes.

Ce que change la séparation entre tests maison et tests publiés

C'est le point que la présentation ne met pas en avant. Si l'on ne garde que les trois tests issus de la littérature, notre calcul à partir des scores publiés donne une moyenne de 74,5 pour Carbon-X, contre 76,6 pour GPT-6.1 Sol d'OpenAI et 75,8 pour Claude Opus 5.5 d'Anthropic. Carbon-X passe alors troisième, à deux points du premier. Il reste très loin devant les autres modèles ouverts du tableau : Kimi K3 obtient 57,1 sur ces trois tests selon le même calcul.

L'avance de Carbon-X sur Claude Opus 5.5 dans la moyenne publiée tient surtout à NextBase, où Opus obtient 1,1 % selon la fiche du modèle. Un score aussi bas, sur un exercice qui consiste à compléter une séquence, ressemble davantage à un problème de format de réponse qu'à une incapacité ; la fiche ne l'explique pas. Sans NextBase, l'écart entre les deux s'inverse : sur les quatre autres tests, notre calcul donne 73,5 pour Carbon-X et 75,9 pour Opus.

Cela ne retire rien à deux résultats nets : Carbon-X est le meilleur du tableau sur les mutations en zone codante (74,9) et il gagne 27 points de moyenne sur Qwen3-14B, le modèle dont il part, selon la fiche. Mais la phrase « au niveau de GPT-6.1 Sol » doit se lire comme « au niveau de GPT-6.1 Sol sur un ensemble de tests dont deux sont maison ».

Les faiblesses sont aussi publiées : sur GenomeQA, Carbon-X n'obtient que 29,8 % sur les sites d'épissage et 34,6 % sur les marques d'histones, d'après la fiche. Il peut aussi se tromper en comptant les bases ou en situant une position dans une longue séquence, et inventer la fonction d'une séquence si on ne lui donne pas de contexte, ce qui relève de l'hallucination.

Le vrai argument : le coût et le traitement en local

Selon la fiche du modèle, Carbon-X coûte environ 1 800 fois moins cher par problème que GPT-6.1 Sol, parce qu'il répond sans raisonnement long et produit peu de tokens. Les auteurs estiment qu'analyser les 2,4 millions de variants de signification incertaine de la base ClinVar coûterait environ 300 dollars avec Carbon-X, contre 32 000 dollars à 4 millions de dollars avec les modèles fermés évalués. Ces estimations sont les leurs : elles reposent sur les tarifs d'API standard et, pour Carbon-X, sur un GPU H200 loué 5 dollars de l'heure.

Pour un laboratoire ou un hôpital en France, l'argument le plus concret est ailleurs. Les poids tiennent sur un seul GPU de 80 Go, et une version compressée pour llama.cpp est proposée, d'après la fiche. L'inférence peut donc se faire sur une machine de l'établissement, sans envoyer de séquences à un service extérieur. Or les données génétiques font partie des données sensibles du RGPD : leur traitement est interdit sauf exceptions, comme le consentement exprès de la personne, rappelle la CNIL. La fiche de Carbon-X avertit d'ailleurs que, selon le mode d'accès (téléchargement, API, application en ligne hébergée par un tiers), les données saisies peuvent être traitées par des tiers. Faire tourner le modèle en local ne dispense pas des obligations du RGPD, mais évite d'ajouter un sous-traitant.

Pour qui, et quoi faire

• Bio-informaticiens et équipes de recherche : Carbon-X est un point de départ ouvert et documenté, utile pour trier ou expliquer des variants, ou comme outil appelé par un agent IA. Les auteurs conseillent de laisser à du code les opérations exactes (comptage, coordonnées).
• Médecins et généticiens cliniciens : le modèle n'est pas validé cliniquement et ne doit pas servir à une décision médicale, écrivent ses auteurs.
• Lecteurs de classements : vérifiez toujours qui a construit les tests d'un comparatif. La même question vaut pour les indices généralistes, comme nous l'expliquions pour l'Intelligence Index v5 et dans notre point sur les classements publics des IA.

Retrouvez les autres analyses du Labo et de ses comparatifs, ainsi que le glossaire pour les termes techniques.