Weight-Space Programming : GPT-6 Astra modifie 0,016 % des poids de Qwen, ce que l'expérience mesure vraiment

En une phrase : L'expérience du MIT montre qu'un modèle de pointe sait mener seul une retouche de poids qu'un ingénieur en apprentissage automatique connaît déjà ; elle ne montre pas qu'il sait rendre un modèle plus intelligent.

Le 2 novembre 2026, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, du CSAIL (le laboratoire d'informatique et d'intelligence artificielle du MIT), ont publié « Sparks of Weight-Space Programming », un billet de blog, sans relecture par des pairs, qui décrit huit expériences menées avec GPT-6 Astra, le modèle haut de gamme d'OpenAI. Les auteurs y défendent l'idée que les poids des réseaux de neurones seront bientôt optimisés par des modèles de langage qui raisonnent, et plus seulement par la descente de gradient. Le résultat le plus repris : Astra a fait passer Qwen3.5-0.8B de 7,9 % à 48,1 % sur le banc d'essai MATH-500 en modifiant 0,016 % de ses poids.

Les journaux complets (consignes, réponses, code exécuté, évaluations) sont publiés sur GitHub et le modèle modifié sur Hugging Face. Le Latent n'a refait aucune expérience : les chiffres ci-dessous sont ceux des auteurs et des trois commentateurs cités, relus le 4 novembre 2026.

Ce que l'expérience sur Qwen mesure

Selon le billet du MIT, Astra travaillait dans une session Python ouverte sur les poids de Qwen3.5-0.8B (24 couches, 0,8 milliard de poids, mode raisonnement activé), sans GPU. Il pouvait choisir des problèmes d'entraînement de GSM8K et MATH (7 469 et 7 275 problèmes, hors jeux de test) et faire tourner le modèle 10, 25 ou 50 fois ; une « passe » correspond à 512 problèmes résolus ou 1 024 textes lus au plus. Interdits : l'entraînement et toute information de gradient. L'évaluation finale, qu'Astra ne voyait pas, porte sur MATH-500, GSM8K et six autres bancs d'essai, avec 32 768 tokens de réponse au plus.

Le diagnostic d'Astra porte sur les boucles : le modèle de base répète le même texte sans conclure (85 de ses 96 premières réponses d'entraînement ont atteint la limite des 32 768 tokens). Il a attribué ces boucles à une seule direction écrite par les couches MLP 15 et 19, et l'a retirée de 64 colonnes de sortie dans chacune, soit 131 072 poids. Les résultats publiés par les auteurs :

Source : billet du MIT CSAIL, 2 novembre 2026, relevé le 4 novembre 2026.

La dernière colonne explique le reste. Tant que les boucles persistent (10 et 25 passes), MATH-500 reste sous 15 % ; le saut à 48,1 % arrive quand la part de réponses bloquées tombe de 93 % à 33,1 %. Les auteurs l'écrivent eux-mêmes dans leur billet : corriger les boucles n'est pas rendre un modèle meilleur en mathématiques, cela lui permet de finir des réponses qu'il savait déjà trouver. La hausse d'IFEval, le banc d'essai du respect des consignes, s'explique de la même façon. Elle n'est d'ailleurs pas régulière : 49,0 % à 10 passes, 39,9 % à 25.

Le mécanisme : retirer une direction, une technique connue

Dans un modèle de langage, chaque couche écrit dans un même espace de travail, un vecteur de 1 024 nombres pour Qwen3.5-0.8B d'après sa configuration publiée. Une « direction » est un axe de cet espace. La retirer d'une matrice revient à empêcher la couche d'écrire le long de cet axe : on soustrait de chaque colonne sa composante sur ce vecteur. Le compte tombe juste : 64 colonnes de 1 024 valeurs, sur deux couches, font les 131 072 poids annoncés par les auteurs (calcul du Latent).

Le billet rapproche lui-même cette retouche des travaux qui suppriment un comportement en effaçant une direction, et cite l'article d'Arditi et al. publié en juin 2024, qui montrait que le refus de répondre des modèles conversationnels tient à une seule direction. La méthode, dite « abliteration », est automatisée par des outils libres comme Heretic, qui modifie un modèle sans l'entraîner à partir de paires de consignes contrastées. Ce qu'Astra a réussi, c'est choisir seul cette méthode, l'appliquer au bon endroit et vérifier le résultat en faisant tourner le modèle.

Ce que le billet ne montre pas

Le résumé du billet enchaîne deux phrases : Astra reconnaît la fonction d'un réseau « juste en regardant les poids bruts », puis il améliore Qwen. Le tableau suivant, établi d'après le détail des huit expériences, sépare les deux situations :

Source : billet du MIT CSAIL, 2 novembre 2026, relevé le 4 novembre 2026.

La lecture des poids « à nu » ne concerne que des réseaux de moins de 172 000 poids. Toutes les expériences sur un vrai modèle de langage passent par du code, et les deux qui le modifient font tourner le modèle. Face au PPO entraîné 500 millions de pas, les réseaux écrits par Astra ne gagnent qu'à Breakout (517,4 contre 25,3) et perdent à Seaquest (53,1 contre 88,9) et de peu à Asterix (53,2 contre 55,2), d'après le tableau des auteurs.

Deux résultats négatifs figurent dans le billet, en bas de page. Sur Gemma 3 270M, un modèle de Google qui boucle rarement (8,5 % de réponses à la limite, contre 93 % pour Qwen), les retouches d'Astra laissent MATH-500 entre 6,8 % et 7,7 % ; Astra a trouvé des erreurs de calcul ordinaires, sans composant unique à désactiver. Les auteurs concluent que modifier les poids peut lever un obstacle qui masquait une capacité, pas ajouter une capacité absente. Dans l'expérience 7, Astra n'a pas su dire, à partir des seuls poids, lequel de deux Gemma 3 270M avait été entraîné à approuver l'utilisateur, en quatre tentatives.

Ce qu'en disent Honnibal, Goedecke et Willison

Matthew Honnibal, créateur de la bibliothèque de traitement du langage spaCy, juge le billet trompeur (3 novembre 2026). Il le compare à un tour de magie refait avec une technique différente à chaque fois : le lecteur croit à une seule capacité, alors que la lecture brute des poids (expériences 1, 2 et 4) et l'amélioration de Qwen, faite avec Python et jusqu'à 50 passes du modèle, sont deux choses distinctes. Il reconnaît que trouver comment faire ce travail « n'est pas rien » et que les modèles d'il y a un ou deux ans auraient échoué.

Sean Goedecke soutient dans un billet du 3 novembre 2026 qu'un chercheur humain compétent aurait fait la même chose. Pour l'expérience 1, les canaux d'entrée sont nommés et reliés chacun à une case de la grille : trois lignes de Python suffisent, selon lui, à tracer une carte de la première couche où l'on reconnaît Breakout ou Pac-Man ; Astra a fait ce calcul de tête, ce qu'il appelle du calcul mental surhumain, pas de la recherche surhumaine. Pour Qwen, il décrit la recette de Heretic : écrire des textes qui bouclent et d'autres non, mesurer quels poids portent l'écart, les réduire, tester. Il affirme aussi que le modèle d'origine résolvait déjà les problèmes qui tiennent sous 32 768 tokens, un point que le billet du MIT ne chiffre pas. Petit écart à noter : Goedecke parle d'une grille de 8 sur 8, le billet du MIT d'une grille de 10 sur 10.

Simon Willison, créateur de l'outil en ligne de commande LLM, a relancé l'expérience 1 le 3 novembre 2026 avec les consignes publiées : Qwen 3.8 27B, sur son ordinateur portable, a reconnu Pac-Man (46 min 12 s de calcul), Pong et Breakout, et s'est trompé sur Freeway. La lecture des petits réseaux n'est donc pas propre à GPT-6 Astra. Willison ajoute qu'un humain expérimenté, avec du papier et un crayon, y arriverait avec assez d'efforts.

Un point que le billet laisse de côté : la base de départ

La fiche officielle de Qwen3.5-0.8B prévient que ce modèle, en mode raisonnement et avec les réglages recommandés, entre plus souvent en boucle que les autres Qwen3.5, au point de ne pas terminer sa réponse ; elle conseille de surveiller la génération et d'ajuster la pénalité de présence. Le billet du MIT renvoie à cet avertissement. La même fiche annonce 44,0 sur IFEval en mode raisonnement (température 1,0), là où le MIT mesure 21,0 % pour le modèle de base (température 0,6). Les protocoles diffèrent et les deux chiffres ne se comparent pas directement, mais l'écart rappelle que le point de départ de 21 % est celui d'un modèle mesuré dans des conditions où il boucle beaucoup.

La fiche recommande aussi 32 768 tokens de réponse pour la plupart des requêtes et 81 920 pour les problèmes de mathématiques de compétition, d'après Qwen. Le MIT évalue avec la première valeur. Personne n'a publié, à ce jour, la comparaison entre la retouche d'Astra et les remèdes que propose la fiche (pénalité de présence, longueur de réponse, autres réglages d'échantillonnage).

Quel crédit accorder à l'annonce

• Le chiffre de 48,1 % est solide dans son cadre : protocole décrit dans le billet du MIT, journaux et modèle publiés, résultat négatif sur Gemma 3 270M affiché. C'est plus de transparence que la plupart des annonces de modèles, comme celles que décrypte notre lecture de LifeVal, le banc d'essai d'OpenAI.
• Il ne mesure pas une meilleure capacité de calcul : il mesure la suppression d'un défaut connu et documenté par Qwen. Pour comprendre pourquoi un modèle de raisonnement peut tourner en rond, la longueur de réponse compte autant que les poids.
• La nouveauté est l'autonomie, pas la technique : un modèle généraliste a choisi et appliqué seul une méthode d'interprétabilité connue. Les applications que listent les auteurs (audit de modèles sans évaluation, ajout de capacités sans données) restent des hypothèses ; ils annoncent un banc d'essai dédié, sans date.

Pour d'autres lectures de classements et d'études, voir les comparatifs du Labo et notre analyse de l'étude sur l'hypothèse platonicienne.