ToyBlocks d'Ai2 : ce que prouvent vraiment les chiffres du robot entraîné en simulation

Ce qu'il faut retenir

ToyBlocks ne prouve pas qu'un robot apprend tout en simulation. Il prouve quelque chose de plus étroit et de plus utile : dans un monde volontairement simple, un bras et des cubes, des démonstrations générées par ordinateur suffisent à entraîner des gestes qui marchent aussi bien sur un vrai robot. Pour les tâches longues, le résultat réel est encourageant mais mesuré sur trop peu d'essais pour être lu au point près.

L'intérêt pour un labo ou une équipe de R&D en France tient au coût. La donnée robotique se collecte d'habitude par téléopération, un humain qui guide le bras, ce qui est lent et cher. Ai2 remplace cette étape par de la planification automatique et de l'apprentissage par renforcement dans Isaac Lab, le simulateur de Nvidia, jusqu'à 24 fois plus vite que le temps réel sur un seul GPU. Ai2 présente ce monde comme le premier « FoundationWorld », un domaine contrôlé pour mener des études répétables, dans la lignée des modèles de monde comme Genie 4 mais avec un objectif d'évaluation plutôt que de génération.

Les chiffres publiés, et ce qu'ils valent

La première version contient 85 336 démonstrations longues, environ 1 600 heures et 144 millions d'images. La fiche Hugging Face des données compte 143 676 425 lignes pour 8,85 To, réparties en trois niveaux selon l'orientation de départ des cubes (lisible, retournée, aléatoire), avec des cubes gardés hors de l'entraînement pour les tests.

Le transfert vers le réel a été testé sur un bras Franka FR3. Voici les résultats tels qu'Ai2 les donne, avec l'intervalle de confiance à 95 % que nous avons calculé (méthode de Wilson) quand le nombre d'essais est publié.

La lecture honnête : les deux intervalles se recouvrent largement, donc rien n'indique une chute nette entre simulation et réel, mais rien ne permet non plus d'affirmer que les deux se valent à 5 points près. Trente essais laissent une marge de plus de 30 points. Ai2 le reconnaît en écrivant qu'il faut davantage d'essais réels.

Ce que montrent les tests d'agents

ToyBlocks sert aussi à brancher un « cerveau » de haut niveau, qui décide de l'étape suivante, sur la politique motrice ManiFlow. Avec Claude Opus 5.5 d'Anthropic dans ce rôle, Ai2 rapporte 30 réussites sur 30 en planification classique et 63 % sur une tâche où le robot doit chercher des cubes et écrire un mot. Les échecs viennent pour 13 % de lettres qui se ressemblent et pour 15 % d'une mauvaise orientation des cubes.

Le résultat le plus étonnant porte sur les consignes, selon le billet d'Ai2. Quand l'agent rédige lui-même la description des gestes dont il dispose, la réussite passe de 24 % à 63 %, contre 36 % avec des descriptions écrites par un expert humain. C'est une mesure sur une tâche et un modèle, pas une règle générale, mais elle rejoint ce qu'on sait du fonctionnement des agents d'IA : la manière de décrire les outils pèse autant que le modèle.

Côté modèles de monde, ceux qui prédisent la suite d'une vidéo, Wan 2.2 obtient les meilleurs résultats parmi ceux testés. Ajouter 100 déroulés générés fait passer la réussite d'une politique dans une zone jamais vue de 19 % à 78 %. À l'inverse, les modèles vision-langage-action testés (ManiFlow, π0.5, MolmoAct 2) généralisent mal dans ces premiers essais.

Ce que le billet ne dit pas encore

Plusieurs informations manquent pour juger la portée du travail. Le nombre d'essais réels derrière les 81,1 % des gestes de base n'est pas détaillé dans le billet du 6 novembre, ce qui empêche de calculer leur marge d'erreur. Tous les essais réels portent sur un seul modèle de bras, le Franka FR3, et sur une seule scène de table : rien ne dit encore comment la méthode se comporte avec une autre pince, d'autres objets ou un éclairage différent.

Le rapport technique, qui devrait préciser les protocoles, est annoncé sans date. Les comparaisons entre modèles de monde et entre politiques vision-langage-action sont présentées comme de premiers tests. Pour un lecteur qui doit choisir une base d'expérimentation, la bonne attitude est donc de traiter ToyBlocks comme un banc d'essai reproductible, et non comme la preuve qu'un robot entraîné en simulation est prêt pour un atelier ou un entrepôt.

Ce qu'on a vérifié

Le code du dépôt GitHub est sous licence Apache 2.0. Les sous-modules curobo, maniflow-tb, molmo2 et agentic_robotics, ainsi que les ressources téléchargées, ont leurs propres licences. Le jeu de données est sous ODC-BY 1.0 : la licence autorise explicitement l'usage commercial, à condition de citer la source. La fiche précise toutefois qu'il est destiné à la recherche et à l'éducation selon les règles d'usage d'Ai2, et ne mentionne aucune restriction d'export.

Pour une équipe qui hésite à s'en servir, trois points pratiques ressortent de la documentation. Il faut un GPU Nvidia, puisque tout repose sur Isaac Sim et Isaac Lab. Il n'est pas nécessaire de tout télécharger : chaque niveau se récupère séparément au format LeRobot. Et le rapport technique est annoncé mais pas encore publié, comme la seconde version, plus grande, prévue « dans quelques semaines » selon le billet du 6 novembre 2026.

C'est une démarche proche des autres projets ouverts qui publient code, données et méthode, comme Apertus 1.5 pour les modèles de langage. Pour la manière dont un laboratoire d'IA mesure ses agents sur des données d'expérience réelles, on peut comparer avec BioBasicsBench d'OpenAI. Les autres analyses de résultats publiés sont dans le Labo.