Aller au contenu

Bench FR

Le banc d’essai mensuel des IA sur des tâches réelles en français, notées par des humains, est en préparation : aucune édition n’a encore été publiée.

En attendant : les classements publics

Le Latent n’a encore fait tourner aucun banc d’essai et ne publie aucun score maison. Pour comparer les IA en français, des classements publics existent ; ils sont tenus par des tiers, avec leurs propres méthodes et limites :

  • Arena, catégorie française : votes à l’aveugle d’internautes entre deux réponses anonymes ;
  • compar:IA : comparateur public en français porté par le ministère de la Culture, jeux de données ouverts ;
  • Artificial Analysis : batterie d’épreuves automatiques, principalement en anglais selon sa méthodologie.

Ce qu’ils mesurent et ne mesurent pas, expliqué par le Labo :

Protocole

Aucune tâche n’est encore publiée : le protocole (tâches, consignes, critères de notation) sera rendu public avant la première édition. Principes retenus : méthodologie.

Archives des éditions

Aucune édition publiée pour l’instant.

Rédaction sous Bastien Hugon · Rédaction Données & Observatoire