AllenAI dissèque les benchmarks au-delà du score global

AllenAI présente BenchMIRT le 1er septembre 2026. Cette méthode audite les benchmarks utilisés pour évaluer les grands modèles de langage. BenchMIRT analyse la performance d’un modèle sur chaque question et chaque tâche. Cette approche examine donc les résultats à un niveau plus détaillé que le score global. L’entraînement repose sur les résultats de 100 LLM. Ces résultats couvrent 16 benchmarks et plus de 34 000 questions. L’objectif présenté consiste à identifier les dimensions effectivement capturées par les évaluations. La méthode ne traite pas les benchmarks comme des mesures isolées. Elle compare leurs signaux question par question. AllenAI a publié une présentation de BenchMIRT le 1er septembre 2026.

Le corpus couvre deux familles de benchmarks. Six évaluations mesurent le raisonnement général. Cette sélection inclut MMLU-Pro, GPQA, MATH et BBH. Dix autres benchmarks proviennent de la suite de sécurité Olmo 3. Parmi eux figurent HarmBench, StrongReject, WildJailbreak, BBQ, WMDP et XSTest. BenchMIRT utilise ces deux ensembles pour analyser les relations entre les résultats. La méthode porte ainsi sur des tâches de raisonnement et de sécurité. Les 16 benchmarks réunissent plus de 34 000 questions. Les résultats de 100 LLM forment la base d’entraînement. Cette combinaison fournit une structure commune pour comparer les performances individuelles. Le dépôt GitHub de BenchMIRT présente également le projet.

BenchMIRT distingue deux dimensions

Deux dimensions dominantes apparaissent dans l’analyse de BenchMIRT. La première correspond à la sécurité. La seconde correspond au raisonnement général. Ces dimensions organisent les signaux observés dans les résultats des benchmarks. La méthode identifie donc des composantes communes entre plusieurs évaluations. Cette lecture distingue la dimension mesurée du nom donné au benchmark. Elle s’appuie sur les performances obtenues aux questions individuelles. BenchMIRT montre ainsi qu’un score unique peut combiner plusieurs signaux. Cette conclusion concerne les benchmarks analysés avec les résultats de 100 LLM. Elle ne transforme pas chaque benchmark en mesure exclusive d’une seule capacité. L’analyse relie les résultats à deux dimensions dominantes, sécurité et raisonnement général.

BBQ se rapproche du raisonnement dans les résultats observés par BenchMIRT. Ce benchmark appartient à la suite de sécurité Olmo 3. Pourtant, BenchMIRT l’aligne plus fortement avec le raisonnement général qu’avec la sécurité. WMDP présente une association plus forte avec le raisonnement général qu’avec la sécurité. Ces deux résultats illustrent le mélange de signaux dans des scores uniques. Ils concernent précisément BBQ et WMDP. L’analyse ne décrit donc pas uniquement les benchmarks de raisonnement général comme porteurs de signaux de raisonnement. Elle associe également ce signal à deux évaluations de la suite de sécurité. BenchMIRT permet cette lecture grâce à son analyse des questions et des tâches individuelles.

HarmBench combine deux types de prompts

HarmBench utilise deux formats de prompts dans les données examinées. Le benchmark comprend des prompts standards liés aux demandes nuisibles. Il comprend aussi des prompts contextuels. Cette composition fournit deux types de situations dans une même évaluation. BenchMIRT analyse ces éléments au niveau des questions et des tâches. Le cas de HarmBench illustre ainsi la granularité de la méthode. Les résultats peuvent être examinés en relation avec les deux dimensions identifiées. BenchMIRT distingue la sécurité et le raisonnement général dans son analyse globale. BBQ et WMDP montrent déjà qu’un benchmark de sécurité peut s’associer plus fortement au raisonnement général. HarmBench ajoute une structure de prompts différente à l’ensemble évalué.

L’audit porte sur les scores produits par les 16 benchmarks étudiés. BenchMIRT repose sur 100 LLM et plus de 34 000 questions. La méthode compare les performances individuelles avant d’interpréter les résultats agrégés. Elle identifie deux dimensions dominantes, la sécurité et le raisonnement général. Elle observe aussi des associations spécifiques pour BBQ et WMDP. BBQ s’aligne plus fortement avec le raisonnement général. WMDP présente également une association plus forte avec le raisonnement général. HarmBench contient des prompts standards et contextuels liés aux demandes nuisibles. Le projet est présenté dans l’article d’AllenAI et dans son dépôt de code ouvert.