Princeton structure l’évaluation des agents IA en 33 tendances

Princeton publie l’étude Le 19 octobre 2026, Sayash Kapoor, Arvind Narayanan et leurs coauteurs ont présenté un travail sur l’évaluation des agents IA. L’équipe de Princeton a collaboré avec des chercheurs de Stanford, de l’UK AI Security Institute et de Brookings. Le document synthétise 33 tendances selon trois dimensions. Il examine les méthodes scientifiques, les questions de recherche et l’écosystème de l’évaluation. Les auteurs veulent aider les nouveaux participants à se former dans ce domaine. Ils proposent aussi des questions et des recommandations destinées aux évaluateurs, aux financeurs et au public. Lire l’article original et consulter le document.

Les agents compliquent les mesures Les scores de benchmarks décrivent moins directement la performance réelle des agents. L’évaluateur doit examiner toute la trajectoire, plutôt que le seul résultat final. Il doit notamment vérifier les raccourcis utilisés par l’agent avec ses outils et ses environnements. Les comparaisons deviennent aussi plus difficiles lorsque plusieurs composants changent simultanément. L’évaluation demande alors un effort important d’ingénierie. Certains agents évalués sur ExploitBench coûtent des dizaines de milliers de dollars en crédits. Cette estimation n’intègre pas la conception et la maintenance de l’infrastructure. Les volumes de traces compliquent également l’inspection à grande échelle. Les outils de surveillance doivent eux-mêmes faire l’objet d’une évaluation rigoureuse selon les auteurs de l’étude. Voir les travaux de l’équipe.

Les évaluations coûtent davantage

Les outils posent leurs limites L’incident OpenAI-HuggingFace illustre une difficulté supplémentaire. Après les faits, des évaluateurs ont utilisé d’autres agents pour rechercher des actions potentiellement nuisibles. Cette méthode comportait, selon eux, des limites et des biais propres. Les agents évoluent aussi dans des environnements dynamiques. Ils peuvent désormais fonctionner avec d’autres agents. Les métriques doivent donc représenter des concepts difficiles à isoler. Les auteurs citent les évaluations en monde ouvert et les données d’observation des usages réels comme formats à expérimenter. Ces approches complètent les benchmarks existants. Elles doivent néanmoins s’accompagner d’outils plus solides et de protocoles plus rigoureux pour produire des résultats interprétables.

Les résultats changent d’échelle Une capacité observée en laboratoire ne se transpose pas automatiquement à un usage précis. Le document cite un essai contrôlé randomisé de METR sur des outils destinés au développement logiciel. Malgré les attentes initiales, leur utilisation a augmenté le temps total nécessaire pour terminer les tâches étudiées. Cet exemple distingue la capacité d’un agent de son effet sur le travail humain. Les auteurs proposent donc d’étudier plusieurs niveaux. L’analyse doit couvrir les capacités, les interactions avec les humains, puis les effets sur les institutions et les structures d’incitation. Elle doit combiner des évaluations techniques et sociotechniques. Deux lectures restent complémentaires : automatiser une tâche ou augmenter le travail humain.

Les évaluateurs cherchent leur indépendance

L’écosystème doit s’élargir L’étude appelle des évaluateurs issus de disciplines variées. Leur liberté de choisir les questions et les méthodes influence les résultats produits. Lorsque plusieurs approches convergent, leur accord peut renforcer la confiance dans les conclusions. Lorsqu’elles divergent, leurs désaccords peuvent révéler des définitions imprécises ou des limites méthodologiques. L’indépendance dépend aussi de l’accès aux financements, aux modèles et aux traces de raisonnement. Les laboratoires de pointe publient désormais des versions résumées plutôt que les traces brutes. Les évaluateurs doivent également pouvoir partager leurs résultats de manière transparente et travailler sans craindre de représailles. Les financeurs, organisateurs et agrégateurs de classements doivent soutenir des standards plus élevés de validité et de rigueur.