Princeton cartographie 33 tendances pour évaluer les agents IA

Princeton publie une étude Le 19 octobre 2026, une équipe de Princeton a présenté un article consacré aux tendances émergentes de l’évaluation des agents IA. Les auteurs viennent notamment de Princeton, Stanford, de l’Institut britannique pour la sécurité de l’IA et de Brookings. Leur travail synthétise 33 tendances selon trois dimensions. La première concerne les méthodes et la science de l’évaluation. La deuxième porte sur les questions de recherche. La troisième examine l’écosystème des évaluateurs. L’objectif affiché consiste à aider les nouveaux participants à se former. Le document propose aussi des questions pour les évaluateurs, les financeurs et le public. Lire l’article original et consulter l’étude.

Les agents compliquent les mesures Les scores de référence décrivent moins facilement la performance réelle d’un agent. L’évaluation doit examiner toute sa trajectoire, plutôt que son seul résultat final. Les évaluateurs doivent notamment vérifier si l’agent a utilisé des raccourcis. Cette vérification compte lorsque l’agent dispose d’outils et d’environnements. Les changements de performance sont aussi plus difficiles à attribuer aux composants précis du système. L’article souligne le coût d’ingénierie associé à ces contrôles. Plusieurs agents évalués avec ExploitBench ont consommé des crédits représentant plusieurs dizaines de milliers de dollars. Ce montant exclut l’effort nécessaire pour installer et maintenir l’infrastructure d’évaluation.

Les évaluateurs inspectent les trajectoires

Les traces posent problème Les agents génèrent un volume important de traces que les évaluateurs doivent inspecter et surveiller à grande échelle. Les outils utilisés pour ce travail ne sont pas infaillibles. Ils doivent eux-mêmes faire l’objet d’une évaluation. Après l’incident impliquant OpenAI et HuggingFace, des évaluateurs ont utilisé d’autres agents pour rechercher des actions préjudiciables. Ils ont toutefois reconnu les limites et les biais possibles de cette méthode. Les agents sont aussi déployés dans des environnements dynamiques. Ils fonctionnent parfois avec d’autres agents. Cette situation complique la conception de métriques valides et de conditions expérimentales adaptées. Le papier cite les évaluations en monde ouvert et les données d’usage comme pistes étudiées.

Les résultats changent d’échelle Une capacité observée en laboratoire ne se transpose pas nécessairement à un usage précis. L’article cite un essai contrôlé randomisé de METR sur des outils d’agents appliqués au développement logiciel. Malgré les attentes, leur utilisation a augmenté le temps total nécessaire pour terminer les tâches étudiées. Cette observation distingue la capacité technique d’un agent de ses effets dans le travail humain. Les auteurs proposent donc d’étudier plusieurs niveaux. Ces niveaux couvrent les capacités, les interactions avec les personnes, puis les effets sur les institutions et les mécanismes d’incitation. Ils opposent aussi deux questions. Un agent peut automatiser une tâche, ou augmenter le travail d’une personne.

L’indépendance structure l’écosystème

L’accès influence l’évaluation L’élargissement du programme de recherche nécessite des évaluateurs issus de plusieurs disciplines. Leur liberté de choisir les questions et les méthodes influence les résultats produits. Lorsque des approches différentes convergent, elles peuvent renforcer la confiance dans ces résultats. Lorsqu’elles divergent, elles peuvent révéler des définitions imprécises ou des limites méthodologiques. Le coût croissant des évaluations de pointe renforce l’importance du financement pour les évaluateurs indépendants. Leur accès aux modèles influence aussi leur capacité à mesurer la frontière technologique. L’accès aux traces de raisonnement devient une question supplémentaire, car certains laboratoires publient désormais des versions résumées plutôt que les traces brutes. Voir les initiatives sur l’évaluation intégrée.