Kapoor et Narayanan alertent sur la fiabilité des agents IA

Une étude de fiabilité Sayash Kapoor, Arvind Narayanan et Stephan Rabanser publient un projet de recherche consacré à la fiabilité des agents d’IA. Leur travail examine 14 modèles issus d’OpenAI, Google et Anthropic, couvrant 18 mois de versions. Les auteurs évaluent ces modèles avec deux bancs d’essai complémentaires, GAIA et TauBench. Ils ont exécuté 500 évaluations au total, chaque tâche étant répétée cinq fois avec des consignes reformulées. Leur constat principal distingue les capacités de la fiabilité. La précision a fortement progressé, mais la fiabilité n’a augmenté que modestement. Les auteurs présentent leurs résultats comme provisoires dans leur analyse, qui propose aussi un futur indice dédié aux agents.

Quatre dimensions structurent l’analyse La fiabilité ne se résume pas au taux moyen de réussite d’une tâche. Les chercheurs la décomposent en cohérence, robustesse, prévisibilité et sécurité. La cohérence mesure la capacité à réussir une même tâche de façon répétée. La robustesse examine la réaction aux conditions dégradées. La prévisibilité évalue la capacité à reconnaître ses propres erreurs. La sécurité concerne la fréquence et la gravité des échecs. Cette approche s’inspire de domaines comme l’aviation, le nucléaire et l’automobile. Dans ces secteurs, les évaluations analysent plusieurs modes de défaillance. L’aviation vise notamment une erreur catastrophique par milliard d’heures de vol.

Les modèles gagnent peu en fiabilité

Des écarts persistent entre modèles Les scores de cohérence observés s’étendent de 30 % à 75 %. Des agents capables de résoudre une tâche échouent parfois lors d’une nouvelle tentative, dans des conditions identiques. La robustesse résiste généralement aux pannes techniques réelles, comme les arrêts de serveur ou les délais d’API. Elle baisse toutefois nettement lorsque les chercheurs reformulent les instructions avec le même sens. La prévisibilité constitue la dimension la plus faible. Sur un banc d’essai, la plupart des modèles distinguent leurs réponses correctes et incorrectes à peine mieux que le hasard. Les modèles d’Anthropic dépassent parfois ceux d’OpenAI et de Google, mais les trois fournisseurs restent globalement proches.

La taille produit des effets mixtes L’augmentation de la taille des modèles améliore certaines dimensions, notamment la calibration et la robustesse. Elle peut cependant dégrader la cohérence. Les modèles plus grands disposent de répertoires comportementaux plus riches, ce qui peut accroître les variations entre deux exécutions. Les erreurs financières, comme les facturations incorrectes, restent une défaillance fréquente dans la dimension de sécurité. Les auteurs mesurent cette sécurité de manière étroite, en se concentrant sur les dommages bornés lors d’un échec. Ils la séparent encore du score global, car leur méthode évolue. Leur recommandation consiste à rapporter des profils de fiabilité à côté de la précision, plutôt que la précision seule.

Les déployeurs doivent répéter les tests

Les usages exigent des seuils différents Les auteurs distinguent l’augmentation humaine de l’automatisation. Un assistant de programmation qui propose parfois un mauvais nom de variable demande une vérification humaine. Un agent autonome qui gère une installation industrielle impose une exigence différente. Pour les flux sans supervision et les robots de service client, la fiabilité devient une condition de mise en production. Les déployeurs devraient fixer des seuils avant le passage d’un environnement de test à la production. Ils devraient aussi créer une culture de signalement des incidents. Les chercheurs recommandent enfin des évaluations internes adaptées aux données et aux contraintes propres à chaque usage. Les résultats détaillés sont présentés par Sayash Kapoor.