# Kapoor et Narayanan mettent 14 agents IA à l’épreuve > Sayash Kapoor et Arvind Narayanan évaluent 14 modèles et constatent des progrès modestes de fiabilité malgré une forte hausse de précision. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-10-12 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/kapoor-et-narayanan-testent-la-fiabilite-des-agents-ia Tags : agents, fiabilité, évaluation, modèles, automatisation, agents-ia --- ## En résumé - L’étude évalue 14 modèles issus d’OpenAI, Google et Anthropic. - Les chercheurs distinguent la cohérence, la robustesse, la prévisibilité et la sécurité. - Les agents obtiennent des progrès modestes de fiabilité sur 18 mois. **Le signal :** L’étude de Sayash Kapoor et Arvind Narayanan teste 14 modèles sur 500 exécutions pour mesurer douze dimensions de fiabilité. **Une étude publiée** par Stephan Rabanser, Sayash Kapoor et Arvind Narayanan propose une méthode pour mesurer la fiabilité des [agents](/signal-ia/actu/sayash-kapoor-et-arvind-narayanan-rejettent-deux-agents-ia) d’intelligence artificielle. Leur projet, intitulé *Towards a Science of AI Agent Reliability*, évalue 14 modèles d’OpenAI, Google et Anthropic. Les chercheurs ont étudié des versions publiées sur 18 mois. Ils ont utilisé deux bancs d’essai complémentaires, GAIA et TauBench. Chaque tâche a été exécutée cinq fois, avec des instructions reformulées. Des défaillances d’outils et d’environnements ont également été injectées. Au total, l’expérience représente 500 exécutions. Les auteurs annoncent aussi la préparation d’un indice de fiabilité des agents. [Lire l’étude](https://www.normaltech.ai/p/new-paper-towards-a-science-of-ai). **La précision ne suffit** pas à définir un agent fiable, selon les chercheurs. Ils distinguent quatre dimensions principales. La cohérence mesure la stabilité des résultats dans des conditions identiques. La robustesse évalue la réaction aux changements d’instructions ou aux défaillances techniques. La prévisibilité examine la capacité de l’agent à reconnaître ses erreurs. La sécurité porte sur la fréquence et la gravité des échecs. Cette approche s’inspire de secteurs comme l’aviation, le nucléaire et l’automobile. Dans ces domaines, la performance moyenne ne suffit pas. Les systèmes sont aussi évalués selon leurs modes de défaillance et leurs conséquences. ## Les chercheurs décomposent la fiabilité **Les résultats montrent** que la fiabilité a progressé modestement en 18 mois, alors que la précision a fortement augmenté. La cohérence des résultats varie de 30 % à 75 % selon les modèles et les tâches. Les agents gèrent généralement les pannes techniques réelles, comme les interruptions de serveur ou les délais d’API. En revanche, une simple reformulation sémantique des instructions peut réduire sensiblement leurs performances. La prévisibilité constitue la dimension la plus faible. Sur un banc d’essai, la plupart des modèles distinguent leurs réponses correctes de leurs réponses incorrectes à un niveau à peine supérieur au hasard. Les erreurs financières restent aussi fréquentes. **Les trois fournisseurs** étudiés présentent des niveaux globalement regroupés, même si certains modèles d’[Anthropic](/signal-ia/actu/anthropic-lance-claude-sonnet-5-plus-autonome-et-moins-couteux) dépassent ceux d’OpenAI et de Google dans certains cas. Les chercheurs observent également que les modèles plus grands ne sont pas systématiquement plus fiables. L’augmentation de taille améliore certaines dimensions, notamment la calibration et la robustesse. Elle peut toutefois réduire la cohérence entre plusieurs exécutions. Les modèles disposant de comportements plus riches peuvent produire davantage de variations d’une tentative à l’autre. Les auteurs recommandent donc de publier des profils de fiabilité avec les scores de précision. Ils proposent aussi de tester les agents plusieurs fois et dans des conditions variées. ## Les déployeurs doivent distinguer les usages **Pour les déployeurs**, l’étude recommande de distinguer l’augmentation humaine de l’[automatisation](/signal-ia/actu/les-agents-ia-echouent-au-test-de-recherche-de-sayash-kapoor). Un assistant de programmation qui suggère parfois un mauvais nom de variable peut être contrôlé par un utilisateur. Un agent autonome qui prend des décisions dans une usine exige un niveau différent de fiabilité. Pour les flux sans supervision et les robots destinés aux clients, les chercheurs recommandent des seuils avant le passage du bac à sable à la production. Ils suggèrent aussi une culture de signalement des incidents, inspirée de l’aviation. Chaque organisation devrait enfin construire des évaluations adaptées à ses tâches, ses données et ses environnements. Les recommandations sont présentées comme des pistes par les auteurs. **Les chercheurs appellent** à mesurer la fiabilité séparément de la précision. Ils recommandent de tester la variance entre plusieurs exécutions, l’adaptation à différentes conditions et la stabilité dans le temps. Selon eux, la cohérence et la prévisibilité constituent les lacunes les plus importantes. Les développeurs pourraient optimiser ces dimensions directement ou renforcer l’architecture de leurs agents. Un agent devrait notamment reconnaître les situations dans lesquelles il risque d’échouer et récupérer correctement après une erreur. Les auteurs envisagent aussi une séparation entre exploration de stratégies pendant le développement et exécution stable après déploiement. Leurs conclusions restent présentées comme provisoires dans l’étude. [Suivre Sayash Kapoor](https://substack.com/@sayash) et [lire les travaux associés](https://substack.com/@aisnakeoil).