Apple crée des tests réalistes depuis une seule spec MCP

Apple publie Agent Seer en août 2026 pour évaluer des agents IA utilisant des outils externes. La méthode synthétise des scénarios réalistes depuis une seule spécification du Model Context Protocol, ou MCP. Elle ne requiert ni exemples, ni accès direct aux outils, ni adaptation propre à un domaine. Les auteurs sont Harish Karumuri, Mahesh Vemula et David Lopes Pegna. Leur travail vise les tests qui reproduisent la composition d’outils et les échanges sur plusieurs tours. La construction manuelle de ces scénarios demande une expertise approfondie. Elle produit aussi des références statiques, difficiles à maintenir lorsque les interfaces d’outils évoluent. Agent Seer utilise donc les informations déjà présentes dans les spécifications. Lire la publication d’Apple.**

Les schémas portent l’information : les noms de fonctions, descriptions en langage naturel et paramètres typés décrivent les capacités d’un outil. Agent Seer enrichit d’abord ces schémas bruts. Le pipeline génère ensuite des scénarios gradués avec des sorties d’outils synthétiques. Il les transforme enfin en dialogues multi-tours fondés sur des données fictives. Ces dialogues cherchent à conserver une bonne exactitude d’appel d’outil et une cohérence conversationnelle. L’approche évite l’exécution en direct des outils pendant la génération. Elle ne dépend pas non plus d’une sélection manuelle de cas. La spécification MCP devient ainsi le point de départ unique du processus d’évaluation. Consulter la version arXiv.

Agent Seer teste sept spécifications MCP

Sept domaines structurent l’évaluation : les auteurs appliquent le pipeline à sept spécifications MCP. Ces spécifications couvrent des domaines variés et plusieurs tailles de suites d’outils. L’évaluation mesure deux dimensions principales. La première concerne l’exactitude des appels d’outils. La seconde porte sur la cohérence des conversations produites. Le pipeline obtient une qualité élevée dans l’ensemble des domaines examinés. Il atteint une couverture complète des outils pour les petites et moyennes spécifications. Ces résultats évaluent la capacité du système à produire des scénarios à partir des schémas seuls. Ils ne reposent pas sur des exemples fournis par des praticiens. La méthode vise donc une génération reproductible des tests.

La complexité guide les écarts : l’analyse identifie la complexité des schémas de paramètres comme le facteur le plus fortement associé aux variations de qualité. La taille de la suite d’outils joue un rôle plus faible et indépendant. Cette distinction sépare la difficulté des paramètres du simple nombre d’outils disponibles. Les scénarios imparfaits présentent principalement des erreurs dans la précision des valeurs d’arguments. Cette dimension échappe aux métriques fondées uniquement sur la correspondance des noms. Un scénario peut donc sélectionner le bon outil, tout en transmettant des valeurs incorrectes. Agent Seer rend cette faiblesse visible dans l’évaluation détaillée des appels générés.

La précision des arguments reste décisive

Les tests gagnent en granularité : Agent Seer relie les spécifications MCP à des dialogues multi-tours et à des sorties d’outils simulées. Son évaluation ne s’arrête pas au choix du nom d’un outil. Elle examine également les valeurs transmises dans les arguments et la cohérence de l’échange. Les résultats sur sept spécifications montrent une couverture complète pour les petites et moyennes suites. La complexité des paramètres explique davantage les écarts observés que la taille totale des suites. Les auteurs signalent ainsi une limite des indicateurs grossiers. La correspondance des noms ne suffit pas à repérer toutes les erreurs d’utilisation des outils.** Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.