Apple évalue les agents MCP à partir d’une seule spécification

Apple présente Agent Seer dans une publication datée d’août 2026. Ce pipeline synthétise des scénarios d’évaluation pour des agents IA utilisant des outils externes. Il part d’une seule spécification du Model Context Protocol, ou MCP. Il n’utilise ni exemples, ni accès direct aux outils, ni adaptation spécialisée à un domaine. Agent Seer enrichit d’abord les schémas bruts. Il génère ensuite des scénarios gradués avec des sorties d’outils synthétiques. Enfin, il les transforme en dialogues multi-tours reposant sur des données simulées. Apple décrit cette approche dans sa publication de recherche, publiée le 31 août 2026.

Les tests manuels plafonnent lorsque les agents combinent plusieurs outils et itèrent sur plusieurs tours de conversation. La construction de scénarios exige alors une expertise métier approfondie. Elle produit aussi des bancs d’essai statiques, qui ne suivent pas l’évolution des interfaces de programmation. Agent Seer exploite les informations sémantiques déjà présentes dans les spécifications. Celles-ci comprennent les noms de fonctions, les descriptions en langage naturel et les schémas de paramètres typés. Le pipeline vise ainsi à représenter la manière dont des praticiens composent des outils. Il évalue aussi la sélection des outils, leurs paramètres et la cohérence des échanges générés.

Agent Seer teste sept spécifications MCP

Sept spécifications structurent l’évaluation menée par les auteurs Harish Karumuri, Mahesh Vemula et David Lopes Pegna. Elles couvrent plusieurs domaines et différentes tailles de suites d’outils. L’évaluation mesure deux dimensions principales. La première concerne la justesse des appels d’outils. La seconde mesure la cohérence conversationnelle des dialogues. Le pipeline obtient une qualité élevée dans l’ensemble des domaines étudiés. Il atteint une couverture complète des outils sur les spécifications petites et moyennes. Les auteurs indiquent donc que les schémas peuvent soutenir une génération étendue de scénarios. Les résultats sont détaillés dans la publication arXiv.

La complexité des paramètres est le facteur qui correspond le plus fortement aux variations de qualité observées. La taille de la suite d’outils joue un rôle plus faible et indépendant. Cette distinction sépare la difficulté interne des paramètres du simple nombre d’outils disponibles. Les scénarios générés comportent toutefois un défaut dominant lorsqu’ils sont imparfaits. Il s’agit de la précision des valeurs fournies aux arguments. Cette dimension échappe aux métriques grossières fondées uniquement sur la correspondance des noms. Une évaluation qui vérifie les noms d’outils peut donc manquer certaines erreurs de valeurs dans les appels.

La précision des arguments domine les erreurs

Les auteurs relient ces résultats à la conception des évaluations d’agents utilisant des outils externes. Agent Seer génère des sorties synthétiques et des dialogues multi-tours à partir des spécifications. Son évaluation sur sept spécifications mesure explicitement la justesse des appels et la cohérence conversationnelle. Les résultats signalent une couverture complète sur les petites et moyennes suites étudiées. Ils mettent également en avant la complexité des schémas de paramètres comme principal corrélat des variations de qualité. La précision des valeurs d’arguments devient ainsi un indicateur distinct des métriques de correspondance des noms. Le pipeline fournit une méthode de génération sans curation manuelle ni exécution en direct. Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.