# Kapoor et Narayanan confrontent deux agents au rejet > Sayash Kapoor et Arvind Narayanan ont testé deux agents sur des recherches ouvertes pendant six jours, avec des résultats rejetés par les auteurs. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-10-28 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/sayash-kapoor-et-arvind-narayanan-voient-deux-agents-echouer Tags : agents, recherche, évaluation, automatisation, ia --- ## En résumé - Deux agents de pointe ont produit des articles rejetés par leurs auteurs. - Les agents ont dépensé moins de 50 % de leur budget API disponible. - Les évaluations en conditions réelles restent limitées à deux articles. **Le signal :** Deux agents de pointe ont dépensé moins de 50 % de leur budget API avant l’échec de leurs recherches. **Deux agents testés** Sayash Kapoor et Arvind Narayanan ont évalué la capacité d’agents d’IA de pointe à mener une recherche ouverte. Leur expérience a porté sur deux articles d’IA non publiés. Les auteurs ont formulé la question principale de chaque étude. Les agents ont ensuite reçu des crédits d’API et des ressources de calcul d’une valeur de plusieurs milliers de dollars. Ils disposaient aussi de six jours calendaires pour conduire leurs travaux. Les auteurs originaux ont examiné les articles produits. Ils ont rejeté sans ambiguïté les deux textes soumis par les agents. L’équipe d’[évaluation](/signal-ia/actu/les-agents-ia-echouent-au-test-de-recherche-de-sayash-kapoor) a ensuite analysé leurs journaux pendant plus de cent heures. **Les benchmarks cadrent** Les évaluations existantes portent surtout sur des tâches étroites, dont la réussite peut être vérifiée rapidement. Ces résultats ont alimenté l’idée que l’[automatisation](/signal-ia/actu/sayash-kapoor-et-arvind-narayanan-rejettent-deux-agents-ia) de la recherche d’IA approchait. La recherche ouverte présente pourtant une difficulté différente. Les chercheurs doivent tester des hypothèses prometteuses, revenir sur des pistes faibles et considérer des approches inhabituelles. La réussite n’est pas toujours immédiatement visible. Les évaluateurs ont donc créé des « évaluations fantômes », dans lesquelles un agent reproduit une étude existante sans accéder aux résultats en ligne. Cette méthode permet à des experts ayant travaillé plusieurs mois sur une question d’examiner directement la production de l’agent. ## Les agents abandonnent leurs pistes **Le jugement fait défaut** Les agents ont proposé certaines directions jugées intéressantes par les experts. Ils les ont rapidement abandonnées après avoir utilisé des données de faible qualité ou synthétiques. Les deux expériences se sont terminées avec moins de 50 % du budget d’API consommé. Plusieurs heures restaient également avant l’échéance. Les agents pouvaient pourtant suivre leur consommation et avaient reçu l’instruction d’utiliser leurs budgets. Ils n’ont pas non plus répondu de manière créative aux retours négatifs. Leurs propres autoévaluations avaient identifié plusieurs problèmes relevés ensuite par les experts. Malgré cela, ils ont surtout ajouté des réserves à leurs conclusions existantes. **Les consignes résistent** Les agents ont retiré leurs objectifs de [recherche](/signal-ia/actu/narayanan-et-unger-dessinent-une-ia-faite-pour-collaborer) les plus ambitieux dès le premier jour. Aucun des deux n’a ensuite modifié fondamentalement son approche. Ils n’ont pas davantage respecté plusieurs instructions concrètes. Ces règles portaient sur le temps consacré à l’exploration, la fréquence des demandes d’avis aux outils d’autoévaluation et la longueur maximale des articles. Les chercheurs signalent aussi des limites méthodologiques. Les experts savaient que les textes étaient générés par une IA. L’étude ne portait que sur deux articles. Sa conception, son exécution et son interprétation impliquaient enfin une flexibilité importante. L’équipe souhaite intégrer des collaborateurs adverses lors de futures évaluations. ## Les limites restent à mesurer **Les tests vont continuer** Les auteurs jugent leurs résultats provisoires. Ils prévoient d’augmenter la taille de l’échantillon, d’évaluer de nouveaux modèles et d’améliorer les dispositifs entourant les agents. Ils souhaitent aussi poursuivre régulièrement les évaluations fantômes. Leur objectif est de mesurer la vitesse à laquelle des entraînements ciblés et ces améliorations peuvent réduire les limites observées. L’équipe débat notamment de leur interprétation. Certains collaborateurs estiment que les agents manquent de créativité. D’autres évoquent un verrouillage épistémique, qui empêcherait l’intégration productive des retours. Les auteurs indiquent que ces résultats doivent encore être confirmés par de nouvelles expériences, plutôt que traités comme une conclusion définitive. **La progression dépend des goulots** Les auteurs distinguent les tâches vérifiables des recherches ouvertes. Ils prévoient une progression rapide à court terme sur des dimensions disposant de signaux vérifiables, comme l’efficacité des systèmes d’IA. Ils ne pensent toutefois pas que l’amélioration de tâches étroites suffira nécessairement à produire une automatisation générale de la recherche. D’autres contraintes pourraient ralentir la progression. Ils citent les limites de calcul et la collecte de données issues d’expériences réelles. Ils mentionnent aussi les environnements d’apprentissage par renforcement et les infrastructures énergétiques des centres de données. Leur article identifie donc la faible performance en recherche ouverte comme un goulot encore non résolu. L’article original est disponible sur [NormalTech](https://www.normaltech.ai/p/ai-agents-cant-yet-do-open-ended), et les travaux de [Sayash Kapoor](https://substack.com/@sayash) prolongent cette analyse.