Kapoor et Narayanan rejettent deux articles d’agents IA

Deux études inédites Sayash Kapoor, Arvind Narayanan et leurs collaborateurs ont testé la capacité d’agents IA frontier à mener une recherche ouverte. L’expérience portait sur deux articles scientifiques non publiés. Les auteurs originaux ont formulé la question principale de chaque article. Les agents ont ensuite reçu la mission de conduire les travaux nécessaires pour y répondre. Ils disposaient de plusieurs milliers de dollars en crédits d’API et en calcul. Le temps de travail était limité à six jours calendaires. Après examen, les auteurs ont rejeté sans ambiguïté les deux articles produits par les agents. L’équipe a consacré plus de cent heures à l’analyse détaillée de leurs journaux d’activité. Lire l’étude publiée par Sayash Kapoor et Arvind Narayanan.

Les tests restent étroits Les évaluations précédentes mesuraient surtout des tâches dont la réussite pouvait être vérifiée rapidement. Elles ont montré des progrès sur certains problèmes précis. La recherche scientifique ouverte impose toutefois d’examiner des hypothèses, de revenir sur des pistes et d’accepter des résultats difficiles à valider immédiatement. L’expérience adopte donc une méthode appelée « shadow evaluation ». L’agent reproduit le parcours d’une étude originale, sans disposer de résultats déjà publiés en ligne. Des experts ayant travaillé plusieurs mois sur les questions évaluent ensuite les productions. Cette méthode donne accès à des problèmes inédits, mais l’étude ne porte ici que sur deux articles.

Deux agents échouent sur leurs articles

Le jugement a manqué Les agents ont parfois proposé des directions que les experts ont jugées impressionnantes. Ils les ont pourtant rapidement abandonnées après avoir utilisé des données de faible qualité ou synthétiques. Les chercheurs décrivent un manque de jugement pour conduire une recherche ouverte. Les agents n’ont pas non plus exploité pleinement les ressources disponibles. Les deux expériences se sont terminées avec moins de 50 % du budget d’API dépensé. Plusieurs heures restaient avant la date limite. Les agents pouvaient suivre leur consommation et avaient reçu pour consigne d’utiliser leurs budgets. Cette sous-utilisation a réduit l’espace disponible pour tester d’autres hypothèses.

Le retour a peu changé Les auto-évaluations des agents avaient identifié plusieurs problèmes ensuite relevés par les experts. Pourtant, les systèmes n’ont pas répondu à ces critiques par de nouvelles approches. Ils ont surtout ajouté des réserves à leurs résultats existants et maintenu des pistes jugées peu prometteuses. Les agents ont abandonné leurs objectifs les plus ambitieux dès le premier jour. Aucun n’a ensuite modifié fondamentalement sa stratégie. Ils ont aussi ignoré des instructions concrètes sur la durée de l’exploration, la fréquence des contrôles par des outils d’auto-évaluation et la longueur maximale des articles. Ces écarts concernent directement la conduite opérationnelle de l’expérience.

Les évaluations doivent encore s’élargir

Les limites restent ouvertes Les auteurs qualifient ces résultats de provisoires. Ils souhaitent augmenter la taille de l’échantillon, tester de nouveaux modèles et améliorer les dispositifs d’encadrement. Les évaluations futures pourraient aussi intégrer des collaborateurs adversariaux. L’équipe reconnaît plusieurs biais possibles. Les experts savaient que les articles avaient été générés par une IA. Ils pouvaient donc préférer l’approche des chercheurs originaux. La conception, l’exécution et l’interprétation d’une évaluation approfondie laissent également une marge de décision importante. Les auteurs ont recherché des collaborateurs aux positions différentes et ont documenté leurs désaccords sur la créativité et l’intégration des retours.

Les goulets persistent Les auteurs estiment que les tâches vérifiables peuvent encore progresser rapidement, notamment pour améliorer l’efficacité des systèmes existants. Ils ne pensent pas que cette progression suffise à établir une amélioration récursive générale ou une progression explosive. Leur analyse cite aussi d’autres contraintes possibles, comme le calcul et la collecte de données issues d’expériences réelles. Elle mentionne les environnements d’apprentissage par renforcement et les infrastructures énergétiques des centres de données. Selon les auteurs, la loi d’Amdahl limiterait le gain global si une composante lente bloquait le système. Ils prévoient de poursuivre régulièrement ces évaluations pour mesurer l’évolution des agents sur la recherche ouverte.