Princeton freine l’auto-amélioration récursive de l’IA

Une étude de Princeton suggère que l’auto-amélioration récursive de l’IA pourrait prendre plus de temps que prévu. Une équipe menée par Peter Kirgis et Sayash Kapoor a évalué les capacités d’agents sur de la recherche ouverte. Cette recherche exige de formuler des hypothèses, de choisir les bonnes preuves et de savoir abandonner une piste. Les agents ont résolu les problèmes techniques nécessaires. Ils n’ont toutefois pas produit de contribution originale au niveau d’une grande conférence d’apprentissage automatique. Les auteurs présentent ces résultats comme un signal de prudence face aux calendriers optimistes. L’étude complète est décrite dans Technology Review.

Le test change de cible. Les évaluations habituelles mesurent des tâches étroites, avec des réponses vérifiables. Elles incluent la résolution de problèmes d’ingénierie ou l’entraînement complémentaire de petits modèles. L’équipe de Princeton a proposé une méthode appelée « shadow evaluation ». Elle demande à un agent de répondre à une question issue d’un article inédit de qualité. Les chercheurs ont choisi deux articles soumis à NeurIPS 2026. Les agents ne pouvaient donc pas mémoriser leurs réponses ni les retrouver en ligne. Ce protocole teste davantage le jugement, la créativité et la capacité à orienter une investigation sans réponse prédéfinie. Il s’éloigne ainsi des seuls résultats mesurables automatiquement.

Claude Opus 4.8 échoue deux fois

Les moyens étaient substantiels. Les chercheurs ont utilisé Claude Opus 4.8 d’Anthropic, exécuté avec le logiciel à code ouvert OpenClaw. Chaque agent disposait de six jours, de 3 000 dollars de crédits d’API Anthropic, d’un budget de processeurs graphiques et d’ordinateurs virtuels. Le premier sujet portait sur le contrôle des personas d’un grand modèle par modification de ses poids. Le second concernait un détecteur de dégradation pour un modèle prédisant à partir de feuilles de calcul. Les agents ont consulté la littérature, mené des centaines d’expériences et compilé leurs résultats. Les auteurs humains ont pourtant rejeté les deux articles selon les critères d’une conférence.

Les erreurs relevaient du jugement. Les agents ont parfois testé leurs hypothèses sur de minuscules jeux de données synthétiques. Ils ont aussi retenu trop vite des approches peu prometteuses. Des hypothèses ambitieuses, proches de celles des auteurs humains, ont été abandonnées après des données limitées. Les agents n’ont pas réussi à revenir à zéro après un échec. Ils ont effectué de petits changements, sans revoir fondamentalement leur méthode. Les retours de sous-agents et d’outils de relecture n’ont pas produit de révision méthodologique. Les agents ont plutôt réduit leurs affirmations et ajouté des réserves. Ils ont également mal réparti les jetons, le calcul et le temps disponibles.

Les limites nuancent les prévisions

La formation explique peut-être l’écart. Sayash Kapoor estime que les modèles progressent surtout sur les tâches pouvant être contrôlées automatiquement par apprentissage par renforcement. Il juge plus difficile de créer des environnements d’entraînement pour une activité ouverte. Les agents n’ont pas pratiqué de dissimulation de données ou d’expériences, phénomène appelé « reward hacking ». Des sous-agents ont parfois halluciné ou déformé des résultats. L’agent orchestrateur les a toutefois détectés. L’équipe mène maintenant une expérience avec Mythos, le modèle le plus avancé d’Anthropic lancé en avril. Ce modèle est ensuite devenu accessible seulement à des organisations approuvées après des restrictions de sécurité demandées par l’administration Trump.

Les résultats restent circonscrits. L’étude ne porte que sur deux articles. Leurs auteurs savaient que les textes évalués provenaient d’agents, ce qui a pu influencer leurs jugements. Les chercheurs disposaient aussi d’une latitude importante pour concevoir et exécuter le protocole. Ces limites réduisent la portée des conclusions, sans annuler le résultat observé. Jack Clark, cofondateur d’Anthropic, a écrit dans Import AI que ces travaux rappellent une étude interne sur l’automatisation de la recherche en sécurité. Il décrit une créativité intuitive absente des systèmes actuels. Anthropic présente l’auto-amélioration comme une prochaine étape, tandis qu’OpenAI en fait un objectif explicite.