Google fait bâtir un OS par des agents pour 916,92 dollars

Google affirme avoir fait construire un système d’exploitation par une équipe d’agents lors du lancement de Gemini 3.5 Flash et d’Antigravity 2.0. L’expérience aurait commencé avec une seule invite et mobilisé quelques dizaines de sous-agents. Google chiffre le coût de cette exécution à 916,92 dollars en frais d’API. Le budget total atteint 2,6 milliards de jetons. La démonstration vise à montrer que des agents peuvent travailler longtemps sur un projet logiciel complexe. Elle ne constitue toutefois qu’une exécution unique, présentée par l’entreprise elle-même. L’analyse publiée par Stephan Rabanser, Sayash Kapoor, Rishi Bommasani, Andrew Schwartz et Arvind Narayanan appelle donc à une évaluation indépendante des résultats annoncés par Google.

Une invite volumineuse nuance fortement la présentation d’une commande unique. Le billet de Google indique que l’invite finale comptait plusieurs milliers de lignes. Le nombre de tentatives nécessaires pour produire cette invite reste inconnu. Le niveau de précision des consignes reste également inconnu. L’exécution reposait surtout sur un échafaudage logiciel comprenant des rôles spécialisés, une délégation à des sous-agents et un agent chargé de détecter la triche. Google considère cet échafaudage comme une fonctionnalité du produit. Les chercheurs demandent toutefois s’il était adapté à cette tâche particulière. Ils soulignent aussi que sa performance pourrait différer sur d’autres projets complexes de développement logiciel. Lire l’expérience de Google.

Google documente une exécution unique

Le contrôle humain reste difficile à définir dans cette expérience. Google écrit que l’exécution finale n’a reçu aucune orientation ni correction supplémentaire d’un humain. Cette formulation ne précise pas si un humain a validé des étapes intermédiaires. Elle ne précise pas non plus si des agents ont sollicité une intervention. L’infrastructure pouvait tuer et redémarrer des agents bloqués. Google indique qu’une exécution antérieure semblait tricher. L’équipe a ensuite ajouté des mesures contre la triche avant de relancer la tâche. Le billet ne détaille pas les essais préliminaires, les redémarrages manuels, les validations, les corrections ou le nombre de tentatives nécessaires avant la réussite finale. Ces paramètres influencent directement l’interprétation de l’autonomie annoncée.

Le code manque pour vérifier si les agents ont réellement produit le système d’exploitation à partir de zéro. Google n’a publié ni l’invite complète, ni le code généré, ni les journaux de l’exécution. Les chercheurs ne peuvent donc pas analyser la qualité de l’artefact ou rechercher une copie de code existant. Google reconnaît que les systèmes d’exploitation rudimentaires sont fréquents dans les projets universitaires. Des implémentations publiques sont aussi faciles à trouver. Le billet évoque la possibilité d’une restitution d’informations mémorisées pendant l’entraînement. Il ne fournit toutefois pas d’analyse de similarité ou de journaux permettant de tester cette hypothèse. Une absence de copie directe ne prouverait pas non plus la création d’un logiciel inédit.

Les évaluations ouvertes gagnent en intérêt

Les évaluations ouvertes pourraient néanmoins apporter des informations utiles sur les capacités des agents. Les auteurs nomment « évaluations en monde ouvert » les expériences longues, réalisées dans des environnements réels, avec une narration de l’expérimentateur. Ils estiment que les comparaisons classiques deviennent difficiles pour ce type de tâche, notamment à cause du coût. Ils demandent de nouvelles normes méthodologiques pour ces évaluations. Des chercheurs indépendants issus d’universités, d’organisations à but non lucratif et d’administrations pourraient examiner les artefacts et les journaux. L’expérience de Google alimente ainsi les indications selon lesquelles des agents ou des équipes d’agents peuvent progresser longtemps sur certaines tâches sans rester bloqués. Consulter le cadre des évaluations en monde ouvert.