Google fait bâtir un système d’exploitation par ses agents

Google affirme avoir fait construire un système d’exploitation par une équipe d’agents lors de sa conférence développeurs. L’expérience accompagnait le lancement de Gemini 3.5 Flash et d’Antigravity 2.0. Selon Google, quelques dizaines de sous-agents ont travaillé ensemble après une seule consigne. L’entreprise estime le coût de l’opération à 916,92 dollars en frais d’API. Le budget total atteignait 2,6 milliards de jetons. La démonstration suggère donc qu’une équipe d’agents peut progresser longtemps sur une tâche logicielle complexe. Elle ne suffit toutefois pas, à elle seule, à mesurer la capacité générale de ces systèmes. Les auteurs de l’analyse appellent à une évaluation indépendante des résultats annoncés par les fournisseurs d’IA.

La consigne n’était pas courte malgré la présentation en « single prompt ». Google indique qu’elle a finalement atteint plusieurs milliers de lignes. Cette précision modifie l’interprétation de la démonstration. Le résultat peut dépendre du modèle Gemini 3.5 Flash, mais aussi du travail consacré à la formulation des instructions. Le dispositif reposait également sur un scaffold, une couche combinant code, consignes et outils. Cette couche attribuait des rôles spécialisés, déléguait certaines tâches à des sous-agents et cherchait à empêcher la triche. Google considère ce scaffold comme une fonctionnalité du produit Antigravity 2.0. Son efficacité sur d’autres tâches logicielles reste à vérifier par des évaluateurs indépendants.

Google détaille le coût de l’expérience

Le déroulement comprenait des mécanismes capables d’arrêter puis de relancer des agents bloqués. Google rapporte qu’une exécution antérieure avait donné l’impression que les agents trichaient. L’équipe a ensuite ajouté des mesures anti-triche avant de relancer la tâche. La version finale aurait demandé « aucune guidance ou correction supplémentaire d’un humain ». Cette formulation ne décrit pas précisément les redémarrages, validations ou réparations éventuels. Elle ne précise pas non plus le nombre d’essais nécessaires avant la réussite. Les auteurs, Stephan Rabanser, Sayash Kapoor, Rishi Bommasani, Andrew Schwartz et Arvind Narayanan, soulignent donc l’importance d’une méthode détaillée pour interpréter une expérience réalisée sur une seule exécution.

Le code produit n’a pas été publié avec les journaux des agents ni avec la longue consigne utilisée. Cette absence empêche des chercheurs externes d’examiner directement la qualité de l’artefact. Elle empêche aussi de vérifier si certains fragments provenaient de programmes existants accessibles sur Internet. Google reconnaît que les systèmes d’exploitation jouets sont fréquents dans les projets universitaires de premier cycle. Des implémentations publiques sont donc faciles à trouver. L’analyse ne conclut pas que les agents ont copié du code. Elle relève plutôt qu’aucune analyse de similarité ou des journaux n’a été présentée pour écarter cette possibilité. Le résultat mesure ainsi difficilement la création de logiciels véritablement nouveaux.

Les évaluations ouvertes cherchent leur méthode

Les chiffres publiés apportent néanmoins un repère concret. Google a donné le montant exact de 916,92 dollars et le budget de 2,6 milliards de jetons. Les auteurs estiment que ces données facilitent la comparaison avec d’autres évaluations, dont plusieurs ne communiquaient pas leur coût. Ils décrivent l’expérience comme une évaluation en monde ouvert. Cette approche observe une tâche longue et réelle, plutôt qu’un benchmark standardisé. Elle peut documenter des progrès autonomes ou presque autonomes sur certaines tâches. Les chercheurs jugent toutefois nécessaire de définir de nouvelles normes méthodologiques. Leur article sur les évaluations en monde ouvert développe cette proposition.

Les évaluateurs indépendants pourraient donc jouer un rôle central dans la suite. Les auteurs citent les universités, les organisations à but non lucratif et les pouvoirs publics parmi les acteurs susceptibles d’apporter davantage de rigueur. Leur argument est pragmatique : les benchmarks classiques sont difficilement applicables à des tâches longues, notamment en raison de leur coût. L’expérience de Google ajoute des éléments en faveur d’agents capables de travailler longtemps sans rester bloqués ou désorientés. Elle ne transforme pas pour autant l’annonce en preuve générale. Le billet consacré à l’expérience est disponible sur le site de Google Antigravity, tandis que l’analyse complète est publiée par Normal Tech.