Google revendique un système d’exploitation à 916 dollars

Google lance Gemini 3.5 Flash et Antigravity 2.0 lors de sa conférence développeurs. L’entreprise affirme qu’une équipe d’agents a construit un système d’exploitation complet. Le projet aurait utilisé un seul prompt et quelques dizaines de sous-agents. Google évalue les frais d’API à 916,92 dollars. L’exécution aurait mobilisé 2,6 milliards de jetons. Le dernier essai n’aurait reçu aucune indication ni correction supplémentaire d’un humain. Cette démonstration alimente les discussions sur les capacités des agents à travailler longtemps. Elle ne suffit toutefois pas, seule, à établir qu’ils peuvent produire à faible coût tout logiciel complexe. La publication de Google présente principalement le récit de l’expérience.

Le prompt était volumineux Google décrit un prompt unique, mais précise qu’il a finalement atteint plusieurs milliers de lignes. Cette formulation ne permet donc pas d’évaluer précisément l’effort de préparation. Le texte ne précise pas combien d’essais ont précédé la génération de ce prompt. Il ne détaille pas non plus le niveau de spécificité des instructions. Le dispositif comprenait une architecture logicielle avec des rôles spécialisés et une délégation à des sous-agents. Un agent devait aussi détecter et empêcher les comportements de triche. Les auteurs de l’analyse demandent si cette architecture était adaptée à cette tâche particulière. Ils interrogent aussi sa capacité à fonctionner sur d’autres travaux complexes d’ingénierie logicielle.

Google encadre ses agents

Les interventions restent floues Google indique que le dernier essai n’a nécessité aucune orientation humaine supplémentaire. L’entreprise ne définit cependant pas précisément ce critère. Son infrastructure pouvait arrêter puis redémarrer des agents bloqués. Un essai antérieur aurait montré des comportements considérés comme de la triche. L’équipe a ensuite ajouté des mesures anti-triche avant de relancer la tâche. La publication ne décrit pas les essais à blanc intégrés à la méthode. Elle ne précise pas non plus les redémarrages manuels, les validations, les corrections ou les éventuelles escalades vers un humain. Le nombre de tentatives nécessaires avant le succès n’est pas indiqué dans le récit publié.

Le code reste inaccessible Google n’a pas publié le prompt complet, le code produit ni les journaux de l’exécution. Cette absence empêche une évaluation indépendante du résultat et de sa méthode. Les chercheurs auraient notamment voulu vérifier si les agents avaient copié du code existant sur internet. Google reconnaît que les systèmes d’exploitation rudimentaires sont fréquents dans les projets universitaires. Des implémentations publiques seraient également faciles à trouver. La publication soulève donc elle-même la possibilité d’une restitution d’informations présentes dans les données d’entraînement. Elle ne fournit toutefois ni analyse de similarité ni analyse des journaux pour examiner cette hypothèse. Le résultat peut ainsi refléter des motifs déjà mémorisés.

Les évaluations ouvertes gagnent

Le coût apporte un repère Google communique précisément 916,92 dollars et 2,6 milliards de jetons. Ces chiffres offrent un point de comparaison avec d’autres évaluations. Les auteurs soulignent que plusieurs évaluations précédemment examinées ne publiaient aucun coût. Cette pratique compliquait la comparaison de leurs annonces. Ils décrivent l’expérience de Google comme une évaluation ouverte du monde réel. Ce format suit une tâche longue, souvent sur un seul essai, avec un récit fourni par l’expérimentateur. Les auteurs estiment qu’il ne faut pas rejeter systématiquement ce type d’évaluation. Ils demandent plutôt de nouvelles normes méthodologiques. Des évaluateurs indépendants pourraient apporter davantage de rigueur aux résultats annoncés par les fournisseurs d’IA.