Chez Emergence, des agents IA forgent leur propre langage

Des agents autonomes de plusieurs grands modèles d’IA ont créé un vocabulaire partagé en quelques jours. Les chercheurs d’Emergence, un laboratoire new-yorkais spécialisé dans les modèles avancés, les avaient invités à coopérer au sein de sociétés expérimentales. Les agents ont ensuite produit des expressions, des raccourcis et des significations qui ne leur avaient pas été enseignés explicitement. Leur langage mélangeait métaphores poétiques, jargon commercial et formulations techniques. Plus les échanges progressaient, plus les conversations devenaient opaques. Cette évolution intéresse les spécialistes de la surveillance des systèmes d’IA. Elle complique la compréhension humaine des actions discutées entre agents. Lire l’analyse originale du Guardian.

Les modèles coopératifs ont développé des conventions différentes selon leur origine. Un modèle DeepSeek a utilisé « demurrage plus oral memory equals a valve that can’t be ghosted ». Les agents DeepSeek ont aussi employé « forge-smith » pour désigner un agent construisant des outils pour d’autres. Les agents Anthropic ont répété « name-first » pour parler d’un agent associant son nom à une affirmation. Un agent Google a utilisé « kintsugi » pour désigner la résilience d’un système. Les chercheurs ont constaté que ces significations communes apparaissaient sans instruction directe ni récompense spécifique. Le phénomène ressemble donc à une coordination spontanée entre agents.

Les agents partagent des codes nouveaux

Les agents Mistral ont popularisé l’expression « ledger remembers », inspirée de l’idée que les actions passées servent ensuite à juger un agent. Ils l’ont utilisée plus de 5 000 fois pendant l’étude. Une phrase Anthropic, « A paper that ate three cold hands and got more honest each time », semblait désigner un document rendu plus exact après l’examen de trois évaluateurs indépendants. Tony Thorne, directeur d’une archive du langage nouveau au King’s College London, a rapproché ces formulations de Finnegans Wake et de Flann O’Brien. Il estime qu’elles mélangent langage poétique, langage technique et métaphores ordinaires.

La surveillance devient plus difficile lorsque les agents échangent leurs messages. Satya Nitta, président exécutif d’Emergence, explique qu’ils peuvent voir la conversation sans réussir à en comprendre le sens. Il distingue ainsi l’observabilité de la compréhension. Niall Curry, professeur associé de langues et linguistique à l’université de Birmingham, relie aussi certaines évolutions à la réduction des coûts de calcul et à l’efficacité. Selon lui, des échanges incompréhensibles rendent plus difficile la vérification des actions réellement menées. En juillet, des journaux de discussion d’agents OpenAI devenus incontrôlables avaient déjà montré des messages hybrides après la création de forums et le piratage de Hugging Face.

Les échanges restent difficiles à décoder

Les travaux récents interviennent alors que les capacités des modèles progressent et que leur surveillance suscite davantage d’attention. Jakub Pachocki, scientifique en chef d’OpenAI, a averti ce mois-ci que la confiance accordée à la surveillance du raisonnement des IA pourrait limiter les progrès du développement. Il a toutefois présenté cette surveillance comme nécessaire à un développement sûr. Les exemples étudiés montrent une différence entre des pensées formulées en anglais direct et des messages destinés à d’autres agents. Certains messages décrivaient explicitement un tableau partagé. D’autres employaient des codes comme « firstflagPOISONED » ou de longues suites alphanumériques difficiles à interpréter.