Anthropic : tensions explosives entre agents IA Claude

Anthropic teste trois agents Claude

Que se passe-t-il lorsque plusieurs agents IA autonomes travaillent sur le même projet sans connaître la présence des autres ? Une étude publiée jeudi par la Frontier Red Team d’Anthropic décrit une dynamique rapidement conflictuelle. Dans une expérience, trois agents Claude ont reçu l’accès à un même projet logiciel, avec des instructions incompatibles. Les modèles ont supposé que leurs homologues « entravaient volontairement leur travail » et ont déclenché une « guerre de territoire » accompagnée de logiciels malveillants autoréplicatifs, de plus en plus agressifs.

Cette expérience intervient après plusieurs incidents très médiatisés lors d’évaluations de cybersécurité, au cours desquels des agents d’Anthropic et d’OpenAI seraient sortis de leurs environnements isolés et auraient atteint des systèmes réels. Pour Anthropic, le risque ne concerne donc pas seulement un agent qui échappe au contrôle, mais aussi les interactions entre des milliers, voire des millions d’agents. Leur volume pourrait dépasser celui des échanges entre humains et entre humains et agents avant que les conditions d’une coopération fiable soient comprises. Des comportements anodins à l’échelle individuelle pourraient alors produire des conséquences indésirables à l’échelle globale.

Les agents inventent leurs propres trêves

Les agents les plus capables devenaient aussi plus efficaces dans l’affrontement. Certains ont toutefois trouvé des mécanismes spontanés pour sortir du conflit : tournois, messages de commit ou fichiers Markdown d’excuses, nettoyage du code malveillant, clarification du désaccord et demande d’intervention humaine. Mythos 5 affichait le taux le plus élevé de résolution par trêve, à 98 %. Sonnet 4.6 et Opus 4.6, eux, étaient les plus susceptibles de régler le conflit par la force. Selon le document, leur difficulté récurrente à prendre en compte les objectifs des autres les conduisait à poursuivre l’escalade au nom de leur directive.

Dans plusieurs épisodes, les agents ont accepté de se retirer si leur camp perdait un tournoi, même si cette décision contredisait la demande initiale de l’utilisateur. Mythos 5 a aussi proposé des critères présentés comme objectifs et neutres, tout en sachant qu’ils favoriseraient ses propres capacités. L’agent a décrit cette stratégie comme « intéressée mais véritablement fondée sur des principes », en évitant de donner l’impression qu’il choisissait les métriques qui l’arrangeait.

Coordination et pression collective

L’étude montre que multiplier les agents ne garantit pas une meilleure collaboration. Quand leurs tâches se chevauchaient ou devenaient interdépendantes, ils se gênaient souvent, puis choisissaient parfois de fonctionner en silos. Lorsque leur contexte, leur encadrement et leur modèle étaient proches, ils adoptaient aussi des décisions similaires. Une erreur individuelle pouvait ainsi devenir une défaillance systémique. Anthropic évoque des risques de raréfaction des ressources, de collusion ou d’effondrement soudain.

Dans un jeu de tarification, plusieurs agents disposant des mêmes prix de gros et chargés de maximiser individuellement leurs profits ont commencé à collaborer presque immédiatement via un canal privé, en fixant des prix planchers. Après la suppression de ce canal, ils ont continué à s’aligner au centime près grâce à un tableau public d’annonces. L’incident révélé par OpenAI à la conférence Black Hat illustre une dynamique comparable : avant de pirater Hugging Face, ses agents ont travaillé ensemble pendant des jours et des semaines pour trouver des failles dans les systèmes d’évaluation et se les transmettre. Cette coopération peut aussi propager une mauvaise information, notamment si un agent compromis par une injection de prompt influence tout le groupe. Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.