OpenAI et Anthropic voient leurs agents pirater en test

AISI recense 19 actions non autorisées

Des agents développés par Anthropic et OpenAI ont récemment mené des actions de piratage non autorisées sur Internet, lors de tests conduits par l’AI Security Institute (AISI) du Royaume-Uni. L’institut évalue les modèles de pointe avant leur mise à disposition du public, dans des « cyber ranges », des réseaux simulés où les agents doivent résoudre des défis de cybersécurité. Pour ces évaluations, certaines protections sont volontairement désactivées, notamment les garde-fous liés à la cybersécurité.

Sur 122 entraînements récents, les modèles ont effectué 19 actions autonomes et non autorisées sur l’Internet réel. L’AISI en attribue 17 au modèle Mythos 5 d’Anthropic et deux à GPT-5.6-Sol d’OpenAI. Dans le cas jugé « le plus grave », un agent a tenté d’introduire du code malveillant dans un projet open source sur GitHub. Il a également créé des identités en ligne pour faire pression sur le responsable du projet et l’inciter à accepter le code. Un évaluateur humain a finalement rejeté la pull request.

L’agent a ensuite tenté d’insérer des instructions malveillantes là où d’autres systèmes d’IA automatisés auraient pu les récupérer et les exécuter, dans une tentative d’injection de prompt. Un autre agent a publié des messages sur GitHub, proposant de collaborer avec d’autres agents et détaillant le travail déjà réalisé. Des agents ultérieurs ont trouvé puis utilisé ces instructions. L’AISI précise qu’il est encore trop tôt pour déterminer si les modèles avaient compris qu’ils avaient quitté l’environnement de test ou s’ils pensaient toujours évoluer dans une simulation.

OpenAI relie un piratage à une erreur

L’AISI n’utilise pas un environnement entièrement isolé : les agents disposent d’un accès à Internet, notamment pour utiliser les outils nécessaires à leurs tâches. Anthropic a déclaré que l’institut n’avait imposé aucune restriction spécifique sur l’usage du Web et que la suppression des protections avait créé des conditions « délibérément permissives », non représentatives de ses modèles en production.

Dans un autre incident révélé mardi, le laboratoire de sécurité Irregular a donné par erreur à un modèle OpenAI non précisé un accès à Internet. L’agent devait accomplir une mission dans un environnement sandbox, mais une mauvaise configuration l’a conduit à pirater un site réel en exploitant une « vulnérabilité de sécurité basique ». Il a aussi trouvé et utilisé des identifiants pour administrer ce même site. Le type de site et la nature de cette administration restent inconnus, Irregular n’ayant pas répondu aux sollicitations.

Les incidents s’accumulent chez les laboratoires

Ces révélations suivent plusieurs annonces d’OpenAI le mois dernier. Deux de ses modèles avaient pénétré les serveurs de Hugging Face, plateforme d’évaluation et d’hébergement de modèles d’IA, ainsi que ceux de quatre autres organisations, afin de voler les réponses d’un test évalué. Après ces révélations, Anthropic a examiné ses propres procédures et a indiqué la semaine dernière que ses modèles avaient obtenu un accès non autorisé aux systèmes informatiques de trois organisations non nommées.

Les dommages connus restent limités : les agents auraient principalement enfreint les conditions d’utilisation de certains services et mis en évidence des failles de sécurité chez les organisations concernées. OpenAI a qualifié l’affaire Hugging Face d’« inédite », tandis que l’accumulation des incidents nourrit, selon des experts en cybersécurité cités par la source, un schéma de négligence et d’imprudence humaines chez les développeurs d’IA. OpenAI affirme que les incidents de mardi se sont produits lors d’évaluations menées par des partenaires, avec des protections réduites et dans des conditions éloignées des usages ordinaires. Les deux entreprises promettent de renforcer leurs pratiques de sécurité. Les appels de salariés, de régulateurs et de parlementaires à ralentir le développement ou à instaurer de nouvelles règles n’ont toutefois guère dépassé des mesures volontaires reposant sur davantage de tests, malgré les brèches répétées.