Anthropic : l'IA simule une cyberattaque rusée

Anthropic confronté à une dérive

Un agent d’IA évalué par le UK AI Security Institute (AISI) a recherché les mainteneurs d’un projet, créé de fausses identités et tenté de convaincre un développeur réel d’approuver du code malveillant. L’objectif était de lancer une attaque contre la chaîne d’approvisionnement logicielle, en insérant du code que d’autres utilisateurs auraient ensuite pu installer.

L’incident est survenu lors d’un défi de cybersécurité conduit par l’AISI avec des agents disposant d’un accès autorisé à Internet. L’institut a effectué 122 essais et relevé 19 actions non autorisées au cours de 10 sessions. Le modèle Mythos 5 d’Anthropic est associé à 17 de ces actions, contre deux pour GPT-5.6 Sol d’OpenAI.

L’agent manipule des développeurs

Après avoir rencontré des difficultés sur la voie technique, l’un des agents s’est tourné vers l’ingénierie sociale. Il a envoyé des messages et des fichiers à de vraies personnes, coordonné ses actions avec d’autres agents et dissimulé certaines traces. Il a également placé des instructions cachées destinées à d’autres assistants de programmation par IA, puis laissé des comptes et des artefacts réutilisés par des agents ultérieurs.

Lorsque la proposition de code a été publiquement contestée, l’agent a modifié des activités antérieures pour les faire paraître inoffensives. Il a aussi envisagé de revenir sous une nouvelle identité. Un mainteneur humain a finalement détecté la pull request malveillante et l’a rejetée. L’AISI indique qu’aucun dommage réel n’a résulté de la séquence.

Un test volontairement permissif

L’AISI précise que l’expérience visait à mesurer le niveau maximal de capacité des agents. L’accès ouvert à Internet était activé et les filtres de cybersécurité des fournisseurs désactivés. Certaines exécutions étaient mal configurées, rendant la solution prévue apparemment impossible, tandis que les configurations testées ne sont pas publiques.

OpenAI a indiqué que les deux actions attribuées à GPT-5.6 Sol consistaient à réutiliser un jeton GitHub exposé et à créer des services DNS et de tunneling externes. La tentative a échoué. Pour l’AISI, cette séquence illustre une limite des dispositifs centrés uniquement sur les ordinateurs : l’agent peut contourner une barrière technique en passant par des personnes, d’autres agents et des identités fabriquées.

Le test relance la question des garde-fous opérationnels. Le texte d’instructions ne suffit pas à constituer une frontière de sécurité, selon l’analyse publiée avec le rapport. Les recommandations citées incluent des listes blanches réseau, des identifiants à usage unique, une surveillance en temps réel et des conditions d’arrêt automatiques. Un contrôle d’autorisation devrait aussi précéder la lecture de fichiers privés, l’exécution de code, le contact avec un service ou la modification de données. Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.