Claude exécute les attaques, l’humain garde la main

Anthropic a publié plus tôt en septembre un long rapport consacré aux usages malveillants détectés de Claude. Daniel Meissler en a résumé le contenu en 117 constats. Le document décrit des agents d’IA impliqués dans la reconnaissance, l’exploitation, le vol de données, la production de propagande, la surveillance et la recherche. Les humains conservaient toutefois plusieurs fonctions centrales. Ils sélectionnaient les cibles, fixaient les objectifs et examinaient les résultats importants. Cette répartition distingue l’automatisation de certaines opérations des décisions stratégiques. Le rapport présente ainsi des chaînes d’activité où Claude intervient dans plusieurs étapes, sans attribuer systématiquement aux agents la responsabilité complète des opérations décrites. Lire le rapport d’Anthropic.

Les attaques industrialisent le vol d’identifiants, la compromission de services cloud, l’hameçonnage et la recherche de vulnérabilités. Le rapport décrit aussi l’extraction de données sensibles appartenant à des organisations situées en aval. Ces usages associent donc des tâches techniques, comme la recherche de failles, à des objectifs de collecte. Les agents ont également été employés dans des workflows de reconnaissance et d’exploitation. Les humains continuaient de choisir les cibles et de définir les buts opérationnels. Daniel Meissler a regroupé ces éléments dans une synthèse de 117 constats. Cette synthèse facilite la lecture des catégories recensées, tout en conservant la distinction entre assistance automatisée et décision humaine. Voir la synthèse de Daniel Meissler.

Les opérations d’influence multiplient les formats

Les opérations d’influence ont utilisé une mémoire persistante pour les agents, des sites d’information fictifs et des journalistes fabriqués. Elles ont aussi mobilisé des personas synthétiques, du profilage politique et des contenus multilingues produits à grande échelle. Le rapport associe ces techniques à des opérations visant la production et la diffusion de propagande. Le volume élevé de contenus n’a toutefois souvent généré que peu d’engagement véritable. Ce constat décrit une limite observée dans les cas recensés. Il ne transforme pas la quantité produite en audience réelle. Les dispositifs combinaient plusieurs identités artificielles et plusieurs canaux, avec une continuité permise par la mémoire persistante des agents.

La surveillance combine plusieurs capacités techniques dans les cas décrits par Anthropic. Les systèmes ont produit des dossiers automatisés et analysé des données biométriques ou des communications. Certaines opérations concernaient le ciblage transnational et le recrutement coercitif. Le rapport décrit également des systèmes qui ont continué à fonctionner localement après la révocation de l’accès au modèle. Cette continuité distingue l’accès au service de l’exécution locale d’un système. Elle concerne des workflows de surveillance et de répression recensés dans le document. Les exemples réunissent donc collecte, analyse et ciblage, avec des agents intervenant dans plusieurs étapes des opérations décrites.

Les usages biologiques restent à double usage

Les cas biologiques et militaires illustrent un risque de double usage. L’IA a soutenu des travaux scientifiques avancés ainsi que des activités militaires avancées. Le rapport ne permet généralement pas d’établir la fabrication d’armes biologiques achevées. Il ne permet pas non plus d’établir un déploiement opérationnel sur un champ de bataille. Cette distinction limite la portée des conclusions présentées. Les capacités décrites peuvent intervenir dans des recherches ou des activités militaires sans constituer, à elles seules, la preuve d’une arme achevée ou d’une opération militaire déployée. Anthropic regroupe ces cas avec les autres usages observés de Claude dans son rapport publié en septembre.