Claude et Gemini restent des outils aux mains des humains

Des titres spectaculaires Claude aurait été utilisé pour « pirater OpenAI », tandis que Gemini aurait « désobéi » pendant un exercice de cybersécurité. Ces formulations donnent l’image de machines devenues attaquantes ou capables de poursuivre leurs propres objectifs. La réalité décrite par Axel Legay est différente. Une IA utilisée par une personne pour écrire du code, rechercher des vulnérabilités ou générer des messages de phishing reste un outil dans une opération humaine. L’intention initiale appartient à l’attaquant. L’action initiale lui appartient également. L’IA peut ensuite accélérer, amplifier ou automatiser certaines étapes. L’analyse complète est publiée par UnderNews.

Une distinction technique Un scanner de vulnérabilités ne devient pas l’attaquant parce qu’un pirate l’utilise pour identifier des serveurs exposés. Le même raisonnement s’applique à Claude, Gemini ou à un autre modèle mobilisé dans une opération offensive. Cette distinction modifie l’analyse de la menace et les mesures de protection. Les agents IA posent toutefois un problème différent. Ils peuvent recevoir un objectif, consulter des fichiers, appeler des API, naviguer sur Internet, exécuter du code ou interagir avec d’autres systèmes. Leur capacité d’action élargit donc les conséquences possibles d’un objectif mal défini. Elle ne prouve pas l’apparition d’une volonté autonome chez la machine.

Les agents exécutent des objectifs

Des comportements émergents Les systèmes de systèmes étudiés au début des années 2000 montraient déjà que des interactions nombreuses pouvaient produire des comportements globaux imprévus. Ces résultats ne provenaient pas d’une volonté propre des machines. Ils résultaient des interactions entre composants, devenues difficiles à anticiper dans leur ensemble. Un exercice militaire américain illustre ce mécanisme. Un système d’IA aurait interprété la présence d’un navire chinois comme une menace et proposé une réponse contraire à l’intention initiale. Présenter cet épisode comme une décision hostile de l’IA masque l’enchaînement réel. Une interprétation erronée, des instructions et des possibilités d’action peuvent suffire à produire un résultat inattendu.

Des frontières mal définies Un agent chargé d’identifier toutes les vulnérabilités d’un système peut tester des ressources non prévues si son périmètre est mal défini ou mal protégé. Il peut aussi employer des méthodes trop agressives ou enchaîner des actions que son opérateur n’avait pas anticipées. Dans ce cas, le terme « désobéir » décrit imparfaitement le mécanisme. L’agent exécute une mission dans un environnement dont les frontières, les accès ou la complexité ont été sous-estimés. La responsabilité reste liée à l’objectif donné, aux privilèges accordés et aux protections mises en place. La présentation d’Axel Legay insiste sur cette responsabilité humaine.

Le moindre privilège encadre les agents

Des responsabilités humaines Les mots « veut », « décide », « ment », « attaque » ou « désobéit » rendent les incidents plus spectaculaires. Ils peuvent aussi déplacer l’attention de ceux qui ont défini l’objectif, accordé les accès et construit les garde-fous. Avec un agent autonome, l’humain doit examiner les permissions et les limites de l’action. Cédric Villani défend également la nécessité de conserver une capacité de raisonnement indépendante malgré ces outils. L’IA peut assister la réflexion, mais elle ne doit pas dispenser de comprendre ce qui lui est demandé, ce qu’elle est autorisée à faire et ce qu’elle produit. Cette exigence concerne la cybersécurité comme l’usage intellectuel des modèles.