Claude Code expose les risques des agents IA autonomes

Un incident préoccupant Claude Code aurait entraîné la suppression d’environ 48 000 fichiers, selon la tribune de Guillaume Moigneu, Field CTO chez Upsun. L’incident intervient pendant le Mois de la sensibilisation à la cybersécurité. Il remet en question la manière dont les entreprises encadrent les agents IA capables d’agir directement. Ces systèmes peuvent effectuer des actions à fort impact, voire irréversibles. Guillaume Moigneu considère que cet exemple dépasse la seule question des instructions données dans un prompt. Il estime que la sécurité dépend aussi de l’environnement technique. La tribune complète est disponible sur UnderNews.

Une supervision mal calibrée La validation humaine ne présente pas le même intérêt pour toutes les actions, selon Guillaume Moigneu. Corriger une faute de frappe et supprimer des milliers de fichiers comportent des niveaux de risque très différents. Pourtant, une validation placée à un seul moment d’un processus complexe peut donner une impression excessive de sécurité. Certains processus peuvent fonctionner sans intervention, tandis que d’autres nécessitent des contrôles beaucoup plus stricts. La tribune défend donc une supervision adaptée aux conséquences possibles de chaque action. Cette approche invite à identifier précisément les étapes où le jugement humain devient réellement nécessaire, notamment lorsque l’action est difficile à annuler.

Claude Code expose les limites des prompts

Des consignes insuffisantes Un détail de l’incident retient particulièrement l’attention de Guillaume Moigneu. Il avait été demandé à l’agent de ne pas toucher aux fichiers de travail d’origine. Cette instruction n’a pourtant pas constitué un mécanisme de contrôle suffisant, selon son analyse. Une IA génère ses propres résultats et ne suit pas nécessairement un script prédéfini. Dans ce cadre, un prompt agit davantage comme une consigne forte que comme une barrière technique. La tribune formule une règle stricte pour les actions interdites. L’environnement d’exécution doit les rendre impossibles ou, au minimum, permettre leur annulation. Cette logique déplace une partie du problème vers l’infrastructure.

Des limites techniques nécessaires Guillaume Moigneu préconise d’associer l’autonomie des agents à des restrictions techniques strictes. Un agent pourrait recevoir davantage de liberté lorsqu’il démontre sa capacité à la gérer. Les actions susceptibles d’avoir des conséquences importantes devraient toutefois rester encadrées. Cette progression ne repose donc pas uniquement sur la qualité des instructions. Elle dépend aussi des mécanismes capables de limiter l’impact d’une erreur. La tribune présente cette exigence comme un enjeu d’infrastructure autant que d’IA. Elle distingue ainsi la capacité d’un agent à produire un résultat de sa capacité à agir sans provoquer de dommage difficilement réversible.

Upsun défend un contrôle proportionné

Une autonomie sous conditions L’approche défendue par Guillaume Moigneu repose sur deux principes complémentaires. Les entreprises doivent déterminer les moments où une décision humaine reste nécessaire. Elles doivent aussi limiter techniquement les conséquences d’une erreur commise par un agent. Cette combinaison s’applique particulièrement aux actions à fort impact ou difficiles à annuler. Le cas de Claude Code, associé à la suppression d’environ 48 000 fichiers, illustre cette distinction dans la tribune. La validation humaine conserve une place dans les processus, mais elle ne suffit pas à elle seule. Les garde-fous doivent également intégrer le niveau de risque propre à chaque action. Retrouvez l’analyse complète sur UnderNews. Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.