AWS teste 12 modèles pour traquer leurs faux positifs

AWS a testé 12 modèles. Le 14 septembre 2026, AWS a publié son Deception Benchmark pour évaluer la détection des vulnérabilités par des modèles d’IA. Le jeu contient 14 822 échantillons répartis entre 16 langages de programmation et plus de 70 catégories CWE. AWS a évalué 12 modèles provenant de cinq fournisseurs. L’objectif consiste à distinguer une vulnérabilité réelle d’un code sûr qui présente pourtant un motif dangereux. Le benchmark mesure donc les faux positifs, plutôt que la seule capacité à repérer des failles. Les équipes de sécurité utilisent déjà l’IA pour le triage, les tests d’intrusion, la modélisation des menaces, la réponse aux incidents et la revue de code.

Le benchmark cible les faux positifs. AWS distingue son approche de CyberGym, Meta CyberSecEval, CYBENCH et ExploitGym. Ces benchmarks couvrent respectivement des tâches réalistes, la génération d’exploits, les défis de type capture du drapeau ou le passage d’une faille à un exploit fonctionnel. Le Deception Benchmark pose une question différente. Un modèle peut-il déterminer si un code apparemment vulnérable est effectivement exploitable ? Un contrôle externe peut bloquer l’exploitation d’un motif dangereux. Le modèle doit alors comprendre le code et les protections qui l’entourent. AWS indique que les faux positifs peuvent accroître le travail, alimenter la fatigue liée aux alertes et réduire la confiance dans les résultats légitimes.

AWS construit des échantillons trompeurs

Les exemples combinent code et protections. AWS a conçu des échantillons sûrs contenant de vrais motifs de vulnérabilité, associés à des protections empêchant leur exploitation. Les modèles doivent classer chaque échantillon comme vulnérable ou sûr, sans indice. Les chercheurs ont généré les exemples, les ont testés sur des modèles de pointe, puis les ont durcis lorsque les classifications devenaient trop faciles. Les échantillons facilement classifiables ont été retirés. Sur les 14 822 exemples, 9 695 sont notés. Ils comprennent 6 988 défis au niveau du code et 2 707 défis dépendant de l’environnement. AWS estime que la génération et l’affinement ont consommé des dizaines de milliards de jetons.

Kubernetes modifie parfois le verdict. Les défis au niveau du code proposent des versions vulnérables et sûres séparées par une petite modification. Les deux versions peuvent sembler dangereuses, mais une seule reste exploitable. Les défis dépendant de l’environnement testent un même code selon plusieurs conditions de déploiement. AWS cite le cas d’une règle Kubernetes Network Policy pouvant bloquer une attaque SSRF apparemment possible à partir du code seul. Les échantillons sont publics, mais AWS conserve leurs étiquettes. Le jeu contient aussi 5 127 exemples non notés, mélangés aux autres. Les participants transmettent leurs prédictions à AWS pour obtenir un score vérifié, ce qui limite l’optimisation ciblée.

Les modèles manquent de précision

Les faux positifs atteignent 99 %. Le benchmark est approximativement équilibré entre échantillons vulnérables et sûrs, ce qui donne environ 50 % à une sélection aléatoire. AWS fixe à moins de 10 % le seuil minimal de faux positifs et de faux négatifs pour un usage en production. Aucune configuration testée n’atteint simultanément ces deux seuils. Avec une requête directe, les modèles détectent généralement presque toutes les vulnérabilités réelles. En revanche, ils signalent à tort entre 41 % et 99 % du code sûr. La précision se situe entre 52 % et 71 %. Les modèles rencontrent davantage de difficultés lorsque des contrôles externes rendent un code suspect inexploitable.

La vérification réduit les alertes. Demander aux modèles de prouver qu’une vulnérabilité peut être exploitée réduit les faux positifs de 17 à 74 points de pourcentage. Cette consigne augmente toutefois les vulnérabilités manquées. Les taux de faux négatifs s’étendent alors de 7 % à 44 %. AWS évalue des modèles généralistes avec des requêtes en un seul échange. L’évaluation n’utilise pas des systèmes de sécurité spécialisés, des outils ou des validations multiples. AWS précise donc que les résultats ne mesurent pas directement l’exhaustivité des produits de sécurité. La société publie sa présentation du benchmark et son document méthodologique.