YOLOv8 déjoue les CAPTCHA visuels sans toucher au DOM

Une étude récente décrit un système capable de résoudre des CAPTCHA visuels avec 85,4 % de réussite globale. L’évaluation porte sur 16 catégories. Sa précision moyenne par catégorie atteint 84,2 %. Le système associe un détecteur YOLOv8 ajusté et un modèle de vision-langage à poids ouverts. Un routeur fondé sur la confiance choisit le composant utilisé pour chaque défi. Le dispositif fonctionne uniquement à partir de captures d’écran et d’événements d’entrée du système d’exploitation. Il n’utilise ni automatisation du navigateur ni accès au DOM. La recherche est présentée dans un article publié sur arXiv, relayé le 19 octobre 2026 par Bruce Schneier.

Les approches actuelles présentent chacune une limite distincte face aux CAPTCHA visuels. Les modèles de vision-langage peuvent résoudre ces défis sans entraînement spécifique à la tâche. Toutefois, ces agents recommencent chaque problème depuis le début. La centième occurrence d’une énigme familière demande donc autant de temps et de calcul que la première. Les détecteurs spécialisés répondent en quelques millisecondes. Leur couverture reste limitée aux catégories utilisées pendant leur entraînement. Selon l’étude, aucune des deux approches ne progresse avec l’exposition. Le nouveau système cherche donc à conserver la rapidité du détecteur, tout en ajoutant une capacité d’apprentissage issue des réponses produites par le modèle de vision-langage.

Un solveur atteint 85,4 %

Le routeur combine les deux composants selon leur niveau de confiance. Le détecteur YOLOv8 fournit une réponse rapide pour les catégories qu’il reconnaît. Le modèle de vision-langage intervient lorsque cette réponse devient moins sûre. Chaque réponse produite par ce modèle sert ensuite d’étiquette d’entraînement au détecteur. Celui-ci peut ainsi intégrer des catégories absentes de son entraînement initial. L’étude indique que cette acquisition intervient généralement après une ou deux rencontres. Elle ne nécessite pas d’annotation humaine. Les auteurs testent aussi le fonctionnement du système depuis des captures d’écran et des événements d’entrée. Cette contrainte exclut l’accès direct à la structure interne des pages et au DOM.

Les perturbations testées peuvent ramener la précision du détecteur publié à 0 %. Le modèle de vision-langage reste toutefois insensible à ces modifications. Ses étiquettes permettent alors au détecteur de récupérer ses performances. L’étude simule ensuite une confrontation pendant un an. Dans ce scénario, l’opérateur du CAPTCHA reconçoit ses perturbations chaque mois. Le solveur récupère sa capacité à chaque nouvelle série de modifications. Un modèle enseignant à poids ouverts, précis à environ 70 %, renforce le système aussi efficacement qu’un oracle parfait. Ces résultats décrivent une adaptation continue entre un dispositif de défense et un solveur. Bruce Schneier présente cette dynamique dans son analyse publiée le 19 octobre 2026.

Le détecteur apprend avec l’usage

Cette boucle adaptative remet en cause une hypothèse des défenses visuelles. Un agent qui échoue aujourd’hui ne restera pas nécessairement inefficace après plusieurs utilisations. Le système étudié transforme les réponses du modèle de vision-langage en données d’entraînement pour son détecteur. Il peut donc récupérer après une attaque visant directement ce détecteur. L’étude mesure 85,4 % de précision globale et 84,2 % de précision moyenne sur 16 classes. Elle oppose également les résultats du système combiné à ceux de chacun de ses composants. La recherche décrit ainsi un mécanisme d’amélioration par exposition, plutôt qu’un solveur figé dans les catégories prévues lors de son entraînement.