Unit 42 sonde les neurones qui font refuser Qwen3

Unit 42 présente le probing par perturbation, une méthode destinée à diagnostiquer la fragilité des mécanismes de sécurité des grands modèles de langage. La technique utilise deux passes avant par requête. Elle identifie les neurones feed-forward responsables causalement d’un comportement ciblé, comme le refus de demandes nuisibles. Les chercheurs l’ont testée sur des modèles ouverts, dont Qwen3-4B et Qwen3.5-2B. Cette approche complète leurs travaux antérieurs sur le pilotage par écart de logits. Cette première recherche étudiait le contournement des garde-fous. Le nouveau travail cherche plutôt à localiser la défense apprise dans le réseau. L’objectif consiste à mesurer sa concentration et sa robustesse avant un déploiement.

L’alignement concentre une partie du comportement de refus dans une fraction très réduite du réseau de Qwen3-4B. Le modèle compte 350 208 neurones feed-forward. Les chercheurs ont identifié 50 neurones associés au modèle de réponse sécurisée. Cette sélection représente environ 0,014 % des neurones concernés. Leur retrait modifie le format des réponses dans 80 % des 520 tests nuisibles standardisés. Le résultat a également été reproduit sur 200 requêtes d’un second test standard. Sur Qwen3.5-2B, 20 neurones ont supprimé les accords erronés avec les utilisateurs dans 30 questions multi-tours. Le taux observé est passé de 36,7 % à 0 %.

Unit 42 mesure la fragilité interne

Le ratio FFN/Skip fournit un indicateur synthétique de cette fragilité. Il mesure la place d’un chemin interne étroit dans les décisions du modèle. Son calcul prend quelques secondes par modèle, selon Unit 42. Les chercheurs l’ont évalué sur 13 modèles. Le ratio explique 81 % de la variance observée dans la vulnérabilité des comportements de sécurité à une petite modification ciblée. Unit 42 le présente donc comme un candidat pour un score quantitatif de fragilité. Les équipes de sécurité pourraient comparer la robustesse d’alignement de plusieurs modèles avant d’organiser des campagnes de tests adverses. Ce résultat reste une observation expérimentale sur les modèles évalués.

Le diagnostic sert aussi à renforcer certains comportements sans nouvel entraînement. Sur un petit modèle, l’amplification de 10 neurones identifiés a fait progresser l’auto-correction factuelle de 52 % à 88 %. Cette mesure repose sur 200 requêtes TruthfulQA. Unit 42 présente ainsi le même outillage comme un moyen d’exposer une faiblesse et de tester une correction. L’entreprise recommande d’intégrer ces diagnostics aux chaînes d’évaluation. Elle invite également les chercheurs à consulter l’article complet publié sur arXiv. Les expériences ont utilisé des modèles ouverts disponibles publiquement, dans le cadre d’évaluations locales de sécurité et de mécanismes internes.

Les garde-fous externes restent nécessaires

Unit 42 recommande une défense en profondeur pour les organisations qui déploient des LLM. L’entreprise estime qu’une couche interne étroite ne doit pas constituer l’unique protection. Elle cite l’ajout de filtres de contenu externes et de garde-fous d’exécution. Palo Alto Networks propose notamment Prisma AIRS Runtime Security pour ces contrôles externes et intégrés. Unit 42 mentionne aussi son AI Security Assessment, destiné à identifier les risques de gouvernance et d’exposition liés à l’adoption de l’IA. Le diagnostic par perturbation vise donc une mesure préalable, tandis que ces protections ajoutent des contrôles pendant l’utilisation.

L’étude exclut la publication de générations nuisibles, d’artefacts d’attaque exécutables, de requêtes de contournement et d’instructions facilitant un abus. Unit 42 décrit ses résultats comme des taux agrégés, des mesures internes et des résumés non opérationnels. Pour les modèles soumis à des règles d’utilisation, les expériences sont présentées comme des évaluations défensives de sécurité et de robustesse. Le travail propose une méthode de comparaison avant production, fondée sur deux passes par requête et sur le ratio FFN/Skip. Les équipes peuvent ainsi examiner la concentration d’un comportement de sécurité avant de compléter cette analyse par des filtres de contenu et des garde-fous d’exécution.