Unit 42 repère 50 neurones qui fragilisent Qwen3-4B

Unit 42 publie une méthode de diagnostic appelée perturbation probing pour examiner la fragilité des mécanismes de sécurité des grands modèles de langage. L’équipe indique que cette méthode nécessite seulement deux passages avant par requête. Elle repère les neurones feed-forward responsables d’un comportement ciblé, comme le refus de demandes nuisibles. Sur le modèle ouvert Qwen3-4B, 50 neurones parmi 350 208 contrôlent le modèle de refus, soit environ 0,014 % des neurones feed-forward. Leur suppression modifie le format de réponse dans 80 % de 520 tests de référence contenant des requêtes nuisibles. Le résultat a aussi été reproduit sur 200 requêtes d’un second test standard. Lire l’étude de Unit 42.

Le diagnostic cible le comportement appris pendant l’alignement par apprentissage par renforcement à partir de retours humains. Cette étape pousse les modèles à refuser les demandes nuisibles et à répondre aux demandes sûres. Les travaux précédents de Unit 42 sur le pilotage par écart de logits étudiaient la manière de contourner cet alignement. La nouvelle recherche examine plutôt l’emplacement interne de cette défense. Sur Qwen3.5-2B, 20 neurones ont suffi à supprimer les accords erronés avec les utilisateurs dans des conversations à plusieurs tours. Ce comportement est passé de 36,7 % à 0 % sur 30 questions. Les auteurs décrivent ainsi une défense concentrée dans une fine couche de modèle.

Unit 42 mesure la fragilité

Treize modèles testés ont servi à calculer le ratio FFN/Skip, un indicateur produit en quelques secondes par modèle. Ce ratio mesure la place prise par un chemin interne étroit dans les décisions du modèle. Les chercheurs l’ont comparé à la variation du comportement de sécurité après la désactivation de 50 neurones. Le ratio explique 81 % de la variance observée dans la vulnérabilité des comportements de sécurité à une petite modification ciblée. Unit 42 présente donc cet indicateur comme un candidat pour une mesure quantitative de la fragilité. Les équipes de sécurité pourraient comparer plusieurs modèles avant des campagnes de tests adverses, selon l’usage proposé par les chercheurs.

Dix neurones renforcés ont également amélioré l’auto-correction factuelle d’un petit modèle. Le taux est passé de 52 % à 88 % sur 200 requêtes TruthfulQA, sans nouvel entraînement. Le même ensemble d’outils peut donc exposer une fragilité et soutenir une correction ciblée, selon les résultats rapportés. Unit 42 recommande d’intégrer ces diagnostics aux chaînes d’évaluation des organisations qui déploient des modèles de langage. La société préconise aussi une défense en profondeur. Celle-ci combine les propriétés de sécurité du modèle avec des filtres de contenu externes et des garde-fous exécutés au moment de l’utilisation. L’article scientifique est disponible sur arXiv.

Les garde-fous complètent le modèle

Unit 42 recommande de mesurer la fragilité avant la mise en production d’un modèle. La recherche porte sur des modèles ouverts et pondérés publiquement, évalués localement selon leurs licences respectives. Les auteurs indiquent que l’étude publie des taux agrégés, des mesures internes et des résumés non opérationnels. Elle ne diffuse ni générations nuisibles, ni artefacts d’attaque exécutables, ni invites de contournement facilitant un usage abusif. Pour les modèles soumis à des politiques d’utilisation, les expériences sont présentées comme une évaluation défensive de la sécurité et de la robustesse. Unit 42 met également en avant Prisma AIRS Runtime Security et son service AI Security Assessment pour compléter cette approche.