Shieldstral: Mistral AI révolutionne la modération adaptable

Mistral AI publie Shieldstral

Mistral AI présente Shieldstral comme un petit classifieur capable de rivaliser avec de grands modèles de modération de contenu, à condition de disposer du bon pipeline d’entraînement. Dans le contexte de son adhésion à l’Open Secure AI Alliance, l’entreprise en a publié les poids sous licence Apache 2.0. Le modèle dérive de Ministral-3B-Base-2512 et peut analyser du texte, des images ou une combinaison des deux.

Shieldstral se distingue par son caractère « adaptatif ». Sa politique de modération peut être modifiée au moment de l’inférence, sans réentraînement du modèle. Une même question peut ainsi être formulée selon le contexte de déploiement: un contenu acceptable dans un cas peut être jugé indésirable dans un autre. Cette flexibilité le différencie de l’API Mistral Moderation, qui ne permet pas cette modification de politique.

Unifier les données de modération

Pour développer cette capacité, Mistral AI a ramené les tâches de modération à des questions fermées exprimées en langage naturel, auxquelles Shieldstral répond par un score. Les requêtes ne dépendent donc pas d’une taxonomie fixe. Elles suivent un format en trois champs: <Instruct>, qui décrit le contexte d’évaluation et le niveau de rigueur, <Query>, qui contient la question fermée, et <Document>, qui correspond au contenu textuel, visuel ou mixte à examiner.

Cette structure a nécessité l’unification de jeux de données très hétérogènes, tant par leurs conventions d’annotation que par leurs taxonomies. Mistral AI a converti ces données à l’aide de templates et d’un pipeline de traitement propre à chaque dataset. Le modèle a été entraîné à calibrer ses décisions selon le niveau de rigueur et à traiter différentes formulations d’instructions afin d’améliorer ses capacités de généralisation.

Trois checkpoints pour Shieldstral

La formation s’est appuyée sur des paires contrastives. Les exemples positifs couvraient les requêtes binaires, les catégories précises et, lorsque nécessaire, les groupes cibles. Les exemples négatifs étaient générés à partir des catégories, des groupes démographiques ou d’exemples sûrs associés à des requêtes binaires sur des contenus indésirables. Cette méthode vise à apprendre au modèle à distinguer les catégories et à se concentrer sur les détails sémantiques plutôt que sur des indices liés aux catégories.

Pour compenser la rareté des données de modération d’images, Mistral AI a ajouté des jeux de classification et de détection d’objets. Leurs exemples ont servi de positifs et de négatifs grâce à une permutation des requêtes par un LLM. La formation n’a pas utilisé de fine-tuning supervisé, mais la méthode LoRA. Elle a produit deux checkpoints: le premier couvre environ 45 millions d’exemples textuels issus de jeux publics, le second ajoute des exemples synthétiques et des images, pour environ 10 millions d’exemples cumulés.