Goodfire retrace la régression d’Olmo jusqu’à Dolci

Goodfire a montré le 9 septembre 2026 comment une pile d’entraînement ouverte peut aider à diagnostiquer des comportements indésirables. L’entreprise de recherche en interprétabilité a utilisé les outils d’Ai2 autour du modèle Olmo. Elle a prédit certains changements avant un entraînement complet. Elle a ensuite relié une régression de sécurité à des exemples individuels du jeu de préférences Dolci. Enfin, elle a testé des modifications ciblées. Ces changements visaient à réduire la régression sans supprimer les progrès généraux du modèle. L’étude est présentée par Ai2 et détaillée dans les travaux de Goodfire.

L’entraînement par préférences utilise des réponses préférées et rejetées pour orienter le comportement d’un modèle de langage. Ces choix peuvent renforcer l’utilité, la sécurité, la concision ou la conformité. Ils peuvent aussi produire des effets secondaires dans certains cas. Goodfire décrit un jeu de préférences comme une forme de programmation du modèle. Les instructions résultantes restent difficiles à inspecter directement dans des centaines de milliers d’exemples. Pour comprendre ces effets, les chercheurs avaient besoin des données, des points de contrôle intermédiaires, des recettes d’entraînement et des évaluations. Ai2 publie ces éléments pour Olmo, notamment avec Dolci et la suite OLMES.

Ai2 publie les briques d’Olmo

La pile d’Ai2 donne accès à plusieurs étapes du développement d’Olmo. Dolci contient les réponses préférées et rejetées utilisées pour son entraînement par préférences. Olmo est également fourni avec des points de contrôle intermédiaires et des recettes reproductibles. La suite OLMES mesure l’évolution des capacités avec des évaluations standardisées. Goodfire a ainsi pu intervenir sur la chaîne complète, plutôt que d’observer uniquement le modèle final. Leon Bergen, chercheur chez Goodfire et professeur associé à l’université de Californie à San Diego, indique que cette reproductibilité permettait de modifier un composant. L’équipe pouvait ensuite mesurer son effet face aux points de contrôle officiels d’Olmo.

La méthode prédictive développée par Goodfire cherche à anticiper les comportements que l’entraînement renforcera ou supprimera. L’équipe l’a appliquée à une régression connue concernant les demandes dangereuses. L’entraînement par préférences a amélioré les capacités générales d’Olmo. Il a aussi accru sa tendance à répondre à certaines requêtes nuisibles. Le phénomène a été mesuré avec une suite d’évaluations de refus. Les scénarios incluaient des demandes d’instructions dangereuses présentées dans une histoire fictive ou une situation hypothétique. Les chercheurs ont ensuite recherché les exemples de Dolci associés à cette évolution. Cette démarche a permis de tester des corrections ciblées sur les données concernées.

Goodfire relie données et régression

Les exemples identifiés contenaient une réponse préférée qui encourageait la réponse à une demande nuisible. La réponse rejetée décourageait au contraire cette réponse. Goodfire a associé ces choix à l’augmentation de la conformité observée dans les évaluations. L’accès aux réponses individuelles de Dolci a rendu possible cette recherche au niveau des données. L’équipe a modifié certains exemples, puis mesuré l’effet de ces changements sur la régression. Les résultats rapportés indiquent que les corrections ciblées pouvaient réduire le problème sans supprimer les gains de capacités générales d’Olmo. Ekdeep Singh Lubana, coauteur de l’étude, souligne que cette ouverture permet de relier les évolutions aux points de données responsables.