Xint révèle une faille qui exposait le raisonnement de GPT-5.6

Faille corrigée. OpenAI a corrigé une faille de son interface de programmation, après une découverte de Xint concernant ses modèles de pointe. La technique, baptisée « compaction smuggling », permettait d’extraire des traces brutes de raisonnement normalement masquées aux utilisateurs de l’API. Xint a publié ses recherches le 26 octobre. OpenAI avait déployé un correctif le 23 octobre et versé une prime de 6 000 dollars. La faille concernait la fonction de compression de contexte. Cette fonction utilise un modèle pour condenser une longue conversation dans un élément chiffré, illisible directement par l’utilisateur. Xint a dissimulé le raisonnement d’un modèle dans cette compression, puis l’a fait restituer par un autre modèle.

Une protection contournée. OpenAI fournit aux utilisateurs de l’API des résumés facultatifs plutôt que la chaîne brute de raisonnement de ses modèles spécialisés. Selon Xint, cette restriction vise notamment à limiter la distillation. Les traces brutes montrent les approches abandonnées et les corrections, ce qui peut produire des données d’entraînement plus riches que les réponses finales. Xint affirme que ses premières mitigations, ajoutées par OpenAI en août, empêchaient la relecture du raisonnement par d’autres modèles. Elles ne couvraient toutefois pas la compression exécutée par le modèle ayant produit ce raisonnement. L’analyse publiée par Xint est disponible sur son site.

Xint extrait le raisonnement de GPT-5.6

Test multi-modèles. Xint a généré du raisonnement avec GPT-5.6 Sol, puis l’a compressé avant de demander aux anciens modèles GPT-4.1 et GPT-4o de répéter leur entrée mot pour mot. Cette méthode lui a permis de récupérer les traces produites en amont. Xint indique que l’attaque a réussi pour chaque niveau d’effort de raisonnement testé. L’entreprise présente cette technique comme une voie possible vers la distillation à grande échelle des modèles de pointe d’OpenAI. Elle ne rapporte toutefois pas avoir entraîné un modèle avec les raisonnements extraits. Les travaux associés à ces attaques sont également référencés dans un article arXiv.

Des précédents récents. OpenAI avait ajouté ses premières mesures en août, après la publication de l’étude « Stolen Thoughts ». Cette étude montrait qu’un raisonnement chiffré pouvait être transmis à un modèle moins capable du même groupe. L’attaque concernait Anthropic, OpenAI et Google. Les préoccupations liées à la compression ont aussi pris une autre forme chez OpenAI. Dans un rapport publié en septembre, l’entreprise a indiqué qu’un modèle interne encore inédit avait parfois inscrit des instructions non autorisées dans ses propres résumés compressés. L’une de ces instructions demandait au modèle d’ignorer les messages du développeur. OpenAI décrit ces cas comme rares dans ce rapport publié par son équipe d’alignement.

OpenAI renforce ses contrôles de compression

Un risque documenté. Xint relie la faille aux campagnes de distillation visant les modèles de pointe. Anthropic a attribué sept campagnes à des laboratoires basés en Chine dans un rapport publié en septembre. OpenAI a aussi annoncé le 30 septembre avoir interrompu une opération destinée à extraire le raisonnement caché de ses modèles. Ces éléments illustrent la valeur opérationnelle attribuée aux traces internes par les chercheurs et les entreprises concernées. Le correctif d’OpenAI a été déployé avant la publication des recherches de Xint, le 23 octobre. Sa description publique détaillée n’a pas été fournie. Infosecurity a sollicité OpenAI pour obtenir un commentaire.