OpenAI lance gpt-oss-20b, qui tient sur 16 Go

OpenAI publie deux modèles à poids ouverts, gpt-oss-20b et gpt-oss-120b, présentés durant la semaine du 4 août 2025. Ils constituent les premiers grands modèles ouverts de l’entreprise depuis GPT-2, publié en 2019. Sebastian Raschka a étudié leur code publié et leurs rapports techniques. Son analyse compare ces modèles à GPT-2 et à Qwen3. Elle examine aussi leurs choix d’architecture, leur optimisation MXFP4 et leurs résultats annoncés. OpenAI propose les pages officielles des modèles sur Hugging Face pour gpt-oss-20b et pour gpt-oss-120b. Les deux modèles restent des modèles génératifs fondés sur l’architecture Transformer.

GPT-2 sert de repère pour mesurer les changements techniques. GPT-2 XL comptait 1,5 milliard de paramètres, tandis que gpt-oss-20b appartient à une génération plus récente. Les deux modèles sont des modèles autorégressifs uniquement décodeurs, construits sur le Transformer présenté dans l’article « Attention Is All You Need » en 2017. GPT-2 utilisait encore des représentations positionnelles absolues et GELU. Les architectures modernes privilégient généralement RoPE, Swish ou SwiGLU. Le dropout, utilisé dans GPT-2, est aussi rarement présent dans les grands modèles récents. Une étude publiée en 2025 sur Pythia 1.4B associe son emploi à de moins bonnes performances en aval dans un entraînement sur une seule époque.

gpt-oss remplace plusieurs composants

RoPE encode les positions en faisant tourner les vecteurs de requête et de clé selon la position de chaque jeton. Cette méthode s’est largement diffusée après la sortie du premier modèle Llama en 2023. Swish, aussi appelé SiLU, remplace souvent GELU grâce à un calcul légèrement moins coûteux. Les différences de performance entre ces fonctions dépendent toutefois du réglage des hyperparamètres. Les modules d’alimentation classiques cèdent aussi la place à SwiGLU. Cette variante utilise trois couches entièrement connectées et ajoute une interaction multiplicative. Dans l’exemple présenté, un module traditionnel totalise 8 388 608 paramètres, contre 3 145 728 pour la variante GLU avec une dimension d’intégration de 1 024.

Le mélange d’experts remplace ensuite le module d’alimentation unique de gpt-oss. Plusieurs modules sont disponibles, mais un routeur n’en active qu’un sous-ensemble pour chaque jeton. Cette parcimonie limite le calcul d’inférence, tandis que le nombre total de paramètres augmente la capacité d’apprentissage du modèle. Dans la plupart des modèles à mélange d’experts, les poids des experts représentent plus de 90 % des paramètres totaux. gpt-oss utilise aussi l’attention à requêtes groupées. Cette méthode regroupe plusieurs têtes afin qu’elles partagent les mêmes projections de clés et de valeurs. Elle réduit ainsi l’utilisation de mémoire par rapport à l’attention multi-têtes classique.

Les capacités matérielles restent différenciées

Les exigences varient fortement entre les deux modèles. Selon les indications reprises par Raschka, gpt-oss-20b peut fonctionner sur un GPU grand public disposant de 16 Go de mémoire. gpt-oss-120b peut fonctionner sur un seul H100 équipé de 80 Go de mémoire, ou sur du matériel plus récent. Ces indications comportent des réserves liées aux optimisations et aux conditions d’exécution. L’analyse consacre notamment une section à MXFP4, une optimisation destinée à faire tenir les modèles sur un seul GPU. Les modèles peuvent donc être exécutés localement dans certaines configurations matérielles, sans que cela signifie une équivalence entre leurs besoins.

La comparaison reste architecturale plutôt qu’une démonstration d’un changement complet de paradigme. Raschka observe que les principaux développeurs de grands modèles utilisent souvent une base commune, complétée par des ajustements ciblés. Le Transformer demeure la structure de référence étudiée dans cette analyse. L’article compare également la largeur et la profondeur de gpt-oss et de Qwen3, ainsi que les biais d’attention et les « sinks » d’attention. Il évoque enfin les évaluations et une comparaison avec GPT-5, annoncé peu après gpt-oss. Le détail des modèles et de leur utilisation locale est présenté dans les pages officielles d’OpenAI sur Hugging Face.