OpenAI renoue avec les modèles à poids ouverts via gpt-oss

OpenAI publie gpt-oss-20b et gpt-oss-120b, ses premiers grands modèles à poids ouverts depuis GPT-2 en 2019. Ces modèles de langage reposent sur une architecture de transformeur et peuvent fonctionner localement grâce à plusieurs optimisations. Le modèle 20B peut fonctionner sur une carte graphique grand public disposant de 16 Go de mémoire vive. Le modèle 120B peut fonctionner sur un H100 unique doté de 80 Go, ou sur du matériel plus récent. Sebastian Raschka a étudié le code publié et les rapports techniques pour comparer ces modèles à GPT-2 et à Qwen3. Son analyse couvre notamment l’architecture, la précision MXFP4, les mécanismes d’attention et les résultats d’évaluation. (Analyse de Sebastian Raschka)

GPT-2 sert de point de comparaison historique. GPT-2 XL comptait 1,5 milliard de paramètres et utilisait une architecture de transformeur décodeur uniquement. Les modèles gpt-oss conservent cette famille architecturale, issue de l’article Attention Is All You Need publié en 2017. Plusieurs composants ont toutefois évolué depuis GPT-2. Les architectures récentes ont généralement abandonné le dropout, une technique conçue pour réduire le surapprentissage. Elles ont aussi remplacé les embeddings positionnels absolus par RoPE, qui encode la position en faisant pivoter les vecteurs de requête et de clé. RoPE a été introduit en 2021, puis largement adopté après la sortie du modèle Llama original en 2023.

GPT-2 cède place à RoPE

SwiGLU réduit le coût du module d’alimentation tout en ajoutant une interaction multiplicative. Les premières architectures GPT utilisaient GELU, tandis que les modèles récents emploient souvent Swish, aussi appelé SiLU. Swish est légèrement moins coûteux à calculer que GELU, selon l’analyse. Le module classique utilise deux couches entièrement connectées. La variante GLU en utilise trois, mais avec des dimensions réduites. Pour une dimension d’embedding de 1 024, le module classique totalise 8 388 608 paramètres. La variante GLU décrite totalise 3 145 728 paramètres. L’auteur estime que les écarts de performance entre fonctions d’activation dépendent fortement du réglage des hyperparamètres.

Les experts spécialisés remplacent également le module d’alimentation unique dans gpt-oss. Cette approche, appelée mélange d’experts, contient plusieurs modules d’alimentation et n’en active qu’une partie pour chaque jeton. Un routeur sélectionne les experts utilisés lors de chaque étape de génération. Le modèle conserve ainsi un nombre total de paramètres élevé, tout en limitant le calcul effectué à chaque jeton. Cette structure est dite creuse, contrairement à une structure dense qui utilise tous ses paramètres à chaque étape. Dans la plupart des modèles à mélange d’experts, les poids des experts représentent plus de 90 % des paramètres totaux. gpt-oss utilise aussi l’attention à requêtes groupées, plus économe en mémoire que l’attention multi-tête.

gpt-oss combine largeur et parcimonie

L’exécution locale dépend donc du modèle choisi et du matériel disponible. OpenAI indique que gpt-oss-20b peut fonctionner sur une carte graphique grand public avec jusqu’à 16 Go de mémoire vive. Le modèle gpt-oss-120b vise une carte H100 de 80 Go ou une machine plus récente. L’analyse présente aussi l’optimisation MXFP4 comme un moyen d’adapter les modèles à une seule carte graphique. Ces indications décrivent des possibilités d’exécution, sans établir les performances obtenues sur chaque configuration. Les pages officielles des modèles sont disponibles sur Hugging Face pour gpt-oss-20b et Hugging Face pour gpt-oss-120b.