# Jamba et Qwen allègent le coût des modèles MoE ouverts

> Jamba, Qwen1.5-MoE-A2.7B et DBRX montrent comment les modèles ouverts MoE réduisent les coûts tout en rivalisant avec des systèmes fermés.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-12 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/jamba-et-qwen-reduisent-le-cout-des-modeles-moe-ouverts
Tags : modèles ouverts, moe, inférence, entraînement, ia générative, chatgpt, gemini, mistral

---

## En résumé

- Jamba combine des couches Transformer et SSM dans une architecture MoE hybride.
- Qwen1.5-MoE-A2.7B égale les performances de modèles ouverts de 7 milliards de paramètres.
- DBRX active 36 milliards de paramètres sur ses 132 milliards totaux.

**Le signal :** Qwen1.5-MoE-A2.7B active 2,7 milliards de paramètres et réduit de 75 % les coûts d’entraînement annoncés.

**Modèles ouverts** Plusieurs organisations ont présenté des modèles à mélange d’experts, ou MoE, durant les dix jours précédant la publication de Data Machina #247. Cette architecture active seulement certains experts pour chaque entrée. Elle cherche ainsi à combiner qualité de sortie, coût d’entraînement et vitesse d’inférence. La sélection rassemble Jamba d’AI21 Labs, Qwen1.5-MoE-A2.7B d’Alibaba et DBRX de Databricks. Elle inclut aussi Grok-1.5 de xAI, construit sur le modèle MoE Grok-1. Les performances annoncées approchent parfois celles de GPT-4 et Gemini 1.5 Pro. Une introduction détaillée aux MoE est proposée par [Hugging Face](https://huggingface.co/blog/moe). La comparaison porte donc sur plusieurs architectures, pas sur un modèle unique.

**Des architectures différentes** Jamba associe des couches Transformer et SSM intercalées dans une architecture MoE. AI21 Labs présente ce choix comme une combinaison entre qualité de sortie, débit élevé et besoins mémoire réduits. Qwen1.5-MoE-A2.7B active 2,7 milliards de paramètres. Alibaba indique que le modèle atteint les performances de modèles ouverts de 7 milliards de paramètres, comme Mistral 7B. Ses techniques incluent des experts fins combinés, une initialisation par reprise et des experts partagés avec routage. Selon Alibaba, cette conception réduit de 75 % les coûts d’entraînement. Elle accélère aussi l’inférence d’un facteur 1,74 face à de plus grands modèles ouverts de 7 milliards de paramètres.

## Jamba et Qwen réduisent les coûts

**Le procédé de Meta** Meta AI a présenté Branch-Train-MiX, ou BTX, pour construire une architecture MoE à partir de plusieurs experts. Le procédé part d’un modèle initial, puis crée des branches destinées à entraîner les experts en parallèle. Meta décrit cette organisation comme un moyen d’augmenter le débit et de réduire les communications. Elle rejoint l’approche de Qwen, qui combine plusieurs experts affinés dans une même architecture. Ces méthodes déplacent donc une partie du travail vers la conception et l’entraînement des experts. La newsletter référence également un [article consacré à BTX](https://arxiv.org/abs/2403.07816). Les résultats rapportés concernent des méthodes distinctes, avec des objectifs d’efficacité comparables.

**DBRX concentre ses paramètres** DBRX utilise une architecture MoE à experts fins avec 132 milliards de paramètres au total. Databricks en active 36 milliards pour chaque entrée. Le modèle a été préentraîné sur 12 000 milliards de jetons de textes et de code. Les poids de DBRX Base et DBRX Instruct sont disponibles sur Hugging Face sous une licence ouverte. Databricks affirme que DBRX atteint des résultats de pointe dans des évaluations de modèles ouverts, pour la performance, le coût et la qualité des sorties. L’entreprise affirme aussi qu’il dépasse GPT-3.5 et Gemini 1.0 Pro. DBRX-Instruct peut être essayé gratuitement dans l’environnement Perplexity Labs Playground.

## DBRX et Grok élargissent l’offre

**Grok étend le contexte** xAI a annoncé Grok-1.5 comme un modèle ouvert construit sur la base MoE de Grok-1. Il dispose d’une fenêtre de contexte de 128 000 jetons. xAI le présente comme performant en programmation, en génération augmentée par recherche et en raisonnement. Son entraînement repose sur un cadre distribué personnalisé utilisant JAX, Rust et Kubernetes. Selon les chercheurs de xAI, Grok-1.5 dépasse la plupart des modèles ouverts et approche les performances de Gemini 1.5 Pro ou GPT-4. xAI a annoncé une disponibilité dans X, anciennement Twitter. La publication originale de Data Machina #247 est accessible [ici](https://datamachina.substack.com/p/data-machina-247).
Pour aller plus loin, consultez notre guide sur [réduire ses coûts grâce à l'IA](/signal-ia/guides/reduire-couts-ia-automatisations-pme-2026).