# Jamba, Qwen et DBRX bousculent les modèles fermés

> Qwen1.5-MoE-A2.7B, Jamba et DBRX illustrent la montée de modèles MoE ouverts, avec des gains annoncés sur les coûts, la vitesse et les performances.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-19 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/qwen-jamba-et-dbrx-dopent-les-modeles-ouverts
Tags : modèles ouverts, moe, inférence, entraînement, ia générative, chatgpt, gemini, mistral

---

## En résumé

- Jamba combine des couches Transformer et SSM dans une architecture MoE.
- Qwen1.5-MoE-A2.7B annonce une baisse de 75 % des coûts d’entraînement.
- DBRX active 36 milliards de paramètres parmi 132 milliards au total.

**Le signal :** Qwen1.5-MoE-A2.7B active 2,7 milliards de paramètres et annonce 75 % de baisse des coûts d’entraînement.

**[Modèles ouverts](/signal-ia/actu/jamba-et-qwen-reduisent-le-cout-des-modeles-moe-ouverts)** Plusieurs organisations publient de nouveaux modèles fondés sur l’architecture Mixture-of-Experts, ou MoE. Data Machina présente quatre modèles publiés en dix jours, dans son édition datée du 31 mars 2024. Ces travaux cherchent à équilibrer coût d’entraînement, qualité des sorties et vitesse d’inférence. Le principe consiste à mobiliser certains experts selon chaque entrée, plutôt que l’ensemble du modèle. Le dossier cite Jamba d’AI21 Labs, Qwen1.5-MoE-A2.7B d’Alibaba, DBRX de Databricks et Grok-1.5 de xAI. Plusieurs résultats annoncés les rapprochent de modèles fermés comme GPT-4, Gemini 1.5 Pro, GPT-3.5 ou Gemini 1.0 Pro. Une présentation pédagogique des MoE est disponible chez [Hugging Face](https://huggingface.co/blog/moe). 

**Jamba combine deux architectures** AI21 Labs construit Jamba avec une architecture hybride SSM-Transformer MoE. Le modèle intercale des couches Transformer et SSM. AI21 présente cette combinaison comme une réponse conjointe aux limites et aux avantages des deux architectures. Les objectifs annoncés sont une qualité élevée, un débit important et des besoins mémoire réduits. La fiche consacrée à Jamba permet également d’accéder à une méthode de réglage fin. Le modèle figure parmi les exemples de modèles MoE ouverts retenus par Data Machina. Sa conception illustre une approche différente des architectures MoE standard. La présentation officielle est publiée par [AI21 Labs](https://www.ai21.com/jamba), tandis qu’un carnet de réglage fin est disponible sur GitHub. 

## Qwen réduit les paramètres activés

**Qwen active moins** Alibaba présente Qwen1.5-MoE-A2.7B comme un modèle MoE n’activant que 2,7 milliards de paramètres. Selon le dossier, ses performances correspondent à celles de modèles ouverts de sept milliards de paramètres, dont Mistral 7B. Le modèle combine des experts fins, une initialisation par réutilisation et des experts partagés avec routage. Alibaba annonce une baisse de 75 % des coûts d’[entraînement](/signal-ia/actu/qwen-jamba-et-dbrx-propulsent-les-modeles-ouverts) par rapport à des modèles ouverts de sept milliards de paramètres. La vitesse d’inférence serait multipliée par 1,74. Le modèle reste compétitif sur la plupart des évaluations citées. Le billet technique et les ressources associées sont regroupés dans la présentation [Qwen1.5-MoE](https://qwenlm.github.io/blog/qwen-moe/). 

**DBRX change d’échelle** Databricks présente DBRX comme un modèle MoE de 132 milliards de paramètres, dont 36 milliards sont actifs pour chaque entrée. Le modèle a été pré-entraîné sur 12 000 milliards de jetons de texte et de code. Databricks met à disposition les poids de DBRX Base et DBRX Instruct sur Hugging Face, sous licence ouverte. L’entreprise affirme que DBRX atteint des résultats de pointe sur des évaluations de modèles ouverts, avec des performances, des coûts et une qualité de sortie favorables. Elle affirme aussi que DBRX dépasse GPT-3.5 et [Gemini](/signal-ia/actu/qwen15-moe-a27b-promet-75-pourcent-de-couts-en-moins) 1.0 Pro. DBRX-Instruct peut être essayé gratuitement dans Perplexity Labs Playground. 

## Grok étend le catalogue ouvert

**Grok élargit les usages** xAI a annoncé Grok-1.5, construit sur le modèle MoE de base Grok-1. Le modèle dispose d’une fenêtre de contexte de 128 000 tokens. Data Machina le décrit comme performant pour le code, la recherche augmentée et le raisonnement. xAI indique que Grok-1.5 dépasse la plupart des modèles ouverts et atteint un niveau proche de Gemini 1.5 Pro ou GPT-4. Son entraînement repose sur un cadre distribué personnalisé utilisant JAX, Rust et Kubernetes. xAI a annoncé une disponibilité dans X, anciennement Twitter. L’édition recense aussi OpenDevin, AgentStudio, les modèles d’apprentissage automatique sur un bit et les méthodes de création de frankenMoE.