# Qwen1.5-MoE-A2.7B réduit de 75 % les coûts d’entraînement

> Jamba, Qwen1.5-MoE-A2.7B et DBRX montrent comment des modèles ouverts MoE réduisent les coûts, activent moins de paramètres et rivalisent avec des modèles fermés.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-26 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/qwen15-moe-a27b-reduit-de-75-pourcent-les-couts-dentrainement
Tags : modèles ouverts, moe, inférence, entraînement, ia générative, chatgpt, gemini, mistral

---

## En résumé

- Jamba combine des couches Transformer et SSM dans une architecture MoE hybride.
- Qwen1.5-MoE-A2.7B atteint les performances de modèles ouverts de 7 milliards de paramètres.
- DBRX active 36 milliards de paramètres parmi 132 milliards sur chaque entrée.

**Le signal :** Qwen1.5-MoE-A2.7B active 2,7 milliards de paramètres, réduit de 75 % les coûts d’entraînement et accélère l’inférence de 1,74 fois.

**Quatre modèles ouverts** ont été présentés en dix jours pour améliorer le compromis entre coût d’entraînement, qualité et vitesse d’inférence. Jamba, développé par AI21 Labs, repose sur une architecture MoE hybride qui alterne des couches Transformer et SSM. Qwen1.5-MoE-A2.7B, créé par Alibaba, n’active que 2,7 milliards de paramètres. DBRX, développé par Databricks, possède 132 milliards de paramètres, dont 36 milliards sont actifs pour chaque entrée. Grok-1.5, annoncé par xAI, s’appuie sur le modèle MoE Grok-1 et propose une fenêtre de contexte de 128 000 tokens. Cette vague de modèles ouverts vise des performances proches des meilleurs modèles fermés, selon les annonces citées.

**Une architecture hybride** constitue le choix central de Jamba. Le modèle intercale des couches Transformer et SSM pour combiner leurs caractéristiques. AI21 Labs associe cette conception à trois objectifs : conserver une sortie de haute qualité, augmenter le débit et réduire les besoins mémoire. La présentation de Jamba fournit aussi un accès à son modèle et à des ressources de réglage fin. L’approche s’inscrit dans la famille des architectures à experts, dont le fonctionnement est expliqué par l’équipe de [Hugging Face](https://huggingface.co/blog/moe). Le modèle ne repose donc pas uniquement sur une succession standard de couches Transformer, mais sur une combinaison explicitement conçue autour des avantages annoncés de deux familles architecturales.

## Qwen réduit les paramètres actifs

**Alibaba chiffre l’écart** avec les modèles ouverts de 7 milliards de paramètres. Qwen1.5-MoE-A2.7B atteint, selon son équipe, des performances comparables à celles de modèles comme Mistral 7B, tout en n’activant que 2,7 milliards de paramètres. Son architecture combine des experts fins, une initialisation par réutilisation et des experts partagés avec des experts de routage. Alibaba annonce une baisse de 75 % des coûts d’entraînement par rapport à des modèles ouverts plus grands de 7 milliards de paramètres. L’équipe annonce également une inférence 1,74 fois plus rapide, tout en indiquant que le modèle reste compétitif sur la plupart des benchmarks. [Qwen détaille cette architecture](https://qwenlm.github.io/blog/qwen-moe/) et ses résultats.

**Databricks publie DBRX** avec une architecture MoE à granularité fine. Le modèle compte 132 milliards de paramètres, mais 36 milliards sont actifs pour chaque entrée. Son pré-entraînement a utilisé 12 000 milliards de tokens de textes et de code. Databricks a rendu disponibles DBRX Base et DBRX Instruct sur Hugging Face, sous une licence ouverte. L’entreprise affirme que DBRX atteint des résultats de pointe sur des benchmarks de modèles ouverts, pour la performance, le coût et la qualité des sorties. Elle affirme aussi qu’il dépasse GPT-3.5 et Gemini 1.0 Pro. Le modèle peut être essayé gratuitement dans Perplexity Labs Playground, avec une option de quantification en 4 bits pour Apple MLX.

## xAI étend le contexte de Grok

**Grok-1.5 élargit** le périmètre des modèles ouverts présentés. xAI l’a construit sur la base MoE de Grok-1 et lui attribue une fenêtre de contexte de 128 000 tokens. L’équipe le positionne sur des tâches de programmation, de recherche augmentée par génération et de raisonnement. Son entraînement s’appuie sur un cadre distribué développé avec JAX, Rust et Kubernetes. Les chercheurs de xAI affirment que Grok-1.5 dépasse la plupart des modèles ouverts et atteint des performances proches de Gemini 1.5 Pro ou GPT-4. Le modèle devait être disponible dans X, anciennement Twitter. La [présentation de Jamba](https://www.ai21.com/jamba) fournit parallèlement un autre exemple d’architecture MoE ouverte.
Pour aller plus loin, consultez notre guide sur [réduire ses coûts grâce à l'IA](/signal-ia/guides/reduire-couts-ia-automatisations-pme-2026).