DeepSeek révolutionne son modèle V3 avec la version 3.2

DeepSeek fait évoluer son modèle phare open-weight avec V3.2, présenté comme une nouvelle étape après V3, R1, V3.1 et V3.2-Exp. L’analyse publiée par Sebastian Raschka le 3 décembre 2025, puis mise à jour le 1er janvier 2026, s’intéresse à l’architecture, à l’attention sparse et aux changements de formation.

DeepSeek structure sa feuille de route

DeepSeek V3 a été lancé en décembre 2024 sans rencontrer immédiatement un grand succès. La sortie de DeepSeek R1, construit sur une architecture identique à V3 mais complété par une phase de post-entraînement dédiée au raisonnement, a ensuite contribué à installer DeepSeek parmi les modèles open-weight les plus populaires.

Après R1, aucun lancement majeur n’a eu lieu pendant 10 à 11 mois, même si DeepSeek a publié des versions intermédiaires, notamment V3.1 et V3.2-Exp. L’auteur indique que V3.2-Exp devait préparer l’écosystème et les infrastructures d’inférence à l’arrivée de V3.2. Il précise aussi que V3.2-Exp et V3.2 utilisent une variante non standard de l’attention sparse, nécessitant du code spécifique. Le texte mentionne enfin une période de transition entre des puces NVIDIA et Huawei, avant un retour, à la connaissance de l’auteur, aux puces NVIDIA.

De R1 dédié à V3.2 hybride

DeepSeek V3 était initialement un modèle de base, tandis que R1 était un modèle de raisonnement dédié. D’autres équipes ont exploré une approche hybride. Qwen a ensuite publié des modèles instruct et raisonnement séparés, jugés plus faciles à développer et plus performants dans leurs usages respectifs.

D’après l’analyse, DeepSeek semble avoir suivi le chemin inverse, en passant du modèle dédié R1 aux modèles hybrides V3.1 et V3.2. Il estime également que l’équipe pourrait encore travailler sur un éventuel modèle dédié R2, sans présenter cette hypothèse comme une annonce.

V3 combine MoE et attention MLA

L’architecture de DeepSeek V3 repose notamment sur la Mixture-of-Experts, ou MoE, et la Multi-Head Latent Attention, ou MLA. La MLA réduit la mémoire nécessaire au cache clé-valeur en compressant les tenseurs de clés et de valeurs dans un espace de dimension inférieure avant leur stockage. Lors de l’inférence, ces représentations sont reprojetées à leur taille initiale, au prix d’une multiplication matricielle supplémentaire.

Les requêtes sont également compressées pendant l’entraînement, mais pas lors de l’inférence. DeepSeek R1 conserve cette même architecture: sa différence avec V3 tient à sa recette d’entraînement, centrée sur le Reinforcement Learning with Verifiable Rewards, ou RLVR.

La source s’arrête au début de cette présentation, sans détailler davantage les mises à jour de formation de V3.2.