DeepSeek V3.2 réduit ses coûts grâce à l’attention DSA

DeepSeek V3.2 est le nouveau modèle phare présenté par l’équipe DeepSeek, selon l’analyse publiée par Sebastian Raschka. Il est disponible sous forme de modèle à poids ouverts. L’auteur le compare à GPT-5 et Gemini 3.0 Pro sur ses performances générales. La publication originale date du 3 décembre 2025, puis a été actualisée le 1er janvier 2026. DeepSeek V3.2 succède à DeepSeek V3 et V3.1 dans une série marquée par des évolutions d’architecture et d’entraînement. L’analyse complète est disponible dans l’article de Sebastian Raschka. Le rapport technique de DeepSeek V3.2 détaille également le modèle.

Une trajectoire progressive DeepSeek V3 est sorti en décembre 2024 comme modèle de base. DeepSeek R1 a ensuite repris la même architecture avec un entraînement complémentaire centré sur le raisonnement. Cette combinaison a contribué à la popularité de DeepSeek parmi les modèles à poids ouverts. R1 utilisait l’apprentissage par renforcement avec récompenses vérifiables, notamment pour les mathématiques et le code. Son algorithme GRPO supprimait le modèle critique utilisé par certaines approches PPO. En 2025, DeepSeek a publié V3.1, puis V3.2-Exp en septembre. V3.1 introduisait un modèle hybride, capable d’alterner entre conversation générale et raisonnement via le modèle de dialogue.

DeepSeek conserve son architecture MoE

Les briques principales DeepSeek V3 repose sur une architecture Mixture-of-Experts, ou MoE, associée à Multi-Head Latent Attention, ou MLA. MLA compresse les tenseurs de clés et de valeurs avant leur stockage dans le cache KV. Cette compression réduit la mémoire nécessaire pendant l’inférence. Les tenseurs sont ensuite projetés vers leur dimension initiale avant leur utilisation. Le mécanisme ajoute une multiplication matricielle, mais il diminue la taille du cache. DeepSeek V2 avait déjà introduit MLA avant son adoption dans V3 et R1. Les versions V3, V3.1 et V3.1-Base partagent cette architecture. R1 se distingue donc surtout par sa recette d’entraînement dédiée au raisonnement.

Le modèle hybride DeepSeek V3.1 a réuni les capacités de conversation et de raisonnement dans un seul modèle. L’utilisateur sélectionne le mode au moyen du modèle de dialogue. Cette approche diffère de R1, qui était un modèle dédié au raisonnement. L’analyse rapproche V3.1 et V3.2 d’autres modèles hybrides, notamment Qwen3. Elle souligne aussi que certaines équipes ont ensuite publié des variantes séparées pour optimiser chaque usage. DeepSeek V3.2 poursuit donc une logique de modèle généraliste avec raisonnement intégré. Cette orientation repose sur les versions V3.1 et V3.1-Terminus. V3.1-Terminus constitue la base de l’entraînement de V3.2-Exp, avant l’ajout du mécanisme d’attention éparse.

DSA sélectionne les tokens utiles

L’attention éparse DeepSeek V3.2-Exp a ajouté DeepSeek Sparse Attention, ou DSA, à V3.1-Terminus par un entraînement continu. La DSA comprend un indexeur décrit comme un lightning indexer et un sélecteur de tokens. Son objectif consiste à réduire sélectivement le contexte traité par le modèle. Cette conception vise particulièrement les séquences longues, pour lesquelles le traitement de tous les tokens augmente les besoins d’inférence. V3.2-Exp nécessitait du code personnalisé, car son attention éparse ne suivait pas les mécanismes standards. L’analyse présente cette version expérimentale comme une étape technique avant la publication de DeepSeek V3.2, plus importante dans la série.

Un changement d’infrastructure DeepSeek V3.2-Exp n’a pas dominé les évaluations lors de sa sortie. L’analyse de Sebastian Raschka l’interprète comme une préparation de l’écosystème d’inférence et des outils de déploiement. Ces outils devaient prendre en charge la DSA avant l’arrivée de V3.2. Le mécanisme est donc lié à la fois à l’architecture du modèle et à son exécution. DeepSeek avait déjà publié plusieurs variantes avant ce jalon, dont V3.1 et V3.2-Exp. La séquence montre une progression de V3 vers des modèles hybrides, puis vers une attention éparse. Le rapport technique de DeepSeek constitue la référence pour les détails d’implémentation.

Un modèle à suivre DeepSeek V3.2 combine l’héritage architectural de V3 avec une nouvelle sélection de tokens pour l’attention. Il conserve l’association entre MoE et MLA, tout en ajoutant DSA dans la lignée de V3.2-Exp. Son positionnement à poids ouverts le distingue des modèles propriétaires cités dans l’analyse, notamment GPT-5 et Gemini 3.0 Pro. La série montre aussi deux voies d’évolution chez DeepSeek. R1 a servi de modèle dédié au raisonnement avec RLVR et GRPO. V3.1 et V3.2 réunissent plutôt conversation générale et raisonnement. Pour les équipes qui évaluent des modèles, les points à examiner sont donc l’efficacité sur longs contextes, le déploiement personnalisé et le mode de raisonnement choisi. Pour aller plus loin, consultez notre guide sur réduire ses coûts grâce à l’IA.