# DistilBERT réduit BERT de 40 % sans sacrifier ses performances

> Les grands transformeurs coûtent cher à exécuter : DistilBERT réduit de 40 % ses paramètres, conserve 97 % des performances et gagne 71 % de vitesse.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-16 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/distilbert-allege-bert-de-40-pourcent-et-conserve-97-pourcent-des-performances
Tags : inférence, transformeurs, quantification, distillation, compression, llm, inference

---

## En résumé

- Les grands transformeurs mobilisent beaucoup de mémoire pendant le décodage.
- DistilBERT réduit les paramètres de BERT de 40 %.
- La quantification à faible précision peut dégrader les performances des modèles.

**Le signal :** DistilBERT réduit de 40 % les paramètres de BERT tout en conservant 97 % de ses performances.

**Les grands [transformeurs](/signal-ia/actu/distilbert-accelere-linference-de-71-pourcent-avec-moins-de-parametres)** produisent des résultats de pointe, mais leur inférence reste coûteuse en temps et en mémoire. Le problème concerne notamment les modèles de grande taille utilisés à l’échelle. Pendant le décodage, le cache clé-valeur doit rester en mémoire. Avec une taille de lot de 512 et un contexte de 2 048 tokens, ce cache atteint 3 To. Il représente alors trois fois la taille du modèle. Le mécanisme d’attention augmente aussi son coût avec le carré de la longueur de séquence. Enfin, la génération autorégressive limite le parallélisme. Ces contraintes motivent plusieurs méthodes de compression et d’optimisation de l’architecture. [Lire l’article original](https://lilianweng.github.io/posts/2023-01-10-inference-optimization/)

**Les objectifs opérationnels** portent sur trois axes. Les équipes cherchent à réduire la mémoire utilisée, le nombre d’opérations et la latence d’inférence. Le parallélisme permet de répartir les composants d’un modèle sur plusieurs processeurs graphiques. Le déport temporaire vers le processeur central libère de la mémoire, mais augmente la latence. Le regroupement intelligent de séquences peut aussi supprimer le remplissage inutile dans un lot. La compression de réseau rassemble notamment la distillation, la [quantification](/signal-ia/actu/distilbert-accelere-lia-sans-sacrifier-les-performances) et l’élagage. Enfin, des adaptations propres à l’architecture peuvent accélérer le décodage. L’article cite EffectiveTransformer comme exemple de stratégie de regroupement des séquences. [Voir le projet EffectiveTransformer](https://github.com/bytedance/effective_transformer)

## DistilBERT réduit le modèle BERT

**La [distillation](/signal-ia/actu/distilbert-allege-bert-de-40-pourcent-et-accelere-linference-de-71-pourcent) de connaissances** entraîne un modèle étudiant à reproduire les sorties d’un modèle enseignant plus coûteux. Le modèle étudiant doit partager l’espace de sortie nécessaire avec l’enseignant. Pour un modèle de langage, l’objectif compare les distributions de probabilité produites pour les tokens. Une température élevée est utilisée dans la perte de distillation. Lorsque des étiquettes existent, cette perte peut être combinée avec un objectif supervisé. DistilBERT illustre cette approche sur BERT. Il réduit de 40 % le nombre de paramètres, conserve 97 % des performances de BERT sur des tâches avales et fonctionne 71 % plus rapidement. Son entraînement combine distillation, apprentissage supervisé et perte d’alignement cosinus. [Consulter l’article de DistilBERT](https://arxiv.org/abs/1910.01108)

**La compression combinée** associe la distillation à la quantification, à l’élagage ou à une sparsité accrue. Dans ce schéma, le modèle enseignant reste dense et en précision complète. Le modèle étudiant peut être quantifié, élagué ou réduit. La quantification post-entraînement convertit les poids après convergence, sans entraînement supplémentaire. Elle coûte généralement moins cher que la quantification intégrée à l’entraînement. Cette dernière peut préserver davantage les performances, mais elle demande des ressources supplémentaires et des données représentatives. Le gain théorique ne garantit toutefois pas une accélération réelle. Certains produits de matrices, comme INT4 par FP16, ne disposent pas nécessairement d’un noyau graphique adapté.

## Les activations compliquent la quantification

**Les modèles quantifiés** rencontrent une difficulté particulière avec les activations. Une quantification post-entraînement simple en faible précision, par exemple sur 8 bits, peut fortement réduire les performances. Les activations possèdent souvent des amplitudes très différentes. Dans les modèles OPT dépassant 6,7 milliards de paramètres, des valeurs extrêmes apparaissent dans toutes les couches du transformeur. Certaines dimensions peuvent atteindre une amplitude environ 100 fois supérieure à la majorité des autres valeurs. Une stratégie mixte conserve alors certaines activations en FP16 et quantifie le reste en INT8. LLM.int8() applique notamment une décomposition par lignes et colonnes, avec une détection empirique des valeurs extrêmes.