# Lilian Weng détaille les leviers pour alléger les transformeurs

> Lilian Weng présente distillation, quantification et élagage pour réduire la mémoire, les calculs et la latence des grands transformeurs.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-11-02 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/lilian-weng-reduit-de-40-pourcent-le-cout-des-transformeurs
Tags : modèles, inférence, quantification, distillation, optimisation, llm, inference

---

## En résumé

- Lilian Weng recense plusieurs méthodes pour réduire le coût d’inférence des grands transformeurs.
- Le cache KV atteint 3 To avec un lot de 512 séquences et une longueur de contexte de 2048.
- DistilBERT réduit les paramètres de BERT de 40 % tout en conservant 97 % de ses performances.

**Le signal :** DistilBERT réduit de 40 % les paramètres de BERT, conserve 97 % de ses performances et accélère l’exécution de 71 %.

**Lilian Weng** décrit plusieurs méthodes pour réduire le coût d’inférence des grands modèles transformeurs dans un article mis à jour le 24 janvier 2023. Ces modèles obtiennent des résultats de pointe, mais leur utilisation reste coûteuse en temps et en mémoire. Le texte distingue trois objectifs opérationnels. Il faut réduire l’empreinte mémoire, diminuer la complexité des calculs et accélérer la latence. L’article examine notamment la distillation, la quantification, l’élagage et des optimisations propres à l’architecture des transformeurs. Il cite aussi le parallélisme, le transfert temporaire vers le processeur et le regroupement intelligent des séquences comme leviers complémentaires pour l’exécution de modèles très volumineux.

**Le cache KV** constitue un poste mémoire particulièrement lourd pendant le décodage. Avec une taille de lot de 512 et une longueur de contexte de 2048, il atteint 3 To. Ce volume représente trois fois la taille du modèle dans l’exemple présenté. L’attention augmente aussi quadratiquement avec la longueur de la séquence d’entrée. La génération autoregressive limite par ailleurs le parallélisme du décodage. Le parallélisme des composants et des données peut répartir un modèle sur plusieurs processeurs graphiques. Le transfert de données inutilisées vers le processeur réduit la mémoire mobilisée, mais augmente la latence. EffectiveTransformer supprime enfin le remplissage inutile entre séquences regroupées.

## DistilBERT réduit les paramètres de BERT

**La distillation** entraîne un modèle étudiant à reproduire les sorties d’un modèle enseignant préentraîné. L’étudiant doit disposer d’un espace de sortie compatible avec celui de l’enseignant. La fonction d’apprentissage compare généralement les distributions produites par les deux modèles avec une température élevée. Lorsque des étiquettes existent, une perte supervisée peut compléter cette comparaison. DistilBERT illustre cette approche sur BERT. Le modèle réduit de 40 % le nombre de paramètres, conserve 97 % des performances de BERT sur des tâches avales et fonctionne 71 % plus rapidement. Son préentraînement combine distillation souple, apprentissage supervisé et perte cosinus sur les représentations cachées.

**La quantification** convertit les poids ou les activations vers une précision plus basse. La quantification après entraînement intervient sans nouvel apprentissage et coûte généralement moins cher à mettre en œuvre. La quantification consciente de l’entraînement peut obtenir de meilleures performances, mais elle demande davantage de calculs et des données représentatives. Une quantification simple en basse précision, notamment sur 8 bits, peut toutefois dégrader fortement les performances des transformeurs. Les activations présentent parfois de fortes valeurs aberrantes. Dans les modèles OPT dépassant 6,7 milliards de paramètres, certaines dimensions peuvent atteindre une amplitude environ 100 fois supérieure à celle de la plupart des autres valeurs.

## La précision mixte cible les valeurs aberrantes

**Les méthodes mixtes** conservent une précision supérieure pour certaines valeurs et réduisent la précision ailleurs. LLM.int8() garde les caractéristiques d’activation aberrantes en FP16, tandis que les autres éléments utilisent INT8. Ces valeurs ne représentent qu’une petite fraction des poids. GOBO détecte les valeurs aberrantes selon la moyenne et l’écart type propres à chaque couche. Bondarenko et ses coauteurs utilisent 16 bits pour certaines activations problématiques et 8 bits pour les autres. Q-BERT applique une quantification par groupes et une précision mixte fondée sur la sensibilité mesurée par le spectre de Hessien. ZeroQuant combine quantification par groupes des poids et quantification par jeton des activations.

**Les compromis matériels** limitent toutefois les gains théoriques de certaines méthodes. L’absence de noyaux graphiques adaptés à certains produits matriciels, comme INT4 avec FP16, peut empêcher une accélération réelle de l’inférence. La granularité influence aussi la qualité. Une quantification par couche est simple, mais elle représente mal les différences internes d’une matrice. Q-BERT traite chaque tête d’attention comme un groupe. ZeroQuant construit un noyau personnalisé qui fusionne la quantification avec l’opérateur précédent. La distillation peut être associée à la quantification, à l’élagage ou à la sparsification. Le modèle enseignant reste alors dense et en pleine précision, tandis que l’étudiant est comprimé.

[Lire l’article complet de Lilian Weng](https://lilianweng.github.io/posts/2023-01-10-inference-optimization/) et consulter l’approche de [GPTQ](https://arxiv.org/abs/2211.05102). Le dépôt [EffectiveTransformer](https://github.com/bytedance/effective_transformer) documente également une stratégie de regroupement des séquences.
Pour aller plus loin, consultez notre guide sur [réduire ses coûts grâce à l'IA](/signal-ia/guides/reduire-couts-ia-automatisations-pme-2026).