# Lilian Weng cible les 3 To de mémoire des Transformers > Lilian Weng recense distillation, quantification et élagage pour réduire mémoire, calcul et latence des grands modèles Transformer en production. Type : Actualité IA · Catégorie : Outils · Publié le 2026-08-25 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/lilian-weng-devoile-les-cles-pour-accelerer-les-transformers Tags : inférence, transformers, quantification, distillation, optimisation, llm, inference --- ## En résumé - Les grands Transformers mobilisent beaucoup de mémoire pendant le décodage. - La distillation permet de construire un modèle étudiant plus petit. - La quantification doit tenir compte des valeurs aberrantes et du matériel. **Le signal :** DistilBERT réduit de 40 % les paramètres de BERT, conserve 97 % de ses performances et accélère l’inférence de 71 %. **Lilian Weng** décrit, dans un article publié le 10 janvier 2023 puis mis à jour le 24 janvier, plusieurs méthodes pour optimiser l’inférence des grands modèles Transformer. Ces modèles produisent des résultats de pointe, mais leur utilisation coûte cher en temps et en mémoire. La mémoire KV illustre cette difficulté. Avec un lot de 512 séquences et un contexte de 2 048 tokens, elle atteint 3 téraoctets. Ce volume représente trois fois la taille du modèle, selon l’exemple cité par Weng. La génération reste également peu parallélisable, car elle s’exécute de manière autorégressive. L’article complet est disponible sur le [blog de Lilian Weng](https://lilianweng.github.io/posts/2023-01-10-inference-optimization/). **Trois objectifs** structurent cette [optimisation](/signal-ia/actu/optimisation-des-modeles-transformers-defis-de-calcul). Les méthodes cherchent à réduire l’empreinte mémoire, le nombre d’opérations en virgule flottante et la latence d’inférence. Le parallélisme peut répartir un modèle entre plusieurs processeurs graphiques. L’article indique que cette approche permet d’exécuter des modèles atteignant des milliers de milliards de paramètres. Le transfert temporaire de données vers le processeur central réduit la pression sur la mémoire, mais augmente la latence. Le regroupement intelligent des séquences peut aussi supprimer le remplissage inutile dans un lot. Weng cite notamment [EffectiveTransformer](https://github.com/bytedance/effective_transformer) comme exemple de regroupement de séquences consécutives. ## La distillation réduit la taille **Le modèle étudiant** apprend à reproduire les sorties d’un modèle enseignant préentraîné. Cette distillation transfère les compétences du modèle coûteux vers une architecture plus petite. L’architecture étudiante n’est pas fortement contrainte, mais son espace de sortie doit correspondre à celui du modèle enseignant. L’entraînement compare généralement les distributions produites par les deux modèles avec une température élevée. Lorsque des étiquettes existent, une fonction de perte supervisée peut compléter cette comparaison. La divergence de Kullback-Leibler constitue une fonction courante. Cette méthode peut être combinée avec la [quantification](/signal-ia/actu/distilbert-allege-bert-de-40-pourcent-et-accelere-son-execution-de-71-pourcent), l’élagage ou la sparsification. Le modèle enseignant reste alors dense et en pleine précision. **DistilBERT fournit** un résultat chiffré sur cette approche. Le modèle réduit de 40 % le nombre de paramètres de BERT. Il conserve 97 % des performances de BERT sur des tâches aval après ajustement. Son exécution est également 71 % plus rapide. Son entraînement combine une perte de distillation, une perte supervisée et une perte d’alignement des vecteurs d’états cachés. Cette combinaison concerne le modèle BERT et son objectif de modélisation du langage masqué. La distillation ne constitue donc pas seulement une réduction mécanique du nombre de paramètres. Elle organise un nouvel entraînement autour des sorties et des représentations du modèle enseignant. Weng renvoie aux travaux de [Hinton et al.](https://arxiv.org/abs/1503.02531). ## La quantification dépend du matériel **Deux voies principales** existent pour réduire la précision numérique. La quantification après entraînement convertit les poids une fois le modèle entraîné, sans nouvel entraînement. Elle coûte généralement moins cher à mettre en œuvre. La quantification consciente de l’entraînement intervient pendant le préentraînement ou l’ajustement complémentaire. Elle peut offrir de meilleures performances, mais demande davantage de calcul et des données représentatives. Les gains théoriques ne garantissent toutefois pas une accélération réelle. L’article signale l’absence de noyaux graphiques adaptés à certaines multiplications, notamment INT4 par FP16. Une méthode de quantification peut donc réduire la taille sans accélérer l’inférence sur le matériel disponible. **Les valeurs aberrantes** compliquent particulièrement la quantification des [Transformers](/signal-ia/actu/distilbert-allege-lia-sans-perte-de-puissance). Une quantification simple en faible précision, comme huit bits, peut fortement dégrader les performances lorsque les activations présentent de grandes amplitudes. Les modèles OPT dépassant 6,7 milliards de paramètres font apparaître des valeurs aberrantes dans toutes les couches Transformer, selon Dettmers et al. Certaines dimensions d’activation atteignent environ 100 fois l’amplitude de la majorité des valeurs. Les approches mixtes conservent alors certains éléments en FP16 et quantifient les autres en INT8. LLM.int8() applique cette décomposition aux produits matriciels. Les méthodes à granularité fine utilisent aussi des groupes ou des tokens pour limiter l’erreur. **Les prochaines étapes** dépendent donc de l’architecture et des noyaux disponibles. La quantification mixte peut réserver 16 bits aux activations problématiques et huit bits aux autres. Q-BERT emploie une information issue du Hessien pour attribuer davantage de précision aux paramètres sensibles. GPTQ formule la quantification comme une minimisation de l’erreur entre les sorties originales et quantifiées. ZeroQuant combine une quantification par groupes des poids et une quantification par token des activations. Son noyau personnalisé fusionne la quantification avec l’opérateur précédent. Ces techniques complètent le parallélisme, le transfert mémoire et le regroupement des séquences, sans supprimer les contraintes de latence et de mémoire décrites par Weng.