# Lilian Weng refond son guide des Transformers après trois ans > Lilian Weng publie une version 2.0 deux fois plus longue de son panorama des Transformers, enrichie de travaux sur l’attention et le contexte. Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-16 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/lilian-weng-devoile-la-version-20-des-transformers Tags : transformers, attention, modèles de langage, contexte --- ## En résumé - Lilian Weng restructure et enrichit son panorama des architectures Transformer. - Le Transformer utilise l’attention pour pondérer les valeurs selon les requêtes et les clés. - Les encodages positionnels apportent l’ordre nécessaire à une opération d’auto-attention indépendante de la permutation. **Le signal :** Lilian Weng présente une version 2.0 du panorama, environ deux fois plus longue que son article de 2020. **Lilian Weng publie** une version 2.0 de son article consacré à la famille des Transformers. Cette nouvelle édition refond un texte publié en 2020, après environ trois années d’évolution des architectures. Elle réorganise la hiérarchie des sections et ajoute des travaux plus récents. Le résultat représente environ deux fois la longueur de l’ancienne version. L’article couvre les bases du Transformer, l’attention, les architectures encodeur-décodeur et plusieurs méthodes d’[encodage positionnel](/signal-ia/actu/lilian-weng-devoile-la-version-20-de-son-guide-transformer). Il aborde aussi le contexte long, la mémoire externe, l’attention efficace, les modèles adaptatifs et l’apprentissage par renforcement. Lilian Weng présente donc une cartographie technique élargie, plutôt qu’une architecture unique ou une nouvelle implémentation logicielle. **Le [Transformer](/signal-ia/actu/lilian-weng-devoile-son-panorama-transformer-20) classique** repose sur une architecture encodeur-décodeur, présentée par Vaswani et ses coauteurs en 2017. Son encodeur produit une représentation fondée sur l’attention, puis son décodeur récupère des informations dans cette représentation. L’encodeur comprend une pile de six modules identiques. Chaque module contient une attention multi-tête et un réseau feed-forward appliqué élément par élément. Des connexions résiduelles et une normalisation de couche complètent chaque sous-module. Le décodeur ajoute une seconde attention multi-tête. Sa première attention est masquée, afin d’empêcher chaque position de consulter les positions futures. Des versions simplifiées ont ensuite été utilisées pour la modélisation du langage, notamment BERT côté encodeur et GPT côté décodeur. ## L’attention structure les représentations **L’attention pondère** les vecteurs de valeur à partir du lien entre une requête et une clé. Dans le Transformer, ce calcul utilise l’attention à produit scalaire réduite. Les matrices de requêtes, de clés et de valeurs proviennent de projections apprises des entrées. L’auto-attention applique ce mécanisme à différentes parties d’un même échantillon. Elle reste toutefois invariante par permutation. Le modèle a donc besoin d’une information supplémentaire pour représenter l’ordre des éléments. L’attention multi-tête résout une partie du problème en séparant les représentations dans plusieurs sous-espaces. Les sorties de chaque tête sont calculées en parallèle, concaténées, puis transformées par une projection linéaire apprise. **Les positions évoluent** selon plusieurs familles d’encodage décrites par Lilian Weng. L’encodage sinusoïdal associe à chaque dimension une sinusoïde de longueur d’onde différente, entre 2π et 10000 fois 2π. L’encodage appris attribue plutôt un vecteur appris à chaque position absolue. Shaw et ses coauteurs introduisent des représentations relatives, avec une distance maximale limitée par une valeur k. Cette limite produit 2k + 1 étiquettes de position. Transformer-XL, présenté par Dai et ses coauteurs en 2019, encode l’écart entre deux positions et conserve l’information à travers les segments. RoPE, proposé par Su et ses coauteurs en 2021, représente la position par une rotation proportionnelle à l’indice. ## Les recherches ciblent le contexte **Le panorama élargit** ensuite l’étude aux séquences longues et aux mécanismes de mémoire. Lilian Weng regroupe notamment la mémoire de contexte, la mémoire externe non différentiable et les scores d’attention renforcés par la distance. Ces pistes modifient la manière dont un modèle sélectionne les positions consultées. L’article présente aussi des approches qui rendent le traitement récurrent. D’autres sections portent sur la modélisation adaptative, l’étendue d’attention adaptative et les [Transformers](/signal-ia/actu/lilian-weng-refond-son-panorama-des-transformers) dont la profondeur varie selon les besoins. Ces catégories décrivent des axes de conception distincts. Elles ne constituent pas une seule architecture combinée dans la version 2.0 de l’article. **Les méthodes efficaces** occupent également une place importante dans cette refonte. Lilian Weng décrit l’attention creuse et plusieurs schémas de sélection des positions. Le contexte local fixe limite l’accès à une zone voisine. Le contexte entrelacé sélectionne des positions selon un pas. D’autres méthodes combinent un accès local avec un accès global. L’article présente aussi l’attention fondée sur le contenu et l’attention de faible rang. Ces variantes cherchent à modifier le coût ou la structure du calcul d’attention. La version 2.0 se termine par une section consacrée aux Transformers pour l’apprentissage par renforcement. Elle rassemble ainsi les évolutions techniques ajoutées depuis l’article de 2020. **La lecture commence** par les notations et les bases mathématiques du mécanisme. Les symboles décrivent notamment la dimension du modèle d, le nombre de têtes h, la longueur de segment L et le nombre total de couches d’attention N. Les matrices Q, K et V représentent respectivement les requêtes, les clés et les valeurs. L’article relie ensuite ces notations aux variantes d’architecture. Les références citées incluent Vaswani et ses coauteurs en 2017, Shaw et ses coauteurs en 2018, Dai et ses coauteurs en 2019, ainsi que Su et ses coauteurs en 2021. Le panorama complet est disponible sur le [site de Lilian Weng](https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/). Les travaux fondateurs incluent également [Attention Is All You Need](https://arxiv.org/abs/1706.03762) et [Transformer-XL](https://arxiv.org/abs/1901.02860).