# Lilian Weng enrichit sa synthèse sur les Transformers > Lilian Weng publie une version 2.0 deux fois plus longue de sa synthèse des architectures Transformer et de leurs évolutions récentes. Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-08 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/lilian-weng-livre-la-version-20-de-sa-synthese-transformer Tags : transformer, attention, modèles de langage, architecture, ia --- ## En résumé - Lilian Weng enrichit sa synthèse des architectures Transformer avec une version 2.0. - Le mécanisme d’auto-attention utilise des requêtes, des clés et des valeurs. - Les encodages positionnels indiquent l’ordre des éléments dans une séquence. **Le signal :** Lilian Weng présente une version 2.0 environ deux fois plus longue de son panorama des architectures Transformer. **Version enrichie** Lilian Weng publie une version 2.0 de son article consacré à la famille Transformer. Cette nouvelle édition reprend et restructure son article de 2020. Elle ajoute aussi des travaux plus récents sur les [architectures](/signal-ia/actu/lilian-weng-double-son-panorama-des-architectures-transformer) Transformer. L’autrice indique que cette version constitue un sur-ensemble de l’ancienne. Le texte atteint environ deux fois sa longueur précédente. Il couvre les bases du Transformer, l’attention, les architectures encodeur-décodeur et plusieurs méthodes d’encodage positionnel. Il aborde également les contextes longs, la mémoire externe, les modèles adaptatifs et l’attention efficace. Une section finale traite des Transformers appliqués à l’apprentissage par renforcement. [Lire l’article de Lilian Weng](https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/). **Mécanisme central** Le [Transformer](/signal-ia/actu/lilian-weng-enrichit-son-panorama-transformer-en-version-20) utilise l’attention pour pondérer les informations utiles à une prédiction. L’auto-attention applique ce mécanisme à différentes parties d’un même échantillon. Elle reste invariante par permutation, car elle opère sur un ensemble d’éléments. Le modèle original emploie une attention à produit scalaire normalisé. Celle-ci combine une matrice de requêtes, une matrice de clés et une matrice de valeurs. Les scores résultent du produit entre chaque requête et chaque clé. Une fonction softmax transforme ensuite ces scores en poids. La sortie correspond à une somme pondérée des vecteurs de valeurs. [Voir l’article fondateur](https://arxiv.org/abs/1706.03762). ## Lilian Weng détaille l’attention **Têtes parallèles** L’auto-attention multi-têtes divise les représentations en plusieurs sous-espaces. Chaque tête calcule une attention à produit scalaire normalisé en parallèle. Les sorties indépendantes sont ensuite concaténées. Une transformation linéaire les ramène aux dimensions attendues. Les matrices de poids associent les représentations d’entrée aux requêtes, clés et valeurs. Le Transformer original repose aussi sur une [architecture](/signal-ia/actu/transformer-la-revolution-20-de-signal) encodeur-décodeur. Son encodeur comprend une pile de six modules identiques. Chaque module contient une couche d’auto-attention multi-têtes et un réseau de neurones entièrement connecté. Le décodeur ajoute deux sous-modules d’attention. Son premier sous-module masque les positions futures pendant la génération. **Ordre des séquences** L’auto-attention ne fournit pas directement l’ordre des éléments. Le modèle ajoute donc une matrice d’encodage positionnel aux représentations d’entrée. Cette matrice possède la même dimension que les vecteurs d’entrée. Le Transformer original propose un encodage sinusoïdal et un encodage appris. L’encodage sinusoïdal associe chaque dimension à une sinusoïde de longueur d’onde différente. Les longueurs d’onde s’étendent de 2π à 10000 × 2π. L’encodage appris attribue un vecteur à chaque position absolue. D’autres travaux représentent une position relative. Transformer-XL encode alors l’écart entre deux positions pour conserver l’information entre plusieurs segments. ## Les positions structurent les séquences **Nouvelles variantes** La version 2.0 présente aussi Rotary Position Embedding, ou RoPE. Cette méthode encode la position absolue avec une matrice de rotation. Elle applique cette rotation aux matrices de clés et de valeurs de chaque couche d’attention. RoPE injecte ainsi une information positionnelle relative dans chaque couche. L’article examine ensuite des méthodes destinées aux séquences longues. Certaines utilisent une mémoire de contexte. D’autres recourent à une mémoire externe non différentiable. Des scores d’attention renforcés par la distance peuvent également modifier le calcul. Une autre approche rend le Transformer récurrent. Ces méthodes répondent à des contraintes distinctes liées au contexte et au calcul. **Panorama étendu** Lilian Weng regroupe enfin plusieurs familles d’améliorations architecturales. L’attention adaptative peut limiter la portée examinée par certaines têtes. La profondeur adaptative peut modifier le nombre de couches utilisées. L’attention efficace comprend des schémas creux et des contextes locaux fixes. Des contextes entrelacés et des combinaisons locales et globales figurent aussi dans cette synthèse. L’article couvre encore l’attention fondée sur le contenu et l’attention de faible rang. Il termine par les Transformers pour l’apprentissage par renforcement. La bibliographie cite notamment BERT, GPT, Transformer-XL et RoPE. [Consulter les références citées](https://arxiv.org/abs/1901.02860).