Lilian Weng double la taille de son guide Transformer

Lilian Weng publie une version 2.0 de son article consacré à la famille Transformer. Cette édition refond et enrichit un texte publié en 2020. Elle est environ deux fois plus longue que la précédente. L’autrice réorganise la hiérarchie des sections et ajoute des travaux plus récents. Le document couvre les bases du Transformer, l’attention, l’encodage positionnel et les architectures conçues pour traiter des contextes plus longs. Il aborde aussi l’attention efficace, les motifs d’attention dispersés et l’usage des Transformers en apprentissage par renforcement. La nouvelle édition est présentée comme un surensemble de l’ancienne, plutôt que comme un article séparé de son contenu initial.

Le Transformer classique utilise une architecture composée d’un encodeur et d’un décodeur. Le modèle original de Vaswani et ses coauteurs date de 2017. Son encodeur contient une pile de six modules identiques. Chaque module associe une attention auto-régressive multi-tête et un réseau feed-forward appliqué à chaque position. Des connexions résiduelles et une normalisation de couche entourent ces sous-modules. Le décodeur reprend une structure comparable, avec deux sous-modules d’attention. Le premier est masqué afin d’empêcher chaque position d’accéder aux positions futures. Des versions simplifiées ont ensuite été utilisées pour la modélisation du langage, notamment BERT avec un encodeur et GPT avec un décodeur.

L’attention répartit les représentations

L’attention sélectionne des informations dans un ensemble de données grâce à des poids appris. Dans l’attention auto-régressive, une partie d’un échantillon utilise d’autres parties du même échantillon. Le Transformer emploie une attention à produit scalaire mise à l’échelle. Celle-ci combine des requêtes, des clés et des valeurs. Le produit entre une requête et une clé produit un score, puis une fonction softmax transforme ces scores en poids. Les vecteurs de valeur sont ensuite additionnés selon ces poids. L’attention multi-tête répète ce calcul sur plusieurs sous-espaces en parallèle. Les sorties sont concaténées, puis transformées par une projection linéaire apprise.

L’ordre exige un encodage positionnel, car l’auto-attention est invariante par permutation. La représentation positionnelle possède la même dimension que l’embedding d’entrée. Elle peut donc être ajoutée directement à celui-ci. Le Transformer original propose un encodage sinusoïdal dont les dimensions utilisent des longueurs d’onde différentes. Des encodages positionnels appris associent aussi un vecteur appris à chaque position absolue. Shaw et ses coauteurs ont introduit des informations positionnelles relatives dans les représentations des clés et des valeurs. Transformer-XL encode l’écart entre deux positions et sépare les informations de contenu des informations de localisation dans ses scores d’attention.

RoPE encode les positions relatives

RoPE fait pivoter les représentations pour intégrer l’information de position. Cette méthode, présentée par Su et ses coauteurs en 2021, encode la position absolue au moyen d’une matrice de rotation. Elle applique cette rotation aux matrices de clés et de valeurs de chaque couche d’attention. L’opération associe ainsi l’information positionnelle à la géométrie des représentations. L’objectif mathématique décrit dans l’article consiste à faire dépendre le produit interne de la position relative entre une clé et une requête. Le document compare cette approche à d’autres méthodes, dont les positions sinusoïdales, les positions apprises et le codage relatif introduit par Transformer-XL.

Le guide élargit ensuite son périmètre aux architectures destinées aux séquences longues. Il traite la mémoire de contexte, la mémoire externe non différentiable et une attention dont les scores intègrent la distance. Il présente aussi des modèles rendus récurrents, ainsi que des mécanismes d’attention adaptative. Les sections consacrées à l’efficacité couvrent l’attention dispersée, le contexte local fixe, le contexte parcouru par pas et la combinaison de contextes locaux et globaux. D’autres parties abordent l’attention fondée sur le contenu et l’attention de faible rang. L’article inclut enfin une section dédiée aux Transformers pour l’apprentissage par renforcement. Lire la version 2.0 de Lilian Weng. La publication originale sur l’architecture Transformer est disponible dans l’article de Vaswani et ses coauteurs.