Lilian Weng double la longueur de son panorama Transformer

Lilian Weng publie une version 2.0 de son panorama consacré à la famille Transformer. Cette nouvelle édition intervient environ trois ans après son article initial sur le sujet. Elle réorganise la hiérarchie des sections et enrichit plusieurs parties avec des travaux plus récents. L’autrice présente cette version comme un ensemble qui englobe l’ancienne édition. Le document atteint environ deux fois sa longueur précédente. Il couvre les bases du Transformer, l’attention, les encodages positionnels et les architectures à contexte étendu. Il aborde aussi l’attention efficace, les motifs clairsemés et l’usage des Transformers pour l’apprentissage par renforcement. Lire la version 2.0 de Lilian Weng

Le Transformer classique repose sur une architecture encodeur-décodeur. L’encodeur produit une représentation fondée sur l’attention, capable de localiser une information dans un contexte étendu. Il comprend une pile de six modules identiques. Chaque module associe une attention multi-tête et un réseau feed-forward appliqué élément par élément. Des connexions résiduelles et une normalisation de couche complètent ces sous-modules. Le décodeur récupère les informations produites par l’encodeur. Il possède deux sous-modules d’attention multi-tête. Le premier est masqué, afin d’empêcher chaque position d’accéder aux positions futures. Des variantes simplifiées utilisent également un encodeur seul, comme BERT, ou un décodeur seul, comme GPT.

L’attention répartit le calcul - le mécanisme est décrit dans l’article fondateur de 2017

L’attention sélective permet au modèle d’attribuer des poids appris aux éléments d’un ensemble de données. L’auto-attention utilise les autres parties du même échantillon pour produire une prédiction. Elle reste toutefois invariante par permutation, car elle opère sur un ensemble sans ordre intrinsèque. Le Transformer de Vaswani et ses coauteurs utilise une attention à produit scalaire normalisé. Le modèle transforme la séquence en matrices de requêtes, de clés et de valeurs. Il calcule ensuite des scores entre requêtes et clés, avant de produire une somme pondérée des valeurs. La normalisation par la racine de la dimension des clés intervient dans ce calcul. Voir l’article fondateur de Vaswani et al.

Les têtes parallèles divisent les représentations d’entrée en sous-espaces plus petits. Chaque tête applique séparément l’attention à produit scalaire normalisé. Les sorties obtenues sont ensuite concaténées, puis transformées par une matrice linéaire. Les matrices de poids propres aux requêtes, aux clés et aux valeurs sont apprises pendant l’entraînement. Cette organisation permet au module de traiter plusieurs sous-espaces simultanément. Dans la notation présentée par Lilian Weng, la séquence contient L éléments et chaque représentation possède une dimension d. Le nombre de têtes est noté h. La matrice d’auto-attention possède ainsi une forme L par L lorsqu’elle compare une séquence à elle-même.

Les positions structurent les séquences - le Transformer original a été présenté en 2017

Le positionnement devient nécessaire parce que l’auto-attention ne conserve pas spontanément l’ordre des éléments. L’encodage positionnel fournit donc cette information au modèle. Sa matrice possède la même dimension que les représentations d’entrée. Elle peut ainsi être ajoutée directement à celles-ci. Le Transformer classique propose un encodage sinusoïdal. Chaque dimension utilise une sinusoïde différente. Les longueurs d’onde s’étendent de 2π à 10000 fois 2π. Une autre approche apprend un vecteur pour chaque position absolue. Cet encodage appris peut aussi varier selon la couche. Ces choix structurent la représentation avant les opérations d’attention appliquées par les modules Transformer.

Les positions relatives décrivent plutôt l’écart entre deux éléments. Shaw et ses coauteurs intègrent cette information dans les matrices de clés et de valeurs. Leur méthode limite l’écart relatif à une valeur maximale k, ce qui produit 2k + 1 représentations apprises. Transformer-XL encode aussi la position relative entre une requête et une clé. Son calcul sépare l’information de contenu et l’information de localisation. RoPE, présenté par Su et ses coauteurs, encode la position absolue avec une rotation. Cette rotation injecte ensuite l’information relative dans les couches d’attention. Consulter les travaux cités sur les positions relatives

Le panorama couvre plusieurs extensions, notamment dans sa version publiée en 2023

La version enrichie ne s’arrête pas à l’architecture de base. Elle traite la mémoire de contexte, la mémoire externe non différentiable et les scores d’attention renforcés par la distance. Elle présente aussi des modèles récurrents et des mécanismes d’adaptation. Parmi ces thèmes figurent l’étendue d’attention adaptative et les Transformers à profondeur adaptative. Le document examine également l’attention efficace. Cette partie inclut les motifs d’attention clairsemés, le contexte local fixe et le contexte entrelacé. Elle aborde enfin la combinaison de contextes locaux et globaux, l’attention fondée sur le contenu et l’attention de faible rang. Le panorama inclut aussi l’apprentissage par renforcement.