Attention Mechanism
Le mécanisme d'attention est la technique clé des Transformers permettant au modèle de pondérer dynamiquement l'importance de chaque token par rapport aux autres lors du traitement d'une séquence. Il permet de capturer les dépendances à longue portée dans le texte.
Dans 'Le chat mange la souris parce qu'il a faim', le mécanisme d'attention permet au modèle de comprendre que 'il' réfère au 'chat' et non à la 'souris', en reliant les tokens distants de la phrase.
Le mécanisme d'attention est la technique clé des Transformers permettant au modèle de pondérer dynamiquement l'importance de chaque token par rapport aux autres lors du traitement d'une séquence. Il permet de capturer les dépendances à longue portée dans le texte.
Dans 'Le chat mange la souris parce qu'il a faim', le mécanisme d'attention permet au modèle de comprendre que 'il' réfère au 'chat' et non à la 'souris', en reliant les tokens distants de la phrase.
Mécanisme d'attention et Transformer sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Transformer, LLM, Deep Learning, Réseau de neurones.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés