Lilian Weng explique le rôle du NTK dans l’entraînement

Lilian Weng présente le Neural Tangent Kernel, ou NTK, comme un outil pour comprendre l’entraînement des réseaux de neurones. Son article examine son rôle pendant la descente de gradient. Le NTK décrit comment une mise à jour des paramètres sur un exemple influence les prédictions sur d’autres exemples. Cette approche vise aussi à expliquer pourquoi des réseaux suffisamment larges peuvent converger vers un minimum global lors de la minimisation d’une perte empirique. L’analyse s’appuie sur les travaux de Jacot et al. publiés en 2018. Elle couvre la définition du noyau, les réseaux de largeur infinie et les modèles linéarisés. Lire l’article original de Lilian Weng.

Le cadre mathématique repose d’abord sur plusieurs notions. La dérivée d’une fonction vectorielle forme une matrice jacobienne de dimension m par n. Le théorème central limite décrit ensuite le comportement gaussien d’une moyenne lorsque le nombre de variables indépendantes augmente. Le développement de Taylor fournit une approximation linéaire autour d’un point donné. Enfin, un noyau mesure une similarité entre deux données et peut s’écrire comme un produit scalaire de représentations. Les méthodes à noyau prédisent alors une sortie par somme pondérée des étiquettes d’entraînement. Ces briques permettent de relier gradients, similarité et évolution des sorties dans un réseau neuronal.

Le NTK relie gradients et sorties

La définition centrale utilise un réseau entièrement connecté, noté f(.;θ), avec P paramètres. Pour deux entrées x et x’, le NTK est le produit entre leurs gradients par rapport à θ. Chaque élément additionne, sur les P paramètres, les produits des dérivées correspondantes. La représentation d’une entrée devient donc son gradient par rapport aux paramètres du réseau. Dans cette formulation, le noyau peut être matriciel lorsque la sortie possède plusieurs composantes. Il indique comment les paramètres communs relient les réponses du modèle sur deux données. La définition provient directement de la règle de chaîne appliquée à l’évolution des sorties pendant l’optimisation par descente de gradient.

La dynamique continue approxime chaque petite mise à jour par une dérivée temporelle. Le paramètre θ suit alors l’opposé du gradient de la perte empirique. En appliquant encore la règle de chaîne à la sortie f(x;θ), l’évolution de cette sortie devient une somme de termes pondérés par le NTK. Chaque terme associe une entrée d’entraînement à l’entrée observée. Le document formalise cette relation pour une perte calculée sur N exemples. Dans le réseau étudié, chaque couche applique une transformation affine, puis une non-linéarité σ supposée lipschitzienne. Les paramètres sont initialisés selon une loi gaussienne centrée de variance unitaire. Voir l’article fondateur de Jacot et ses coauteurs.

Les réseaux larges stabilisent l’analyse

La largeur infinie sert à étudier la similarité des effets d’une mise à jour entre différentes initialisations. La paramétrisation NTK applique un facteur 1 sur la racine carrée de la largeur de la couche précédente. Ce redimensionnement empêche la divergence de la transformation lorsque la largeur tend vers l’infini. Le modèle comprend des matrices de poids, des biais et une fonction d’activation appliquée composante par composante. L’article examine ensuite une convergence déterministe dans ce régime. Cette analyse fournit un cadre théorique pour relier les entraînements de réseaux larges à une dynamique décrite par le noyau tangent neuronal.

Le lien probabiliste apparaît avec les processus gaussiens. Pour un réseau de L couches, les sorties peuvent être décrites comme des processus gaussiens centrés dans le cadre étudié. Leur covariance, notée Σ(L), est construite récursivement à partir des couches précédentes. Chaque entrée de cette matrice de covariance correspond à un noyau évalué entre deux données. Deux points jugés similaires par ce noyau produisent alors des sorties proches dans le modèle probabiliste. Les processus gaussiens utilisent ensuite une distribution conditionnelle pour prédire des points inconnus après observation des données. Une visualisation des processus gaussiens est disponible ici.

La portée pédagogique reste volontairement mathématique. L’article détaille les dérivées vectorielles, les équations différentielles, les développements de Taylor et les méthodes à noyau avant d’introduire le NTK. Il distingue ainsi l’intuition, la définition formelle et l’analyse des réseaux de largeur infinie. La présentation aborde aussi les modèles linéarisés et l’entraînement paresseux, sans couvrir les nombreux travaux ultérieurs consacrés aux extensions de cette théorie. Pour les lecteurs qui veulent suivre les équations, le fil directeur est précis : les gradients forment une représentation des données, leur produit définit le NTK, puis ce noyau gouverne l’évolution continue des sorties sous descente de gradient.