Lilian Weng explique le rôle clé du noyau tangent

Le noyau tangent neuronal décrit l’évolution d’un réseau neuronal pendant son entraînement par descente de gradient. Lilian Weng présente le Neural Tangent Kernel, ou NTK, comme un outil pour comprendre comment une mise à jour sur un exemple influence les prédictions sur d’autres exemples. Le noyau est défini par le produit des gradients de la sortie du réseau par rapport à ses paramètres. Cette formulation relie directement la dynamique des paramètres à celle des sorties. L’analyse s’intéresse aussi aux réseaux suffisamment larges, qui peuvent converger vers un minimum global lorsqu’ils minimisent une perte empirique. Le sujet prolonge les travaux de Jacot et ses coauteurs publiés en 2018.

Les réseaux surparamétrés peuvent atteindre une perte d’entraînement proche de zéro tout en conservant une généralisation correcte sur les données de test. Cette propriété apparaît même lorsque le nombre de paramètres dépasse le nombre d’exemples d’entraînement. Les paramètres sont initialisés aléatoirement, mais l’optimisation peut conduire à des résultats similaires. L’article rappelle plusieurs outils nécessaires à l’analyse, notamment la matrice jacobienne, les équations différentielles, le théorème central limite et le développement de Taylor. Il présente aussi les méthodes à noyau, qui utilisent une fonction de similarité entre deux points. Une prédiction peut alors prendre la forme d’une somme pondérée des étiquettes d’exemples connus.

Le NTK relie gradients et sorties

La dynamique d’entraînement commence avec une perte empirique calculée sur un ensemble de N exemples annotés. Le gradient de cette perte additionne, pour chaque exemple, le gradient de la sortie par rapport aux paramètres et le gradient du coût par rapport à la sortie. Lorsque les mises à jour deviennent suffisamment petites, l’évolution des paramètres peut être représentée par une dérivée temporelle. La règle de chaîne donne alors l’évolution de la sortie du réseau. Elle fait apparaître le NTK entre deux entrées, x et x’. Chaque élément du noyau additionne les produits des dérivées de deux sorties par rapport à chacun des P paramètres du réseau.

La représentation par caractéristiques associe à une entrée le gradient de la sortie par rapport aux paramètres. Le NTK correspond alors au produit scalaire de ces représentations pour deux entrées. Dans un réseau entièrement connecté, les couches vont de l’entrée à la sortie et comptent respectivement n0 à nL neurones. Le nombre total de paramètres vaut P = somme des paramètres de chaque transformation affine, biais compris. La paramétrisation NTK applique un facteur 1 sur racine de nl aux poids. Ce redimensionnement évite une divergence lorsque la largeur du réseau tend vers l’infini. Les paramètres sont initialisés selon une loi gaussienne centrée, de variance unitaire.

Les réseaux larges approchent des noyaux

La largeur infinie sert à étudier pourquoi l’effet d’une mise à jour peut devenir similaire pour différentes initialisations. L’article examine comment le NTK caractérise cette situation et permet d’étudier une convergence déterministe pour des réseaux de largeur infinie. Les réseaux neuronaux profonds présentent également un lien avec les processus gaussiens, introduits dans ce cadre par Neal en 1994. Les sorties d’un réseau à L couches sont décrites comme des processus gaussiens centrés, avec une covariance définie récursivement. Dans un processus gaussien, chaque entrée de la matrice de covariance correspond à un noyau évalué entre deux points. Les points jugés similaires produisent ainsi des sorties proches selon ce modèle.

Le cadre théorique reste volontairement centré sur quelques travaux fondateurs et sur les démonstrations mathématiques associées au NTK. Lilian Weng indique que l’article privilégie la profondeur plutôt qu’une revue étendue des recherches postérieures. Les lecteurs peuvent consulter l’article original de Jacot et ses coauteurs ainsi que l’analyse complète de Lilian Weng. Le texte mobilise aussi le développement de Taylor pour approximer une fonction au premier ordre autour d’un point. Cette approximation soutient l’étude des modèles linéarisés. L’ensemble relie gradients, noyaux, processus gaussiens et entraînement des réseaux larges dans une même construction mathématique.