Lilian Weng relie le Neural Tangent Kernel à la généralisation

Lilian Weng détaille le Neural Tangent Kernel dans un article publié le 8 septembre 2022. Elle présente ce noyau comme un cadre pour comprendre l’évolution des réseaux de neurones pendant la descente de gradient. L’analyse part d’un constat sur les modèles surparamétrés. Ces réseaux peuvent atteindre une perte d’entraînement presque nulle, avec une généralisation correcte sur les données de test. Le nombre de paramètres peut même dépasser le nombre d’exemples d’entraînement. L’article relie cette dynamique à l’initialisation aléatoire des paramètres et aux mises à jour successives. Il s’appuie notamment sur les travaux de Jacot et ses coauteurs, publiés en 2018 dans l’article original.

Les bases mathématiques précèdent la définition du noyau. Weng rappelle qu’une fonction vectorielle possède une matrice jacobienne, dont la taille dépend des dimensions d’entrée et de sortie. Elle introduit ensuite les équations différentielles ordinaires, le théorème central limite et le développement de Taylor. Le théorème central limite décrit une moyenne gaussienne lorsque le nombre de variables indépendantes augmente. Le développement de Taylor fournit une approximation linéaire autour d’un point. Ces notions servent à formaliser les variations d’une sortie quand les paramètres du réseau évoluent. L’article renvoie aussi à des ressources sur les matrices jacobiennes et les séries de Taylor.

Weng formalise le noyau tangent

Les noyaux comparent deux points de données grâce à une fonction de similarité symétrique. Cette fonction peut s’écrire comme le produit interne de deux représentations, appelées cartes de caractéristiques. Les méthodes à noyaux prédisent alors une nouvelle sortie par une somme pondérée des étiquettes d’entraînement. Weng relie aussi ces noyaux aux processus gaussiens. Dans ce cadre, le noyau définit les entrées de la matrice de covariance. Deux points jugés similaires produisent ainsi des sorties proches selon le modèle. Pour un réseau entièrement connecté, l’article définit les couches, les poids, les biais et le nombre total de paramètres. Il utilise une activation scalaire continue au sens de Lipschitz.

La paramétrisation NTK applique un facteur de redimensionnement égal à 1/√n (n étant la largeur de la couche) aux poids d’une couche. Cette mise à l’échelle évite une divergence lorsque la largeur du réseau devient infinie. Les paramètres sont initialisés indépendamment selon une loi gaussienne centrée, de variance unitaire. L’article définit la perte empirique comme la moyenne des coûts calculés sur $N$ exemples. En assimilant une petite mise à jour à une dérivée temporelle, il obtient une équation pour l’évolution des paramètres. La règle de chaîne donne ensuite l’évolution de la sortie du réseau. Le terme central est le produit des gradients de deux sorties par rapport aux paramètres. Il constitue le Neural Tangent Kernel.

Les réseaux larges convergent

Le noyau relie deux entrées en calculant le produit interne de leurs gradients paramétriques. Pour des sorties scalaires, chaque contribution additionne les produits des dérivées par rapport aux $P$ paramètres. La carte de caractéristiques associée à une entrée correspond donc à son gradient par rapport aux paramètres. Cette représentation indique comment une modification des paramètres influence une prédiction. L’équation obtenue décrit aussi l’effet d’un exemple d’entraînement sur les autres sorties. Weng examine ensuite les réseaux de largeur infinie pour étudier la similarité des effets entre différentes initialisations. L’article présente une preuve de convergence déterministe vers un minimum global dans ce cadre, lorsque la perte empirique est minimisée.

Le lien gaussien complète cette analyse des réseaux larges. Les sorties d’un réseau profond à $L$ couches sont décrites comme des processus gaussiens centrés, avec une covariance définie récursivement. Chaque élément de cette covariance dépend d’un noyau appliqué à deux entrées. Le texte examine ensuite le noyau tangent déterministe et les modèles linéarisés. Il décrit ainsi une lecture mathématique de l’entraînement, fondée sur les gradients, la largeur du réseau et la dynamique de la sortie. Weng précise que son article privilégie un nombre réduit de travaux fondamentaux et une présentation mathématique détaillée. Les références citées incluent Jacot et ses coauteurs, ainsi que Neal pour le lien avec les processus gaussiens.