Lilian Weng montre comment le NTK explique l’entraînement

Lilian Weng détaille le Neural Tangent Kernel, ou NTK, dans un article consacré à ses fondements mathématiques. Le concept vient de Jacot et al. en 2018. Il sert à expliquer l’évolution des réseaux de neurones pendant leur entraînement par descente de gradient. Ces réseaux peuvent contenir davantage de paramètres que de données d’entraînement. Ils peuvent aussi atteindre une perte d’entraînement proche de zéro, avec une performance correcte sur les données de test. L’article présente l’intuition, la définition du NTK et une démonstration de convergence déterministe pour des réseaux de largeur infinie. Lilian Weng précise que son approche privilégie quelques travaux centraux et un développement mathématique détaillé. Lire l’article complet

Les noyaux mesurent une similarité entre deux points de données. Un noyau doit être symétrique, avec K(x, x’) égal à K(x’, x). Certains noyaux s’écrivent comme le produit scalaire de deux représentations, notées φ(x) et φ(x’). Les méthodes à noyau prédisent alors une nouvelle étiquette grâce à une somme pondérée des étiquettes d’entraînement. L’article rappelle aussi le rôle du processus gaussien. Celui-ci définit une distribution gaussienne multivariée sur plusieurs variables aléatoires. Sa matrice de covariance utilise un noyau, dont chaque entrée compare deux points. Lorsque le noyau juge deux points similaires, les sorties correspondantes sont supposées proches. Cette construction relie noyaux, fonctions et prédictions probabilistes.

Le NTK relie gradients et sorties

La descente évolue selon le gradient de la perte empirique. Pour un ensemble de N exemples, cette perte correspond à la moyenne des coûts individuels. Le gradient par rapport aux paramètres additionne la contribution de chaque exemple. En considérant un pas infinitésimal, l’évolution des paramètres devient une équation différentielle temporelle. La sortie du réseau évolue alors selon un produit entre deux gradients. Le premier concerne l’entrée observée. Le second concerne un exemple d’entraînement. Leur produit scalaire définit le NTK. Pour deux entrées x et x’, le noyau vaut donc le produit de leurs gradients par rapport aux paramètres θ. Sa matrice contient les interactions entre les composantes des sorties. Voir la publication de Jacot et al.

Le réseau utilise une architecture entièrement connectée, notée f(.; θ), avec une entrée de taille n₀ et une sortie de taille nᴸ. Les couches sont indexées de 0 à L. Le nombre total de paramètres vaut P, obtenu en additionnant les poids et biais de chaque couche. La paramétrisation NTK applique un facteur 1 sur la racine carrée de la largeur de la couche précédente. Ce facteur évite une divergence lorsque la largeur devient infinie. Les paramètres sont initialisés selon une loi gaussienne centrée, de variance 1. Le biais est contrôlé par une constante β positive ou nulle. La fonction d’activation est supposée lipschitzienne. Ces choix fixent le cadre mathématique analysé par l’article.

La largeur infinie stabilise l’analyse

Les réseaux larges permettent d’étudier pourquoi plusieurs initialisations peuvent produire des effets similaires pendant l’entraînement. L’analyse considère des réseaux dont la largeur tend vers l’infini. Elle caractérise alors le NTK dans cette limite et étudie une convergence déterministe. L’objectif présenté est de montrer qu’un réseau de largeur suffisante peut converger vers un minimum global lorsqu’il minimise une perte empirique. Cette formulation concerne l’analyse théorique de la dynamique d’apprentissage. Elle ne constitue pas une mesure de performance commerciale. L’article relie aussi les réseaux profonds aux processus gaussiens, dont les sorties suivent une covariance définie récursivement. Le NTK fournit ainsi une représentation des interactions entre entrées via les gradients des sorties.