Jacot éclaire la généralisation des réseaux surparamétrés

Jacot formalise le mécanisme Le noyau tangent neuronal, ou NTK, décrit l’évolution d’un réseau neuronal entraîné par descente de gradient. Le concept vient des travaux de Jacot et de ses coauteurs, cités dans l’article de Lilian Weng. Il relie les gradients du modèle par rapport à ses paramètres aux changements de prédiction. Cette approche vise à expliquer pourquoi des réseaux surparamétrés peuvent atteindre une perte d’entraînement presque nulle. Elle s’intéresse aussi à leur capacité à conserver de bonnes performances sur des données de test. Le billet présente la définition du NTK, ses bases mathématiques et son comportement lorsque la largeur du réseau devient infinie. Lire l’article de Lilian Weng.

Les noyaux mesurent la similarité Un noyau est une fonction de similarité entre deux points de données. Il doit être symétrique, avec une valeur identique lorsque ses deux arguments sont inversés. Certains noyaux se représentent comme le produit scalaire de deux cartes de caractéristiques. Les méthodes à noyau prédisent alors une nouvelle sortie grâce à une somme pondérée des étiquettes d’entraînement. Le NTK reprend cette logique, mais sa carte de caractéristiques correspond au gradient du réseau par rapport à ses paramètres. Pour une entrée donnée, ce gradient décrit la sensibilité de la sortie à chaque paramètre. Le noyau compare ensuite ces sensibilités entre deux entrées.

Le NTK relie gradients et sorties

La descente devient différentielle Le réseau possède des paramètres θ et une fonction f qui transforme une entrée en sortie. La perte empirique moyenne les coûts calculés sur N exemples d’entraînement. La descente de gradient modifie alors θ dans la direction opposée au gradient de cette perte. Lorsque les pas deviennent suffisamment petits, cette évolution peut être décrite par une équation différentielle en temps. La sortie du réseau évolue donc selon les gradients associés aux exemples du jeu d’entraînement. Le terme central est le produit entre le gradient de la sortie sur une entrée et celui de la sortie sur une autre entrée. Ce produit constitue le NTK.

La largeur stabilise l’analyse L’article examine des réseaux entièrement connectés comprenant des couches indexées de 0 à L. Une couche de largeur n_l applique une transformation affine, une fonction d’activation et une normalisation par 1/√n_l. Cette normalisation évite une divergence lorsque la largeur devient infinie. Les paramètres sont initialisés indépendamment selon une loi gaussienne centrée de variance unitaire. L’analyse étudie alors les raisons pour lesquelles l’effet d’une mise à jour peut devenir similaire entre plusieurs initialisations. Dans cette limite de largeur infinie, le NTK sert à caractériser une convergence déterministe et à étudier la convergence vers un minimum global.

Les réseaux rejoignent les processus gaussiens

Les processus fournissent un parallèle Un processus gaussien définit une distribution gaussienne multivariée sur un ensemble de variables aléatoires. Il utilise une moyenne et une matrice de covariance, dont chaque entrée peut être donnée par un noyau. Deux points jugés similaires par ce noyau produisent alors des sorties proches dans le modèle. Le billet relie cette construction aux réseaux neuronaux profonds. Pour un réseau de L couches, les sorties peuvent être décrites comme des processus gaussiens centrés, avec une covariance définie récursivement. Cette connexion fournit un cadre pour comprendre les fonctions produites par des réseaux larges initialisés aléatoirement. Référence fondatrice sur arXiv.

La linéarisation simplifie l’entraînement Le développement de Taylor fournit une approximation linéaire d’une fonction autour d’un point de référence. Appliqué à un réseau, il permet d’étudier les sorties à partir des dérivées calculées autour des paramètres initiaux. Le NTK intervient alors comme le noyau associé à ces gradients. L’analyse présentée examine les modèles linéarisés et le régime appelé entraînement paresseux. Elle ne couvre pas les nombreux travaux ultérieurs qui modifient ou étendent cette théorie. Son objectif reste mathématique : dériver la définition du NTK, relier les réseaux de largeur infinie aux processus gaussiens et suivre l’évolution des prédictions sous descente de gradient.