# Lilian Weng éclaire le lien entre gradients et réseaux infinis

> Le noyau tangent neuronal de Jacot relie gradients, descente de gradient et convergence des réseaux de largeur infinie vers un minimum global.

Type : Actualité IA · Catégorie : Tendances · Publié le 2026-11-02 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/jacot-revele-le-lien-entre-gradients-et-reseaux-infinis
Tags : ntk, réseaux neuronaux, apprentissage profond, noyaux, modèles gaussiens

---

## En résumé

- Le NTK mesure l’interaction entre les gradients de deux exemples.
- La paramétrisation NTK redimensionne les poids par 1 sur la racine de la largeur.
- Les réseaux de largeur infinie sont reliés aux processus gaussiens.

**Le signal :** Le NTK de Jacot et al. décrit comment le gradient sur un exemple influence les prédictions des autres exemples.

**Jacot et al.** Le noyau tangent neuronal, ou NTK, décrit l’évolution d’un réseau neuronal pendant l’[entraînement](/signal-ia/actu/andrej-karpathy-fiabilise-lentrainement-des-reseaux-neuronaux) par descente de gradient. Jacot et al. l’ont introduit en 2018 pour analyser l’effet d’une mise à jour sur les prédictions d’autres exemples. Cette approche s’intéresse aux réseaux surparamétrés, capables d’atteindre une perte d’entraînement proche de zéro. Elle examine aussi leur performance de généralisation sur des données de test. L’analyse présentée par Lilian Weng relie le NTK aux gradients du modèle, aux noyaux et aux processus gaussiens. Elle étudie enfin la convergence de réseaux de largeur infinie vers un minimum global lors de la minimisation d’une perte empirique. ([Article de Lilian Weng](https://lilianweng.github.io/posts/2022-09-08-ntk/))

**Le modèle étudié** Le réseau considéré est entièrement connecté, avec un paramètre θ et une fonction f qui transforme ℝⁿ⁰ en ℝⁿᴸ. Les couches vont de l’entrée, indexée 0, jusqu’à la sortie, indexée L. Le modèle compte P paramètres, avec P = Σ(l=0 à L−1)(n_l + 1)n_(l+1). Chaque couche applique une transformation affine, puis une non-linéarité σ supposée lipschitzienne. La paramétrisation NTK redimensionne les poids par 1/√n_l. Cette échelle évite une divergence lors du passage à une largeur infinie. Les paramètres sont initialisés indépendamment selon une loi gaussienne centrée de variance 1. Le biais est contrôlé par une constante β positive ou nulle. ([Référence originale de Jacot et al.](https://arxiv.org/abs/1806.07572))

## Le gradient définit le noyau

**La dynamique continue** La perte empirique moyenne les coûts individuels sur N exemples d’[apprentissage](/signal-ia/actu/le-noyau-tangent-de-jacot-revele-la-dynamique-des-reseaux). Son gradient par rapport à θ combine le gradient de la sortie du réseau et celui du coût. Lorsque les mises à jour deviennent suffisamment petites, l’évolution des paramètres peut être représentée par une équation différentielle. La dérivée de θ par rapport au temps est alors l’opposé du gradient de la perte. En réinjectant cette relation dans la dérivée de la sortie, l’évolution de f dépend d’un produit entre deux gradients paramétriques. Le premier correspond à l’entrée observée. Le second correspond à un exemple d’apprentissage. Cette formulation rend explicite l’influence croisée entre exemples.

**La définition matricielle** Le NTK entre deux entrées x et x′ vaut K(x, x′; θ) = ∇θf(x;θ)ᵀ∇θf(x′;θ). Pour une sortie de dimension nᴸ, il s’agit d’une matrice nᴸ × nᴸ. Chaque coefficient additionne, sur les P paramètres, les produits de dérivées correspondants. La carte de caractéristiques associée à x est donc le gradient ∇θf(x;θ). Cette structure reprend l’idée générale d’un noyau, qui mesure une similarité entre deux données. Un noyau est symétrique et peut s’écrire comme un produit scalaire de cartes de caractéristiques. Les méthodes à [noyaux](/signal-ia/actu/jacot-relie-gradients-et-convergence-au-noyau-tangent-neuronal) prédisent alors une nouvelle sortie par une somme pondérée des labels d’apprentissage. ([Présentation des méthodes à noyaux](https://en.wikipedia.org/wiki/Kernel_method))

## Les réseaux larges rejoignent les processus gaussiens

**La limite étudiée** Les travaux théoriques examinés utilisent des réseaux de largeur infinie pour comprendre pourquoi différentes initialisations peuvent produire des effets similaires pendant l’optimisation. L’analyse caractérise le NTK dans ce régime et établit une convergence déterministe pour plusieurs initialisations. Elle relie cette propriété à la possibilité de converger vers un minimum global lorsque le réseau minimise une perte empirique. Le texte rappelle aussi qu’un réseau neuronal profond possède un lien étroit avec les processus gaussiens. Pour un réseau à L couches, les sorties sont décrites comme des processus gaussiens centrés. Leur covariance, notée Σ^(L), est construite récursivement à partir des couches précédentes.