# Lilian Weng éclaire le paradoxe des réseaux surparamétrés > Lilian Weng détaille le noyau tangent neuronal, son lien avec la descente de gradient et la convergence des réseaux de largeur infinie. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-09-03 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/lilian-weng-revele-le-role-cle-du-noyau-tangent-neuronal Tags : réseaux neuronaux, ntk, apprentissage automatique, mathématiques --- ## En résumé - Lilian Weng présente le noyau tangent neuronal comme un outil d’analyse de l’entraînement. - Le NTK mesure l’effet d’une mise à jour sur les prédictions d’autres exemples. - Les réseaux de largeur infinie permettent d’étudier une convergence déterministe selon cette théorie. **Le signal :** Le NTK relie deux entrées par le produit scalaire de leurs gradients par rapport aux paramètres du réseau. **Lilian Weng détaille** le noyau tangent neuronal, ou NTK, dans un article consacré à ses fondements mathématiques. Le NTK décrit l’évolution des [réseaux neuronaux](/signal-ia/actu/lilian-weng-eclaire-les-secrets-du-noyau-tangent-neuronal) pendant un entraînement par descente de gradient. Il relie les prédictions produites pour deux entrées aux gradients de ces prédictions par rapport aux paramètres du modèle. Cette formulation aide à analyser pourquoi des réseaux surparamétrés peuvent atteindre une perte d’entraînement proche de zéro. L’article rappelle aussi que ces réseaux peuvent conserver une performance de généralisation correcte sur les données de test. Lilian Weng s’appuie principalement sur les travaux fondateurs de Jacot et ses co-auteurs, publiés en 2018 dans [l’article original](https://arxiv.org/abs/1806.07572). **Les bases structurent** cette analyse avec plusieurs outils [mathématiques](/signal-ia/actu/le-neural-tangent-kernel-cle-de-la-convergence-des-reseaux). La dérivée d’une fonction vectorielle par rapport à un vecteur forme une matrice jacobienne. Les équations différentielles décrivent ensuite les relations entre fonctions et dérivées. Le théorème central limite intervient pour relier des sommes de variables indépendantes à une distribution gaussienne lorsque leur nombre devient très grand. Enfin, le développement de Taylor fournit une approximation linéaire d’une fonction autour d’un point. Ces notions préparent la définition du NTK et son étude dans des réseaux comportant plusieurs couches, des biais et des fonctions d’activation lipschitziennes. ## Le NTK relie deux prédictions **Le noyau compare** deux entrées à partir de leurs gradients paramétriques. Pour un réseau f et des paramètres θ, Lilian Weng définit K(x, x’; θ) comme le produit entre le gradient de f(x; θ) et celui de f(x’; θ). Chaque composante du noyau additionne les produits des dérivées par rapport aux mêmes paramètres. Le gradient d’une prédiction constitue ainsi une carte de caractéristiques associée à l’entrée. Avec cette représentation, le NTK indique comment une modification des paramètres influencée par un exemple agit aussi sur une autre prédiction. Pour une sortie multidimensionnelle, le noyau devient une matrice reliant les différentes composantes des sorties. **La descente évolue** alors selon une équation différentielle obtenue à partir de la règle de chaîne. La dérivée des paramètres par rapport au temps correspond à l’opposé du gradient de la perte empirique. La dérivée de la sortie contient ensuite une somme sur les exemples d’entraînement. Le NTK apparaît dans chaque terme de cette somme, entre l’entrée évaluée et l’entrée d’entraînement. La perte empirique est définie comme la moyenne de coûts calculés sur N exemples. Cette écriture décrit donc directement l’influence des exemples sur l’évolution des sorties. Elle fournit aussi le cadre mathématique utilisé pour étudier la convergence des réseaux de largeur infinie. ## Les réseaux larges rapprochent deux modèles **La largeur tend** vers l’infini dans une partie centrale de l’analyse. Le réseau entièrement connecté possède L couches, des tailles n₀ à nL et un total de P paramètres. La paramétrisation NTK rescale les poids par 1/√nₗ afin d’éviter une divergence lorsque la largeur augmente. Les paramètres sont initialisés indépendamment selon une loi gaussienne centrée, de variance unitaire. Dans ce régime, plusieurs travaux théoriques étudient une convergence déterministe malgré des initialisations différentes. L’article présente cette propriété comme un moyen d’analyser la convergence vers un minimum global lorsque le réseau minimise une perte empirique, sans la présenter comme une garantie générale pour tous les réseaux finis. **Les [processus gaussiens](/signal-ia/actu/lilian-weng-devoile-le-noyau-tangent-des-reseaux-neuronaux)** forment un autre lien théorique présenté dans l’article. Pour un réseau de L couches, les sorties peuvent être décrites comme des processus gaussiens centrés dans le cadre de largeur infinie. Leur covariance, notée Σ(L), est construite récursivement à partir des couches précédentes. Dans un processus gaussien, chaque entrée du tableau de covariance utilise un noyau évalué entre deux points. Deux données jugées similaires par ce noyau produisent alors des sorties proches selon cette modélisation. Lilian Weng distingue cette connexion du NTK et renvoie à une [visualisation des processus gaussiens](https://distill.pub/2019/visual-exploration-gaussian-processes/), en complément de son exposé mathématique disponible [sur son site](https://lilianweng.github.io/posts/2022-09-08-ntk/).