# Jacot relie gradients et convergence au noyau tangent neuronal > Jacot et ses coauteurs introduisent le noyau tangent neuronal, un cadre mathématique reliant descente de gradient, largeur infinie et convergence. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-09-29 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/jacot-relie-gradients-et-convergence-au-noyau-tangent-neuronal Tags : réseaux neuronaux, apprentissage automatique, mathématiques, noyaux --- ## En résumé - Le noyau tangent neuronal relie les gradients des sorties du réseau aux évolutions produites par la descente de gradient. - La paramétrisation utilise un facteur de poids égal à 1 sur racine carrée de la largeur précédente. - Les réseaux de largeur infinie présentent un lien théorique avec les processus gaussiens. **Le signal :** Le noyau tangent neuronal mesure l’effet d’une mise à jour des paramètres sur les prédictions d’autres exemples. **Jacot et ses coauteurs** présentent le noyau tangent neuronal, ou NTK, comme un outil pour étudier l’entraînement des [réseaux neuronaux](/signal-ia/actu/lilian-weng-revele-le-role-cle-du-noyau-tangent-neuronal). Leur analyse relie la descente de gradient à l’évolution des prédictions du modèle. Un réseau peut ajuster ses paramètres pour atteindre une perte d’entraînement proche de zéro, même lorsque le nombre de paramètres dépasse celui des exemples d’entraînement. Le NTK décrit alors comment une mise à jour calculée sur un exemple influence les sorties associées aux autres exemples. L’article de référence est publié par Jacot et ses coauteurs en 2018. Lilian Weng propose une présentation mathématique détaillée dans [son article consacré au NTK](https://lilianweng.github.io/posts/2022-09-08-ntk/). **Le cadre mathématique** commence par le jacobien d’une fonction vectorielle. Pour une entrée dans R^n et une sortie dans R^m, le jacobien est une matrice de taille m par n. La dérivée d’un réseau par rapport à ses paramètres devient ainsi une représentation exploitable des sorties. Le texte rappelle aussi le rôle des équations différentielles ordinaires, du théorème central limite et du développement de Taylor. Le développement de Taylor au premier ordre fournit une approximation linéaire autour d’un point. Ces outils servent à formaliser l’évolution continue des paramètres lorsque les mises à jour de descente de gradient deviennent suffisamment petites. ## Le NTK relie gradients et sorties **La définition centrale** s’écrit comme un produit entre deux gradients par rapport aux paramètres. Pour deux entrées x et x’, le noyau vaut K(x, x’; θ) = ∇θf(x;θ)ᵀ∇θf(x’;θ). Chaque composante additionne les produits des dérivées de deux sorties selon chacun des P paramètres. La représentation associée à une entrée est donc le gradient de la sortie par rapport aux paramètres. Cette construction indique comment la prédiction liée à x répond aux variations qui concernent x’. Pour une sortie de dimension nL, le noyau produit une matrice de taille nL par nL. La définition complète est également reprise dans [l’article original de Jacot et ses coauteurs](https://arxiv.org/abs/1806.07572). **La descente continue** décrit les paramètres par une équation différentielle. La dérivée de θ selon le temps est l’opposé du gradient de la perte empirique. Cette perte correspond à la moyenne de N coûts calculés sur les exemples d’entraînement. En appliquant la règle de chaîne à la sortie du réseau, l’évolution de f(x;θ) devient une somme de noyaux NTK multipliés par les gradients des coûts individuels. Le noyau intervient donc directement dans la dynamique des sorties. Un noyau classique mesure une similarité entre deux données. Les méthodes à noyau utilisent ensuite une somme pondérée des étiquettes d’entraînement pour prédire une nouvelle entrée. ## La largeur infinie stabilise l’analyse **La paramétrisation du réseau** considère un modèle entièrement connecté, noté f(.;θ), avec L couches et P paramètres. Chaque couche applique une transformation affine, puis une non-linéarité ponctuelle supposée lipschitzienne. Le calcul affine utilise un facteur 1 sur racine carrée de nl, afin d’éviter une divergence lorsque la largeur tend vers l’infini. Les biais reçoivent un coefficient β supérieur ou égal à zéro. Tous les paramètres sont initialisés selon une loi gaussienne centrée de variance unitaire. Dans cette configuration, les travaux théoriques étudiés analysent la convergence de réseaux de largeur infinie vers un minimum global lors de la minimisation de la perte empirique. **Le lien probabiliste** apparaît avec les processus gaussiens. Un processus gaussien associe une distribution gaussienne multivariée à une collection de variables aléatoires. Sa matrice de covariance contient les valeurs d’un noyau entre les différentes entrées. Deux données jugées similaires par ce noyau produisent alors des sorties proches selon ce modèle. Pour les réseaux neuronaux, les sorties des couches sont décrites comme des processus gaussiens centrés, avec une covariance définie récursivement. Le texte présente cette connexion avant l’étude du NTK déterministe, des modèles linéarisés et de l’entraînement paresseux. Ces notions prolongent l’analyse de la dynamique d’[apprentissage](/signal-ia/actu/le-neural-tangent-kernel-cle-de-la-convergence-des-reseaux). **L’analyse proposée** suit principalement quelques articles fondateurs et privilégie la démonstration mathématique. Elle examine la convergence déterministe obtenue pour différentes initialisations dans le cas de réseaux de largeur infinie. Elle présente aussi le NTK comme un moyen de caractériser la stabilité des effets de la descente de gradient. Les résultats portent sur des réseaux avec une initialisation gaussienne indépendante et identiquement distribuée. La publication de Jacot et ses coauteurs constitue le point de référence de cette formalisation. Le billet de Lilian Weng rassemble les définitions, les équations et les liens avec les [processus gaussiens](/signal-ia/actu/lilian-weng-devoile-le-noyau-tangent-des-reseaux-neuronaux), les méthodes à noyau et les modèles linéarisés.