Backpropagation
La rétropropagation est l'algorithme qui calcule comment chaque paramètre d'un réseau de neurones doit être ajusté pour réduire l'erreur, en propageant le gradient depuis la couche de sortie vers les couches d'entrée. C'est le moteur de l'apprentissage dans tous les réseaux de neurones modernes.
Pendant l'entraînement de BERT, la rétropropagation ajuste simultanément 340 millions de paramètres à chaque étape, en calculant la contribution de chaque paramètre à l'erreur de prédiction de mots masqués.
La rétropropagation est l'algorithme qui calcule comment chaque paramètre d'un réseau de neurones doit être ajusté pour réduire l'erreur, en propageant le gradient depuis la couche de sortie vers les couches d'entrée. C'est le moteur de l'apprentissage dans tous les réseaux de neurones modernes.
Pendant l'entraînement de BERT, la rétropropagation ajuste simultanément 340 millions de paramètres à chaque étape, en calculant la contribution de chaque paramètre à l'erreur de prédiction de mots masqués.
Rétropropagation et Descente de gradient sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Descente de gradient, Réseau de neurones, Entraînement, Deep Learning.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés