Karpathy recrée le réseau historique de LeCun à 1,59 %

Une expérience historique En 1989, Yann LeCun et ses coauteurs ont publié une application de la rétropropagation à la reconnaissance de codes postaux manuscrits. Le système utilisait 7 291 images de chiffres, chacune mesurant 16 par 16 pixels en niveaux de gris. Le réseau neuronal comptait environ 1 000 neurones. L’article décrivait déjà le jeu de données, l’architecture, la fonction de perte, l’optimisation et les erreurs sur les ensembles d’entraînement et de test. Andrej Karpathy considère cette publication comme une des premières applications réelles d’un réseau neuronal entraîné de bout en bout par rétropropagation. L’article original documente cette expérience fondatrice.

Un modèle très compact Le réseau originel était un réseau convolutif à quatre couches, avec jusqu’à 12 canaux, 9 760 paramètres, 64 000 opérations de multiplication-accumulation et 1 000 activations. Son entraînement nécessitait 23 passages sur les 7 291 exemples, soit 167 693 présentations d’un exemple associé à son étiquette. Le calcul s’effectuait sur une station SUN-4/260 pendant trois jours. Le programme original était écrit en Lisp, avec le simulateur de rétropropagation SN, ensuite renommé Lush. Karpathy a réimplémenté l’expérience dans PyTorch, en suivant autant que possible la description publiée. Le dépôt lecun1989-repro présente cette reproduction logicielle.

Karpathy reproduit les résultats

Une reproduction approchée Karpathy a exécuté son implémentation sur le processeur d’un MacBook Air équipé d’une puce M1. Les 23 passages ont duré environ 90 secondes, soit une accélération naïve proche de 3 000 fois par rapport aux trois jours de 1989. La reproduction n’a toutefois pas retrouvé exactement les chiffres publiés. Le résultat original indiquait 0,14 % d’erreurs sur l’entraînement et 5,00 % sur le test. La version reproduite obtenait 0,62 % sur l’entraînement et 4,09 % sur le test, avec respectivement 45 et 82 erreurs. Karpathy a utilisé MNIST, redimensionné de 28 par 28 à 16 par 16 pixels, pour remplacer les données initiales.

Des choix techniques décisifs La reproduction a ensuite remplacé la perte quadratique par une entropie croisée multiclasses et supprimé la fonction tanh en sortie. Cette modification a produit 0,00 % d’erreur sur l’entraînement, mais 4,38 % sur le test, signe d’un surapprentissage marqué. AdamW, avec un taux d’apprentissage initial de 3 × 10⁻⁴ puis réduit à 10⁻⁴, a ramené l’erreur de test à 3,59 %. Une augmentation des données par décalage d’un pixel a ensuite abaissé cette erreur à 2,19 %. Enfin, l’ajout d’un dropout de 0,25 et le remplacement de tanh par ReLU ont obtenu 1,59 % d’erreur, soit 32 erreurs sur 2 007 exemples.

Les données améliorent le test

Un gain sans inférence Karpathy estime que ces techniques auraient réduit le nombre d’erreurs d’environ 80 à 30 dans les conditions de 1989. Le temps d’entraînement aurait cependant presque quadruplé, passant de trois jours à près de douze. La latence d’inférence serait restée inchangée. Une autre expérience a multiplié le jeu d’entraînement par environ sept, de 7 291 à 50 000 exemples issus de MNIST. Avec les techniques modernes combinées, le système a atteint 1,25 % d’erreur sur le test, soit 24 erreurs. Cette expérience attribue donc un gain distinct à l’augmentation du nombre d’exemples, sans modifier la latence d’utilisation du modèle.

Une continuité structurelle Karpathy souligne que l’organisation générale reste familière après 33 ans. Les réseaux neuronaux construisent toujours des architectures différentiables, puis les optimisent de bout en bout par rétropropagation et descente de gradient stochastique. Les écarts portent surtout sur l’échelle. Le jeu historique ne contenait que 7 291 images en niveaux de gris, tandis que les jeux de vision modernes peuvent réunir plusieurs centaines de millions d’images couleur haute résolution. L’expérience n’a pas obtenu de gain substantiel avec un micro-transformeur visuel ajusté au même nombre de paramètres et d’opérations. Karpathy indique aussi que les connexions résiduelles et les normalisations deviennent surtout pertinentes pour des modèles beaucoup plus grands.