Yann LeCun abaisse à 1,59 % l’erreur d’un réseau de 1989

Le papier fondateur En 1989, Yann LeCun et ses coauteurs ont publié une application de réseau neuronal entraîné de bout en bout par rétropropagation. Le système reconnaissait des chiffres manuscrits issus d’un ensemble de 7 291 images en niveaux de gris, chacune mesurant 16 par 16 pixels. Le réseau comptait environ 1 000 neurones. L’article décrivait déjà les données, l’architecture, la fonction de perte, l’optimisation et les erreurs sur les ensembles d’entraînement et de test. Cette structure ressemble à celle d’un article moderne d’apprentissage profond. Le papier original est disponible ici.

La reproduction logicielle Andrej Karpathy a réimplémenté l’expérience dans PyTorch, en essayant de suivre le papier au plus près. Le réseau original avait été développé en Lisp avec le simulateur SN de Bottou et LeCun, ensuite renommé Lush. L’implémentation moderne sépare une bibliothèque de tenseurs, un moteur d’autograd et une interface de haut niveau. Cette organisation correspond aux composants utilisés par les bibliothèques contemporaines. Le code de reproduction est publié dans le dépôt karpathy/lecun1989-repro. L’exercice compare ainsi une méthode historique et un environnement logiciel actuel, sans modifier initialement l’architecture décrite en 1989.

Le MacBook accélère l’entraînement

Le calcul change d’échelle L’entraînement original nécessitait 23 passages sur les 7 291 exemples, soit 167 693 présentations d’un exemple et de son étiquette. Sur une station SUN-4/260, le calcul durait trois jours. La reproduction sur le processeur M1 d’un MacBook Air a pris environ 90 secondes. Cela représente une accélération naïve d’environ 3 000 fois. Un essai sur processeur graphique A100 s’est toutefois révélé plus lent. Le réseau restait très petit, avec quatre couches convolutives, jusqu’à 12 canaux, 9 760 paramètres, 64 000 opérations multiplications-accumulations et 1 000 activations. Un entraînement par lots complets aurait pu mieux utiliser ce matériel.

Les résultats restent proches Le papier original rapportait une erreur d’entraînement de 0,14 % et une erreur de test de 5,00 %, avec respectivement 10 et 102 erreurs. La reproduction initiale obtenait 0,62 % sur l’entraînement et 4,09 % sur le test, avec 45 et 82 erreurs. Elle utilisait une version simulée des données, construite depuis MNIST. Les images de MNIST étaient réduites de 28 par 28 à 16 par 16 pixels, puis réparties aléatoirement. Cette différence de données empêchait une reproduction exacte. Des détails d’initialisation, de connectivité et d’optimisation restaient également interprétés lors de l’implémentation.

Les méthodes modernes réduisent l’erreur

Les choix d’optimisation progressent Le remplacement de la perte quadratique par l’entropie croisée a ramené l’erreur d’entraînement à zéro, mais l’erreur de test atteignait encore 4,38 %. AdamW, avec un taux d’apprentissage initial de 3 × 10⁻⁴ puis réduit à 10⁻⁴, a abaissé cette erreur à 3,59 %. L’ajout d’un décalage aléatoire des images, jusqu’à un pixel horizontalement ou verticalement, a ensuite donné 2,19 %. Enfin, l’abandon à 0,25 et les activations ReLU ont porté le résultat à 1,59 %, soit 32 erreurs sur 2 007 images de test. L’entraînement nécessitait alors 80 passages.

Les données amplifient le gain Un ensemble d’entraînement porté de 7 291 à 50 000 exemples a ramené l’erreur de test à 2,74 % avec l’entraînement de base. En combinant cette taille accrue avec l’entropie croisée, AdamW, l’augmentation des données, l’abandon et ReLU, la reproduction a atteint 1,25 %. Le test comptait alors 24 erreurs. Cette amélioration n’augmentait pas la latence d’inférence, contrairement à un réseau plus large. L’analyse conclut que les principes macro restent proches de ceux de 1989. Les réseaux reposent toujours sur des couches différentiables entraînées de bout en bout par rétropropagation et descente de gradient stochastique.