# Andrej Karpathy réduit l’erreur du réseau de LeCun à 1,59 % > Yann LeCun et son équipe entraînaient déjà un réseau neuronal de bout en bout en 1989, avec 7 291 images et 1 000 neurones. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-08-25 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/karpathy-fait-chuter-lerreur-du-reseau-de-lecun-a-159-pourcent Tags : réseaux neuronaux, apprentissage profond, vision, reproduction, données, inference --- ## En résumé - Yann LeCun et ses coauteurs ont appliqué la rétropropagation à la reconnaissance de codes postaux manuscrits en 1989. - Andrej Karpathy a reproduit l’expérience avec PyTorch, en remplaçant les données originales perdues par une version adaptée de MNIST. - Les techniques modernes ont réduit l’erreur de test reproduite à 1,59 %, contre 4,09 % pour la version initiale. **Le signal :** La reproduction de Karpathy réduit l’erreur test de 4,09 % à 1,59 % grâce à AdamW, l’augmentation des données et Dropout. **Une expérience fondatrice** En 1989, Yann LeCun et ses coauteurs publient une application de la rétropropagation à la reconnaissance de codes postaux manuscrits. Leur réseau apprend de bout en bout à partir de 7 291 images en niveaux de gris, chacune mesurant 16 par 16 pixels. Le modèle compte environ 1 000 neurones. L’article décrit déjà les données, l’architecture, la fonction de perte, l’optimisation et les erreurs sur les ensembles d’entraînement et de test. Cette structure ressemble à celle d’un article moderne d’apprentissage profond, selon Andrej Karpathy. La [publication originale](http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf) constitue le point de départ de sa [reproduction](/signal-ia/actu/un-reseau-de-1989-torpille-ses-erreurs-de-60pourcent). **Une base logicielle différente** Le réseau original est implémenté en Lisp avec le simulateur de rétropropagation SN, développé par Bottou et LeCun en 1988. Ce logiciel sera ensuite renommé Lush. Karpathy réimplémente l’expérience avec PyTorch dans un [dépôt GitHub dédié](https://github.com/karpathy/lecun1989-repro). Il rapproche cette évolution des bibliothèques actuelles, qui séparent une bibliothèque rapide de tenseurs, un moteur d’autograd et une interface de haut niveau. Le modèle de 1989 reste toutefois très compact. Il utilise un réseau convolutif de quatre couches, jusqu’à 12 canaux, 9 760 paramètres, 64 000 opérations de multiplication-accumulation et 1 000 activations. ## Le matériel accélère l’entraînement **Un écart matériel marqué** L’[entraînement](/signal-ia/actu/andrej-karpathy-surajustez-un-lot-avant-le-reseau) original nécessite 23 passages sur les 7 291 exemples. Cela représente 167 693 présentations d’un exemple et de son étiquette au réseau. La station SUN-4/260 utilisée en 1989 exécute cette étape en trois jours. La reproduction de Karpathy tourne sur le processeur d’un MacBook Air équipé d’une puce M1. Elle termine en environ 90 secondes, soit une accélération naïve d’environ 3 000 fois. Un essai sur processeur graphique A100 est pourtant plus lent. Karpathy l’attribue notamment à la petite taille du réseau et à l’utilisation d’une descente de gradient stochastique avec un seul exemple à la fois. **Des résultats proches mais imparfaits** Le papier original rapporte une erreur d’entraînement de 0,14 % et une erreur de test de 5,00 %, avec respectivement 10 et 102 erreurs. La reproduction initiale obtient 0,62 % sur l’entraînement et 4,09 % sur le test, avec 45 et 82 erreurs. Une reproduction exacte est impossible selon Karpathy, car le jeu de données original semble avoir été perdu. Il le remplace par des images de MNIST redimensionnées de 28 par 28 à 16 par 16 pixels. Des ambiguïtés sur l’initialisation des poids et la connectivité entre couches compliquent aussi la comparaison. ## Les méthodes modernes réduisent l’erreur **Une optimisation plus actuelle** Karpathy remplace d’abord la perte quadratique et les sorties tanh par des logits associés à une entropie croisée. L’erreur d’entraînement tombe alors à 0 %, mais l’erreur de test atteint 4,38 %. Il remplace ensuite la descente de gradient stochastique par AdamW, avec un taux d’apprentissage initial de 3 × 10⁻⁴, réduit jusqu’à 10⁻⁴. L’erreur de test descend à 3,59 %. L’ajout d’un décalage aléatoire des images, jusqu’à un pixel horizontalement ou verticalement, réduit cette erreur à 2,19 %. Le nombre de passages augmente alors de 23 à 60. **Le régularisateur fait la différence** Karpathy ajoute ensuite Dropout avec un taux de 0,25 avant la couche H3. Il remplace également les activations tanh par ReLU et porte l’entraînement à 80 passages. L’erreur de test atteint alors 1,59 %, avec 32 erreurs sur 2 007 exemples. L’auteur estime que l’amélioration provient principalement de Dropout, car le remplacement isolé de tanh par ReLU n’apporte pas de gain substantiel. Cette version réduit le nombre d’erreurs d’environ 80 à environ 30, mais multiplierait presque par quatre le temps d’entraînement de 1989, sans modifier la latence d’[inférence](/signal-ia/actu/apr-de-pan-lia-redefinit-le-raisonnement-parallele). **Les données restent déterminantes** Une autre expérience porte le jeu d’entraînement à 50 000 exemples, soit environ sept fois sa taille initiale. Avec les méthodes modernes combinées, l’erreur de test descend à 1,25 %, avec 24 erreurs. Karpathy souligne que cette hausse du volume de données n’augmente pas la latence d’inférence. Il observe aussi que plusieurs innovations, comme les connexions résiduelles et les normalisations, concernent surtout les modèles beaucoup plus grands. Un micro-transformeur visuel n’a pas égalé le réseau convolutif dans son essai. La reproduction complète est disponible dans le [dépôt de Karpathy](https://github.com/karpathy/lecun1989-repro), tandis que l’article original reste consultable en [format PDF](http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf).