# Karpathy recrée le réseau historique de LeCun à 1,59 % > Yann LeCun et ses coauteurs entraînaient en 1989 un réseau sur 7 291 chiffres, tandis qu’une reproduction moderne atteint 1,59 % d’erreurs. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-10-27 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/karpathy-reproduit-lexperience-de-lecun-a-159-pourcent Tags : réseaux neuronaux, apprentissage profond, vision par ordinateur, pytorch, inference --- ## En résumé - Yann LeCun et ses coauteurs ont appliqué la rétropropagation à la reconnaissance de chiffres manuscrits en 1989. - Andrej Karpathy a reproduit l’expérience avec PyTorch sur un jeu dérivé de MNIST. - L’ajout de techniques modernes a ramené l’erreur de test à 1,59 % sur 2 007 exemples. **Le signal :** La reproduction de Karpathy réduit l’erreur de test de 4,09 % à 1,59 % avec augmentation, dropout et ReLU. **Une expérience historique** En 1989, Yann LeCun et ses coauteurs ont publié une application de la [rétropropagation](/signal-ia/actu/yann-lecun-fait-chuter-lerreur-dun-reseau-de-1989-a-159-pourcent) à la reconnaissance de codes postaux manuscrits. Le système utilisait 7 291 images de chiffres, chacune mesurant 16 par 16 pixels en niveaux de gris. Le réseau neuronal comptait environ 1 000 neurones. L’article décrivait déjà le jeu de données, l’architecture, la fonction de perte, l’optimisation et les erreurs sur les ensembles d’entraînement et de test. Andrej Karpathy considère cette publication comme une des premières applications réelles d’un réseau neuronal entraîné de bout en bout par rétropropagation. [L’article original](http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf) documente cette expérience fondatrice. **Un modèle très compact** Le réseau originel était un réseau convolutif à quatre couches, avec jusqu’à 12 canaux, 9 760 paramètres, 64 000 opérations de multiplication-accumulation et 1 000 activations. Son entraînement nécessitait 23 passages sur les 7 291 exemples, soit 167 693 présentations d’un exemple associé à son étiquette. Le calcul s’effectuait sur une station SUN-4/260 pendant trois jours. Le programme original était écrit en Lisp, avec le simulateur de rétropropagation SN, ensuite renommé Lush. Karpathy a réimplémenté l’expérience dans [PyTorch](/signal-ia/actu/yann-lecun-reproduit-un-reseau-neuronal-de-1989), en suivant autant que possible la description publiée. Le dépôt [lecun1989-repro](https://github.com/karpathy/lecun1989-repro) présente cette reproduction logicielle. ## Karpathy reproduit les résultats **Une reproduction approchée** Karpathy a exécuté son implémentation sur le processeur d’un MacBook Air équipé d’une puce M1. Les 23 passages ont duré environ 90 secondes, soit une accélération naïve proche de 3 000 fois par rapport aux trois jours de 1989. La reproduction n’a toutefois pas retrouvé exactement les chiffres publiés. Le résultat original indiquait 0,14 % d’erreurs sur l’entraînement et 5,00 % sur le test. La version reproduite obtenait 0,62 % sur l’entraînement et 4,09 % sur le test, avec respectivement 45 et 82 erreurs. Karpathy a utilisé MNIST, redimensionné de 28 par 28 à 16 par 16 pixels, pour remplacer les données initiales. **Des choix techniques décisifs** La reproduction a ensuite remplacé la perte quadratique par une entropie croisée multiclasses et supprimé la fonction tanh en sortie. Cette modification a produit 0,00 % d’erreur sur l’entraînement, mais 4,38 % sur le test, signe d’un surapprentissage marqué. AdamW, avec un taux d’apprentissage initial de 3 × 10⁻⁴ puis réduit à 10⁻⁴, a ramené l’erreur de test à 3,59 %. Une augmentation des données par décalage d’un pixel a ensuite abaissé cette erreur à 2,19 %. Enfin, l’ajout d’un dropout de 0,25 et le remplacement de tanh par ReLU ont obtenu 1,59 % d’erreur, soit 32 erreurs sur 2 007 exemples. ## Les données améliorent le test **Un gain sans inférence** Karpathy estime que ces techniques auraient réduit le nombre d’erreurs d’environ 80 à 30 dans les conditions de 1989. Le temps d’entraînement aurait cependant presque quadruplé, passant de trois jours à près de douze. La latence d’inférence serait restée inchangée. Une autre expérience a multiplié le jeu d’entraînement par environ sept, de 7 291 à 50 000 exemples issus de MNIST. Avec les techniques modernes combinées, le système a atteint 1,25 % d’erreur sur le test, soit 24 erreurs. Cette expérience attribue donc un gain distinct à l’augmentation du nombre d’exemples, sans modifier la latence d’utilisation du modèle. **Une continuité structurelle** Karpathy souligne que l’organisation générale reste familière après 33 ans. Les [réseaux neuronaux](/signal-ia/actu/karpathy-ramene-lerreur-du-reseau-de-lecun-a-159-pourcent) construisent toujours des architectures différentiables, puis les optimisent de bout en bout par rétropropagation et descente de gradient stochastique. Les écarts portent surtout sur l’échelle. Le jeu historique ne contenait que 7 291 images en niveaux de gris, tandis que les jeux de vision modernes peuvent réunir plusieurs centaines de millions d’images couleur haute résolution. L’expérience n’a pas obtenu de gain substantiel avec un micro-transformeur visuel ajusté au même nombre de paramètres et d’opérations. Karpathy indique aussi que les connexions résiduelles et les normalisations deviennent surtout pertinentes pour des modèles beaucoup plus grands.