Andrej Karpathy mise sur le test du mini-lot pour fiabiliser l’IA

Andrej Karpathy propose une méthode progressive pour entraîner des réseaux neuronaux et limiter les erreurs difficiles à détecter. Dans son article, il rappelle que les bibliothèques donnent parfois l’impression qu’un modèle se construit avec quelques lignes de code. Cette simplicité apparente disparaît dès que le problème s’éloigne d’un cas standard de classification d’images. La rétropropagation et la descente de gradient ne garantissent pas le bon fonctionnement du réseau. La normalisation par lots ne garantit pas non plus une convergence plus rapide. Karpathy recommande donc de construire des hypothèses concrètes, puis de les vérifier par des expériences successives. Son article complet est disponible ici.

Les erreurs restent silencieuses dans de nombreux scénarios d’entraînement. Le code peut être syntaxiquement correct, tout en étant mal configuré. Un modèle peut utiliser des étiquettes incorrectes après une transformation d’image. Un modèle autorégressif peut aussi recevoir par erreur la valeur qu’il doit prédire. Le réglage peut encore appliquer la limitation aux pertes plutôt qu’aux gradients. D’autres écarts viennent de la moyenne oubliée lors de l’utilisation d’un poids préentraîné, du taux d’apprentissage ou de la régularisation. Karpathy décrit ainsi une surface d’erreur logique, difficile à couvrir avec des tests unitaires classiques. Il déconseille l’approche rapide et privilégie la patience, la précision et les visualisations.

Karpathy commence par les données

La première étape exclut tout code de réseau neuronal. Karpathy conseille d’examiner des milliers d’exemples pendant plusieurs heures, afin de comprendre leur distribution et leurs régularités. Cette inspection peut révéler des doublons, des images corrompues ou des étiquettes défectueuses. Elle sert aussi à repérer les déséquilibres et les biais. Le type de variation observé aide ensuite à réfléchir aux architectures possibles. Il faut notamment déterminer si des caractéristiques locales suffisent, si le contexte global compte et si la position spatiale importe. Karpathy recommande également de rechercher, filtrer et trier les exemples. La visualisation des distributions et des valeurs atypiques permet alors d’examiner la qualité des données et du prétraitement.

Le squelette complet vient ensuite, avec un modèle volontairement simple. Karpathy recommande un classificateur linéaire ou un très petit réseau convolutif avant tout modèle sophistiqué. L’objectif consiste à vérifier la chaîne complète d’entraînement et d’évaluation par des expériences contrôlées. Il conseille de fixer la graine aléatoire, de désactiver les augmentations de données et d’évaluer la perte sur l’ensemble du jeu de test. La perte initiale doit correspondre à une valeur attendue. Les biais de la dernière couche doivent aussi refléter les moyennes ou les proportions connues. Une mesure interprétable, comme la précision, doit compléter la perte. Karpathy recommande enfin une comparaison avec une performance humaine lorsque cette mesure est disponible.

Le modèle simple vérifie le pipeline

Les tests ciblés précèdent toute augmentation de capacité. Un modèle indépendant des entrées, obtenu en remplaçant les entrées par des zéros, doit être moins performant que le modèle utilisant les données. Ce test vérifie que le réseau extrait réellement de l’information. Karpathy recommande aussi de surajuster un seul lot contenant seulement quelques exemples. Le modèle doit alors atteindre la perte minimale possible, parfois une perte nulle. Les prédictions doivent correspondre parfaitement aux étiquettes. Si cet alignement échoue, le développement doit s’arrêter pour rechercher un défaut. Une légère augmentation de capacité doit ensuite réduire la perte d’entraînement sur le jeu de données.

Les visualisations deviennent une source de contrôle permanente. Karpathy place la visualisation juste avant l’appel du modèle, afin d’observer exactement les tenseurs et les étiquettes qui entrent dans le réseau. Cette position permet d’examiner le décodage, le prétraitement et l’augmentation des données. Il recommande aussi de suivre les prédictions sur un lot de test fixe pendant l’entraînement. Leurs mouvements peuvent révéler une instabilité ou un taux d’apprentissage trop faible ou trop élevé. Les opérations vectorisées et diffusées demandent enfin une vérification des dépendances par rétropropagation. Cette méthode aide à contrôler les chemins de calcul complexes avant d’introduire une nouvelle couche de sophistication.