Sebastian Raschka cartographie quatre façons de tester les LLM

Sebastian Raschka propose une carte en quatre méthodes pour évaluer les grands modèles de langage. Son article présente les choix multiples, les vérificateurs, les classements et les juges fondés sur des LLM. Ces approches apparaissent dans les articles de recherche, les supports marketing, les rapports techniques et les fiches de modèles. Raschka les répartit en deux familles. La première repose sur des benchmarks. La seconde repose sur un jugement. L’auteur précise aussi que la perte d’entraînement, la perplexité et les récompenses servent généralement pendant le développement interne. L’objectif est de mieux interpréter les résultats publiés et de mesurer les progrès après un réglage fin.

MMLU mesure la précision d’un modèle sur des questions à choix multiples. Le jeu de données couvre 57 matières, du niveau lycée en mathématiques à la biologie, avec environ 16 000 questions. La performance correspond à la fraction des réponses correctes. Ainsi, 14 000 bonnes réponses sur 16 000 donnent une précision de 87,5 %. Cette méthode ressemble à un examen standardisé, car elle teste principalement le rappel de connaissances. L’évaluation la plus simple compare directement la lettre générée par le modèle avec la bonne réponse. Raschka mentionne aussi deux méthodes populaires utilisant les probabilités logarithmiques. Elles permettent d’évaluer les choix sans limiter l’analyse à une lettre produite.

MMLU structure les tests

Qwen3 sert d’exemple pour reproduire cette évaluation sans infrastructure complexe. Raschka utilise une implémentation de Qwen3 0,6 milliard de paramètres, écrite entièrement en PyTorch. Le modèle demande environ 1,5 Go de mémoire vive. Le paquet Python reasoning_from_scratch fournit notamment le modèle, le tokenizer et les fonctions nécessaires. L’exemple charge une version de base ou une version orientée raisonnement. Le code peut aussi activer la compilation du modèle. L’auteur présente cette implémentation comme un support pédagogique. Elle traite Qwen3 comme un modèle à mesurer, sans faire de ses détails internes une condition pour comprendre le principe du benchmark MMLU.

Le calcul compare une réponse générée avec la réponse attendue. L’exemple demande combien de façons permettent de placer quatre boules distinguables dans deux boîtes indiscernables. Les choix proposés sont 7, 11, 16 et 8, la bonne réponse étant D. Le programme ajoute les choix au texte de la question, puis termine l’invite par « Answer: ». Cette formulation encourage la production d’un caractère correspondant à une option. La fonction de génération produit jusqu’à huit nouveaux jetons. Elle extrait ensuite la première lettre parmi A, B, C ou D. Dans l’exécution présentée, le modèle génère C. La comparaison indique donc une réponse incorrecte.

Le code reproduit le score

Le sous-ensemble mathématique contient 270 exemples dans l’illustration consacrée aux mathématiques de niveau lycée. Raschka compare les performances de la version de base et de la version orientée raisonnement sur l’ensemble de ce sous-ensemble. Avec quatre options équiprobables, un modèle qui répond au hasard obtient une probabilité attendue de 25 %. L’auteur indique que les deux variantes évaluées ne sont pas très performantes dans cet exemple. Le jeu MMLU peut être chargé avec la bibliothèque datasets. Le code sélectionne notamment la configuration high_school_mathematics, inspecte le jeu de test et récupère les noms des autres sous-ensembles disponibles.

Les ressources associées prolongent l’article par du code et des références directement exploitables. Le jeu MMLU est accessible sur Hugging Face. L’implémentation de l’évaluation figure dans le dépôt GitHub de reasoning-from-scratch. Sebastian Raschka présente aussi son parcours de construction d’un modèle de raisonnement dans un livre en accès anticipé. Plus de 100 pages étaient déjà disponibles lors de la rédaction de l’article. Il indique que 30 pages supplémentaires étaient alors en cours d’intégration par l’équipe de mise en page. L’article complet est publié dans son bulletin.