Sebastian Raschka distingue quatre façons d’évaluer l’IA

Sebastian Raschka présente quatre méthodes courantes pour évaluer les grands modèles de langage dans un article publié le 5 octobre 2025. Son objectif est de fournir une carte mentale pour interpréter les tests, les classements et les rapports techniques. Les quatre approches citées sont les questions à choix multiple, les vérificateurs, les classements et les juges IA. Elles se répartissent en deux groupes. Les évaluations fondées sur des bancs de test mesurent une performance sur des exercices définis. Les évaluations fondées sur un jugement reposent sur une appréciation. Raschka précise aussi que la perte d’entraînement, la perplexité et les récompenses servent généralement pendant le développement interne des modèles. Lire l’article original.

Une carte en quatre méthodes explique le rôle de ces catégories dans les documents consacrés aux modèles. Les articles de recherche, les documents marketing, les rapports techniques et les fiches de modèle présentent souvent des résultats issus d’au moins deux catégories. L’article accompagne cette présentation d’exemples de code réalisés depuis zéro. Raschka indique qu’il voulait initialement intégrer ces techniques dans son livre Build a Reasoning Model (From Scratch). Il les a finalement développées dans un article séparé, car elles dépassaient le périmètre principal de l’ouvrage. Le livre adopte une approche pratique de la construction d’un modèle de raisonnement avec PyTorch pur.

MMLU mesure la précision des réponses

Le test MMLU constitue l’exemple détaillé de l’évaluation à choix multiple. Son nom signifie Massive Multitask Language Understanding. Le jeu de données regroupe 57 matières, des mathématiques du lycée à la biologie, avec environ 16 000 questions. La performance correspond à la proportion de réponses exactes. Un résultat de 87,5 % signifie ainsi que 14 000 réponses sur 16 000 sont correctes. Cette méthode mesure le rappel de connaissances de manière quantifiable. Elle rappelle les tests standardisés, certains examens scolaires et les épreuves théoriques du permis de conduire. Le jeu de données MMLU est disponible sur Hugging Face.

L’exemple présenté utilise une question sur la répartition de quatre balles distinctes dans deux boîtes indistinguables. Le modèle reçoit quatre choix, A, B, C et D, puis une invite terminée par « Answer: ». L’implémentation simplifiée génère jusqu’à huit jetons et extrait la première lettre comprise entre A et D. Dans l’exemple, le modèle produit la lettre C, alors que la réponse attendue est D. Le résultat est donc incorrect. L’évaluation complète peut aussi utiliser des scores de log-probabilité. Raschka renvoie à une implémentation disponible dans le dépôt GitHub dédié à MMLU.

Qwen3 exécute le test en PyTorch

Le modèle Qwen3 utilisé dans l’exemple est une implémentation de 0,6 milliard de paramètres réalisée en PyTorch pur. Elle nécessite environ 1,5 Go de mémoire vive. Le code charge soit une version de base, soit une version de raisonnement, puis applique le modèle aux questions du jeu MMLU. L’article utilise la bibliothèque Python reasoning_from_scratch, installable avec pip install reasoning_from_scratch ou uv add reasoning_from_scratch. Un sous-ensemble de mathématiques au lycée contient 270 exemples. Avec quatre réponses équiprobables, un choix aléatoire atteint une probabilité attendue de 25 %. Les deux variantes testées obtiennent alors une performance jugée faible par l’auteur.