Sebastian Raschka révèle comment décoder les modèles ouverts

Sebastian Raschka décrit une méthode personnelle pour comprendre les architectures de nouveaux modèles de langage à poids ouverts. Il explique ce processus dans un article publié le 18 avril 2026. Son travail sert notamment à préparer les schémas et dessins utilisés dans ses articles, ses présentations et sa galerie d’architectures. La première étape consiste généralement à consulter les rapports techniques officiels. Ces documents fournissent un point de départ pour examiner la conception d’un modèle. Raschka souligne toutefois que les articles sont souvent moins détaillés qu’auparavant. Cette limite concerne particulièrement les modèles à poids ouverts produits par des laboratoires industriels.

Les rapports techniques ne constituent donc pas toujours une description complète de l’architecture. Raschka propose de compléter leur lecture par l’examen direct des fichiers et du code. Lorsque les poids sont publiés sur le Model Hub de Hugging Face, et que le modèle est pris en charge par la bibliothèque Python transformers, davantage d’informations peuvent être consultées. La configuration expose des paramètres utiles à l’analyse. L’implémentation de référence montre ensuite la manière dont ces éléments sont utilisés. Pour Raschka, du code fonctionnel fournit un objet concret à inspecter, lorsque le rapport technique reste général.

Raschka inspecte configurations et code

Le code de référence occupe une place centrale dans cette méthode. Raschka estime qu’un programme fonctionnel permet d’observer directement certains détails de l’architecture. Cette observation complète les informations du rapport technique officiel. Le cheminement va des fichiers de configuration et du code vers des enseignements sur la structure du modèle. La démarche peut inclure la lecture des composants implémentés dans la bibliothèque transformers. Elle ne repose donc pas uniquement sur des schémas déjà publiés. Raschka relie les informations visibles dans la configuration à celles présentes dans l’implémentation. Cette combinaison constitue le cœur pratique de son processus d’apprentissage.

La méthode reste manuelle par choix pédagogique. Raschka indique que certaines étapes pourraient être automatisées. Il considère néanmoins que réaliser plusieurs analyses à la main reste l’un des meilleurs exercices pour comprendre le fonctionnement des architectures. Cette approche transforme la lecture de fichiers en activité d’apprentissage. Elle demande d’examiner les configurations, puis de suivre les éléments correspondants dans le code de référence. Les résultats peuvent ensuite alimenter des schémas ou des dessins. Raschka utilise précisément ce type de production dans ses articles, ses présentations et sa galerie LLM. Le but déclaré est de comprendre les architectures, plutôt que de seulement résumer leurs descriptions.

Les modèles propriétaires restent hors périmètre

Le périmètre est spécifique aux modèles à poids ouverts. Raschka précise que sa méthode ne s’applique pas réellement à ChatGPT, Claude ou Gemini. Pour ces modèles, les poids et les détails d’architecture sont propriétaires. L’accès aux configurations et aux implémentations de référence n’est donc pas présenté de la même manière. Son processus s’appuie au contraire sur la possibilité d’examiner des fichiers et du code associés à un modèle. La disponibilité sur Hugging Face et la prise en charge par transformers forment les conditions pratiques citées dans l’article. La méthode vise ainsi des objets directement inspectables par le lecteur.

Pour apprendre concrètement, Raschka recommande donc une séquence qui commence par le rapport technique, puis passe par la configuration et le code. Les modèles à poids ouverts peuvent être étudiés lorsqu’ils partagent leurs poids sur Hugging Face. Leur implémentation peut également être examinée lorsqu’elle est intégrée à transformers. Cette lecture manuelle peut ensuite produire des schémas d’architecture destinés à des articles, des présentations ou la galerie LLM de Raschka. L’auteur reconnaît que certaines parties sont automatisables. Il maintient toutefois que l’analyse réalisée à la main conserve une valeur d’exercice pour comprendre la construction de ces modèles.