Sebastian Raschka révèle sa méthode pour lire les modèles ouverts

Sebastian Raschka décrit une méthode d’apprentissage pour comprendre les architectures de nouveaux modèles de langage à poids ouverts. Le chercheur explique son processus dans un article publié le 18 avril 2026. Il indique commencer généralement par les rapports techniques officiels. Cette première étape fournit un point de départ pour examiner la structure d’un modèle. Raschka précise toutefois que les articles scientifiques sont souvent moins détaillés qu’auparavant. Cette observation concerne particulièrement plusieurs modèles à poids ouverts issus de laboratoires industriels. Son objectif est de produire des schémas et des dessins consacrés aux architectures. Il applique notamment cette démarche dans ses articles, ses conférences et sa galerie consacrée aux modèles de langage.

Les rapports techniques ne constituent donc que la première étape de son parcours. Lorsque les poids sont partagés sur le Model Hub de Hugging Face, une autre source d’information devient accessible. Raschka recommande alors d’examiner le fichier de configuration du modèle. Il conseille aussi de consulter l’implémentation de référence. Cette implémentation peut être étudiée lorsque le modèle est pris en charge par la bibliothèque Python Transformers. La configuration et le code donnent ainsi des éléments concrets à observer. Raschka résume cette approche par un passage des fichiers de configuration et du code vers des enseignements sur l’architecture. Il souligne également que le code fonctionnel ne ment pas.

Les modèles ouverts livrent leur architecture

Le périmètre reste précis dans la méthode présentée par Raschka. Il s’agit principalement d’un processus destiné aux modèles à poids ouverts. L’approche ne s’applique pas réellement à ChatGPT, Claude ou Gemini. Pour ces modèles, les poids et les détails sont propriétaires. Cette distinction sépare les architectures directement inspectables des systèmes dont les composants ne sont pas publiés. Le chercheur ne présente donc pas son workflow comme une procédure générale pour tous les modèles de langage. Il le rattache aux cas où les poids sont disponibles sur le Model Hub de Hugging Face et où une implémentation de référence existe dans Transformers. Ces conditions structurent son champ d’observation.

Le travail manuel occupe une place centrale dans cette démarche. Raschka indique que certaines parties pourraient être automatisées. Il choisit pourtant de conserver une procédure largement manuelle lorsque l’objectif est de comprendre le fonctionnement des architectures. Selon lui, réaliser plusieurs analyses à la main reste l’un des meilleurs exercices pour apprendre. Cette approche relie directement l’inspection des fichiers et du code à l’acquisition de connaissances. Elle ne se limite pas à produire un schéma final. Le parcours consiste aussi à observer les détails disponibles dans une configuration et une implémentation. Raschka présente ainsi le workflow comme une activité d’apprentissage, plutôt que comme une simple opération de documentation.

Le code complète les rapports techniques

La galerie de Raschka illustre le type de résultat associé à cette méthode. Le chercheur explique que son workflow sert à élaborer les esquisses et les dessins publiés dans ses articles, ses conférences et la LLM Architecture Gallery. Le cheminement commence par des rapports techniques officiels. Il se poursuit avec l’examen d’une configuration et d’une implémentation lorsque ces ressources sont disponibles pour un modèle à poids ouverts. Les détails observés peuvent alors soutenir une représentation de l’architecture. Raschka décrit cette progression comme un passage des ressources techniques vers des éclairages sur la structure du modèle. Son article documente ce processus pour ses lecteurs et abonnés.