Sebastian Raschka ausculte les entrailles des modèles ouverts

Sebastian Raschka décrit une méthode d’apprentissage consacrée aux architectures des grands modèles de langage. Il explique ce processus dans un article publié le 18 avril 2026. Son objectif est de comprendre les nouvelles versions de modèles dont les poids sont ouverts. Il utilise habituellement les rapports techniques officiels comme premier point d’entrée. Ces documents présentent toutefois moins de détails qu’auparavant pour de nombreux modèles ouverts issus de laboratoires industriels. Raschka cherche donc des éléments techniques supplémentaires dans les fichiers de configuration et les implémentations de référence. Il présente cette démarche dans son article original, destiné aux abonnés payants de sa publication personnelle.

Les rapports techniques constituent le début du parcours décrit par Raschka. Leur niveau de détail ne suffit pas toujours pour reconstituer précisément une architecture de modèle ouvert. Cette situation concerne, selon lui, de nombreux modèles publiés par des laboratoires industriels. Lorsque les poids sont disponibles sur le Model Hub de Hugging Face, une autre voie devient accessible. Le chercheur examine alors le fichier de configuration associé au modèle. Il consulte également son implémentation de référence dans la bibliothèque Python Transformers. Ces deux éléments fournissent des informations concrètes sur les choix d’architecture. Raschka résume cette progression par un passage des documents aux fichiers, puis des fichiers au code exécutable.

Raschka inspecte les modèles ouverts

Les poids ouverts délimitent le champ d’application de cette méthode. Raschka indique qu’elle concerne principalement les modèles dont les poids peuvent être examinés. Elle ne s’applique pas réellement à ChatGPT, Claude ou Gemini, car leurs poids et leurs détails restent propriétaires. Pour les modèles accessibles, le fichier de configuration devient un objet d’étude central. Il permet de compléter les descriptions générales présentes dans les rapports techniques. L’implémentation de référence apporte ensuite une représentation concrète des mécanismes utilisés. Raschka insiste sur le rôle du code fonctionnel dans cette vérification. Selon lui, un code qui fonctionne ne ment pas sur les opérations effectivement nécessaires à l’exécution du modèle.

Le code de référence transforme cette lecture en exercice pratique. Raschka conseille de passer de la configuration au code, puis du code aux enseignements sur l’architecture. Cette démarche alimente les schémas et les dessins qu’il publie dans ses articles, ses conférences et la LLM Architecture Gallery. Le processus reste volontairement manuel. Certaines parties pourraient être automatisées, mais Raschka considère que réaliser plusieurs analyses à la main demeure un exercice particulièrement utile pour apprendre. Cette approche ne présente donc pas seulement une procédure de consultation. Elle associe l’observation de fichiers accessibles à une reconstruction progressive du fonctionnement d’un modèle ouvert.

Le travail manuel structure l’apprentissage

L’analyse manuelle constitue la prochaine étape de la méthode présentée. Le lecteur commence par consulter le rapport technique officiel d’un modèle ouvert. Il poursuit avec le fichier de configuration disponible sur le Model Hub de Hugging Face. Il examine ensuite l’implémentation correspondante dans la bibliothèque Transformers. Raschka décrit ce chemin comme une progression allant des fichiers et du code vers une compréhension de l’architecture. Cette séquence sert aussi à produire des représentations visuelles dans ses contenus. Son approche reste limitée aux modèles dont les poids et les détails sont accessibles. Les modèles propriétaires cités, comme ChatGPT, Claude et Gemini, ne suivent pas ce parcours d’inspection.