Sebastian Raschka détaille sa méthode pour comprendre un LLM

Une lecture progressive des architectures

Sebastian Raschka décrit, dans un article publié le 18 avril 2026, une méthode manuelle pour comprendre les architectures des modèles de langage. Le chercheur commence généralement par les rapports techniques officiels, qui fournissent une première vue d’ensemble du modèle, de ses objectifs et de ses principaux composants. Cette étape permet de repérer le vocabulaire employé par les concepteurs et d’identifier les choix architecturaux les plus importants.

Lorsque la documentation reste incomplète, Raschka poursuit son analyse dans les fichiers associés au modèle. Il consulte notamment les configurations publiées sur le Model Hub de Hugging Face, puis examine le code de référence utilisé pour l’implémentation. Ces ressources peuvent préciser le nombre de couches, la dimension des représentations, le type d’attention, la structure du tokenizer ou encore les paramètres propres à l’entraînement et à l’inférence. La lecture ne repose donc pas sur une seule source, mais sur la comparaison de plusieurs niveaux de documentation.

Les fichiers et le code comme sources d’information

Les fichiers de configuration, comme le fichier config.json souvent présent dans les dépôts de modèles sur Hugging Face, occupent une place centrale dans ce processus. Ils donnent accès à des paramètres qui ne sont pas toujours détaillés dans les rapports techniques. En observant leur organisation, il devient possible de comprendre comment les différents composants sont assemblés et quelles variantes d’une architecture sont effectivement utilisées. Les configurations permettent aussi de distinguer les informations générales d’un modèle des choix spécifiques à une version donnée.

Le code de référence complète cette lecture. Une implémentation fonctionnelle montre comment les paramètres sont interprétés et comment les blocs s’enchaînent lors du passage des données dans le réseau. Raschka peut ainsi relier une description théorique à des fonctions Python concrètes. Le dépôt Transformers de Hugging Face fait partie des ressources utiles pour suivre cette correspondance entre les fichiers, les classes et les mécanismes d’exécution. Cette démarche aide à transformer une architecture abstraite en une représentation plus facile à examiner.

Une méthode destinée aux modèles à poids ouverts

La méthode concerne principalement les modèles à poids ouverts, pour lesquels les fichiers techniques et le code sont accessibles. Lorsqu’un modèle est publié avec ses poids sur le Model Hub de Hugging Face, le chercheur peut généralement consulter sa configuration et son implémentation de référence. Il dispose alors de plusieurs indices pour reconstruire la structure du système et produire les schémas présentés dans ses articles, ses conférences ou sa galerie d’architectures.

Cette approche ne s’applique pas de la même manière aux modèles propriétaires. Raschka cite ChatGPT, Claude et Gemini comme exemples de systèmes dont les poids et les détails internes ne sont pas publiés. Dans ces cas, l’observation porte davantage sur le comportement externe du modèle que sur ses composants internes. La distinction entre modèles ouverts et modèles propriétaires délimite donc clairement le périmètre de son workflow.

Comprendre en dessinant

L’objectif n’est pas seulement de produire un dessin : dans sa galerie d’architectures, Sebastian Raschka publie justement des schémas consacrés à des modèles comme GPT-2 et Llama 2 afin de rendre leurs composants comparables. La réalisation de ces diagrammes devient ainsi un exercice d’apprentissage. Raschka explique que certaines étapes pourraient être automatisées, mais qu’une analyse effectuée manuellement oblige à lire les rapports, ouvrir les configurations et suivre le fonctionnement du code. Cette activité permet de vérifier progressivement les hypothèses formulées à partir de la documentation.

Le processus va ainsi des fichiers vers une compréhension structurée de l’architecture, puis vers des croquis ou des schémas plus aboutis. En répétant cette méthode sur plusieurs modèles, le lecteur peut comparer les choix d’implémentation et mieux reconnaître les composants récurrents. Le déroulé reste volontairement manuel : il privilégie l’examen attentif des sources et l’apprentissage par la pratique, plutôt qu’une simple génération automatisée de diagrammes. Raschka présente cette chaîne dans un article réservé aux abonnés payants, en reliant l’inspection des ressources techniques à la construction de connaissances sur les architectures de modèles de langage.