AWS entraîne Qwen3 sur ses propres puces Trainium2

AWS entraîne Qwen3 sur Trainium avec torchtitan, le framework d’entraînement utilisé pour cette démonstration. L’exécution repose sur une instance trn2.48xlarge. Cette instance regroupe 16 accélérateurs Trainium2. Elle fournit aussi 128 NeuronCores physiques. La configuration d’entraînement utilise toutefois 64 NeuronCores logiques. Le modèle vérifié est Qwen/Qwen3-4B-Instruct-2507. Avec les poids publiés, son exécution produit une perte de 6,54 à l’étape 1. AWS détaille cette mise en œuvre dans son article consacré à Qwen3 et Trainium. Le guide original d’AWS présente les commandes et configurations associées à cette exécution sur matériel spécialisé.

TorchNeuron connecte PyTorch à l’architecture Trainium en l’enregistrant comme appareil natif. Cette intégration permet à torchtitan d’utiliser les accélérateurs dans son parcours d’entraînement. Les configurations disponibles pour Qwen3 reposent sur trois méthodes. La première utilise Transformers v5. La deuxième s’appuie sur l’implémentation native de Qwen3. La troisième exploite des noyaux de mélange d’experts, ou MoE, fournis par Neuron Kernel Interface. Ces options couvrent donc plusieurs niveaux d’intégration logicielle. Le dépôt torchtitan-neuron sur GitHub rassemble les éléments liés à cette adaptation, tandis que la documentation Neuron décrit l’environnement d’exécution.

Trois configurations pour Qwen3

Les trois méthodes organisent différemment l’accès aux composants de Qwen3. Transformers v5 fournit une configuration fondée sur cette bibliothèque. L’option native Qwen3 utilise directement l’implémentation du modèle. La troisième méthode ajoute des noyaux MoE issus de Neuron Kernel Interface. Ces configurations sont exécutées avec torchtitan sur Trainium. TorchNeuron intervient comme pilote et expose les accélérateurs à PyTorch. L’environnement matériel reste identique pour la démonstration décrite par AWS. Il s’agit d’une instance trn2.48xlarge comprenant 16 accélérateurs Trainium2. La configuration logique mobilise 64 NeuronCores, malgré la présence de 128 NeuronCores physiques.

Le test mesure deux initialisations sur 10 étapes d’entraînement. Avec les poids publiés de Qwen/Qwen3-4B-Instruct-2507, la perte atteint 6,54 dès l’étape 1. Une autre exécution commence avec une initialisation aléatoire et affiche une perte de 12,43 à cette même étape. Les deux résultats utilisent une taille de lot locale de 1. Ces valeurs documentent le comportement observé au démarrage des entraînements. Elles distinguent un modèle chargé depuis des poids existants d’un modèle initialisé aléatoirement. La séquence comporte 10 étapes au total. AWS présente ces mesures avec la configuration Trainium correspondante et les paramètres utilisés par torchtitan.

AWS documente dix étapes d’entraînement

La configuration complète associe donc une instance trn2.48xlarge, 16 accélérateurs Trainium2 et 64 NeuronCores logiques. Elle s’appuie sur TorchNeuron pour déclarer Trainium comme appareil PyTorch. torchtitan fournit ensuite le cadre d’exécution pour Qwen3. Les trois variantes couvrent Transformers v5, Qwen3 natif et les noyaux MoE NKI. Le test publié porte sur Qwen/Qwen3-4B-Instruct-2507. Son résultat avec poids publiés est une perte de 6,54 à l’étape 1. L’initialisation aléatoire atteint 12,43. Les essais utilisent 10 étapes et une taille de lot locale de 1. Les ressources, logiciels et mesures sont regroupés dans la documentation d’AWS.