SageMaker pousse GPT-OSS-20B à 84 % sur Wordle

AWS présente un entraînement par renforcement multi-tours pour SageMaker AI, destiné aux agents qui exécutent plusieurs actions. La méthode évalue la réussite de l’épisode complet, plutôt qu’une réponse isolée. Dans l’exemple publié le 30 octobre 2026, un agent joue à Wordle pendant six essais maximum. SageMaker AI envoie les tâches à un agent hébergé sur Amazon Bedrock AgentCore. Cet agent appelle le modèle en cours d’entraînement, interagit avec l’environnement, puis renvoie une récompense finale. AWS indique que GPT-OSS-20B est passé d’un taux de réussite de 61 % à 84 % sur des mots réservés à l’évaluation, avec son niveau de raisonnement par défaut. À faible effort, le taux est passé de 15 % à 69 %.

La méthode cible les tâches où chaque décision dépend des précédentes. Le dépôt AWS cite notamment le classement de demandes d’assistance et le traitement de notes de frais comme exemples d’agents séquentiels. Dans ces cas, une seule trajectoire correcte n’est pas nécessairement disponible. Le système apprend donc à partir du résultat global de l’épisode. Wordle fournit un terrain mesurable, car chaque mot comporte cinq lettres et chaque partie autorise six essais. Le jeu renvoie un retour après chaque proposition. Les lettres vertes occupent la bonne position, les jaunes appartiennent au mot et les grises sont absentes. AWS précise toutefois que Wordle sert d’exemple pédagogique. L’usage visé concerne plutôt des tâches internes et spécialisées.

SageMaker coordonne les trajectoires

L’architecture sépare l’entraînement et l’environnement d’exécution. SageMaker AI possède le travail d’entraînement et le modèle de politique. AgentCore héberge l’agent, l’environnement Wordle et la fonction de récompense. Une fonction AWS Lambda assure la transmission entre les services. À chaque trajectoire, le service invoque le runtime AgentCore avec une ligne contenant un mot secret. Un agent Strands appelle le modèle via le point de terminaison compatible OpenAI du SageMaker Job Runtime. Le modèle formule jusqu’à six propositions avec l’outil guess_word. Après chaque proposition, l’environnement renvoie des indications par lettre. À la fin, l’agent produit une récompense unique. GRPO utilise ensuite la dispersion des récompenses pour mettre à jour un adaptateur LoRA.

Le barème distingue trois résultats. Une victoire rapporte entre 1,05 et 1,55 point selon la rapidité. Une défaite rapporte -0,5 point. L’absence de proposition valide rapporte -1,5 point. Un terme de façonnage ajoute une petite récompense pour la stratégie au sein de chaque catégorie. Dans l’exécution décrite, le travail a duré 12 heures et 40 minutes. Il a traité 105 486 trajectoires et 100 étapes. Les consommations ont atteint 491,6 millions de jetons de préremplissage, 159,7 millions de jetons générés et 643,3 millions de jetons d’entraînement. Aux tarifs affichés pour GPT-OSS-20B dans la région américaine de Virginie du Nord, AWS estime le coût d’entraînement à 338,50 dollars.

AWS détaille les contraintes opérationnelles

Le coût total inclut aussi le runtime AgentCore. AWS l’estime à environ 79 dollars pour cette exécution, selon les métriques Amazon CloudWatch et les tarifs affichés en Virginie du Nord. Le poste d’entraînement représente 231,59 dollars, contre 58,99 dollars pour le préremplissage et 47,92 dollars pour les échantillons. AWS indique que la dimension entraînement domine la facture et augmente avec la longueur des trajectoires. Les parties plus courtes et le raisonnement moins verbeux réduisent donc la consommation mesurée. Le paramètre REASONING_EFFORT=low a utilisé entre 63 % et 83 % de jetons générés en moins par partie que le niveau moyen lors des évaluations. Le dispositif conserve les données et les modèles entraînés dans le compte AWS du client.

Le parcours pratique exige Python 3.10 ou une version ultérieure, uv, Node 20 ou une version ultérieure, ainsi que l’interface AgentCore. Le paquet botocore doit être en version 1.43.37 ou ultérieure pour inclure l’opération CreateJob. Le compte doit disposer de deux rôles IAM et d’un compartiment Amazon S3 dans la même région que l’agent. Le dépôt sample-multi-turn-rl-wordle fournit le code, les fichiers de configuration et un exemple de charge utile. AWS recommande le déploiement par l’interface de commande AgentCore et CloudFormation. La documentation complète décrit aussi le contrôle du runtime, la préparation des données, le suivi MLflow et l’évaluation. Le guide AWS détaille chaque étape.

Les modèles pris en charge incluent Amazon Nova 2 Lite et GPT-OSS-20B dans les régions américaines de Virginie du Nord et de l’Oregon. Gemma 4 31B, réglé pour suivre les instructions, et Qwen 3.6 27B sont disponibles dans l’Oregon. AWS a retenu GPT-OSS-20B dans l’exemple, car son prix par jeton était le plus bas parmi les quatre modèles et son effort de raisonnement pouvait être contrôlé à chaque requête. Le système applique un adaptateur LoRA au modèle de base. Le jeu de données ne contient ni réponses cibles, ni transcriptions, ni étiquettes. Chaque ligne représente une tâche à tenter. Les listes de mots utilisées pour le score proviennent des listes ouvertes SCOWL. Le projet Wordle de Wikipédia sert de référence pour les règles du jeu.