Par Arthur Dekeyser
En résumé
NVIDIA Dynamo répartit l’inférence sur plusieurs nœuds de calcul.
Amazon SageMaker HyperPod coordonne les GPU, le réseau EFA et le remplacement des nœuds défaillants.
Le service séparé atteint 207 jetons par seconde par GPU sur Qwen3-235B.
Le signal : Qwen3-235B atteint 207 jetons par seconde par GPU avec le service séparé de NVIDIA Dynamo.
Vous appréciez ce genre d'analyse ?
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés
Amazon Web Services annonce la prise en charge de NVIDIA Dynamo dans Amazon SageMaker HyperPod Inference. Cette intégration vise le déploiement distribué de grands modèles de langage sur plusieurs nœuds. GLM-5.3 utilise des poids FP8 qui dépassent les 640 Go de mémoire GPU d’une instance ml.p5.48xlarge. Cette capacité doit aussi accueillir le cache KV et la mémoire d’exécution. HyperPod combine la gestion de l’infrastructure avec les fonctions d’inférence distribuée de Dynamo. Le dispositif prend en charge le service sur plusieurs nœuds, le préremplissage et le décodage séparés, ainsi que le routage tenant compte du cache KV. L’annonce est publiée le 18 novembre 2026 sur le blog AWS.
Dynamo distribue l’inférence Dynamo est un cadre de code ouvert qui prend en charge vLLM, SGLang et TensorRT-LLM. Son frontal dirige les requêtes vers des unités de préremplissage, qui traitent les invites, puis vers des unités de décodage, qui génèrent les jetons. Ces deux groupes peuvent être dimensionnés séparément. Ils chargent chacun les poids complets du modèle et transfèrent le cache KV via le réseau EFA. Dynamo prend aussi en charge un mode agrégé, dans lequel le préremplissage et le décodage utilisent la même unité. Son routeur tient compte du cache KV préfixe réutilisable et de la charge active des unités. La réutilisation du préfixe peut réduire le recalcul des invites et le délai avant le premier jeton.
Les opérateurs orchestrent L’extension HyperPod Inference installe les définitions de ressources de Dynamo et plusieurs composants de gestion. L’HyperPod Inference Operator déploie les points de terminaison via une ressource InferenceEndpointConfig. Le Dynamo Operator gère les ressources d’un DynamoGraphDeployment, notamment le frontal, les unités de modèle, les réplications et les besoins matériels. Grove coordonne les groupes de modules liés, tandis que KAI Scheduler place les modules sur les ressources GPU avec une planification groupée. Les conteneurs AWS Deep Learning fournissent l’environnement Dynamo. HyperPod surveille les nœuds, les GPU et le réseau EFA. Il remplace les nœuds défaillants, puis les composants d’orchestration recréent les unités affectées.
Deux parcours structurent Les équipes peuvent apporter un DynamoGraphDeployment existant ou utiliser InferenceEndpointConfig avec dynamoSpec. Le premier parcours conserve les manifestes et recettes Dynamo, mais demande de configurer l’image, le stockage, le réseau et le placement des modules. Le second reprend le format de configuration HyperPod et son interface compatible avec OpenAI. L’opérateur peut préparer les poids depuis Amazon S3 ou Amazon FSx. Il gère aussi le point de terminaison, TLS et l’enregistrement. La mise à l’échelle automatique s’appuie sur KEDA via autoScalingSpec pour les déploiements agrégés et séparés. Les deux parcours acceptent les déploiements sur une instance ou plusieurs nœuds.
Les tests comparent AWS a utilisé AIPerf pour comparer les configurations sur Qwen3-235B-A22B-FP8, avec TensorRT-LLM et deux instances p5en.48xlarge totalisant 16 GPU H200. Les requêtes contenaient 4 000 jetons d’entrée et 200 jetons de sortie. Parmi les mesures respectant un délai P90 avant le premier jeton inférieur à une seconde et une vitesse médiane d’au moins 50 jetons par seconde par utilisateur, le service séparé a atteint 207 jetons par seconde par GPU. Le service agrégé culminait à 101 jetons par seconde par GPU. Ces résultats correspondaient respectivement à des concurrences de 80 et 32. Les recettes sont disponibles dans le dépôt Dynamo.
Un second test a comparé un service agrégé sur un ou deux nœuds avec Qwen3.5-397B-A17B-FP8, Dynamo et vLLM. Le test utilisait TP4 × PP2, huit GPU H200 actifs et une charge agentique avec forte réutilisation du préfixe, à concurrence 32. La configuration répartie sur deux instances a atteint 126,4 jetons de sortie par seconde et par GPU. Elle a conservé 99,1 % du débit de la configuration sur un seul nœud. Le modèle tenait sur une instance, mais ce scénario servait de référence contrôlée. AWS recommande de vérifier le transport EFA, de rejouer un trafic représentatif avec AIPerf et de modifier une seule variable à la fois.
Gardez un coup d'avance en IA et tech.
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.
+11 000 fondateurs abonnés