NVIDIA simule la chirurgie à 160 images par seconde

NVIDIA présente Cosmos-H-Dreams, un simulateur génératif conditionné par les actions pour la robotique chirurgicale. L’annonce a été publiée le 27 juillet 2026. Le système produit des images chirurgicales futures à partir d’une image RGB initiale et d’un flux de cinématique robotique. Il fonctionne en boucle fermée, avec un humain ou une politique apprise aux commandes. NVIDIA le fait fonctionner sur une seule carte RTX PRO 6000, à environ 160 images par seconde. Le modèle vise notamment l’évaluation de politiques et la génération de données synthétiques. Il reste une plateforme de recherche et développement, pas un système de diagnostic ni un contrôleur de robot chirurgical physique.

La simulation évolue depuis Cosmos-H-Surgical-Simulator, un modèle de fondation construit sur Cosmos-Predict2.5-2B et post-entraîné avec Open-H-Embodiment. Ce modèle générait déjà des vidéos à partir d’une scène chirurgicale et d’une trajectoire robotique future. Cosmos-H-Dreams spécialise ces capacités pour la suture sur table avec le da Vinci Research Kit, ou dVRK. NVIDIA le distille ensuite en modèle causal capable de produire la scène de manière autorégressive. Cette approche traite des éléments difficiles à modéliser manuellement, comme les tissus déformables, les interactions fines avec les instruments, les aiguilles, la fumée et les occlusions. Les expériences physiques restent coûteuses, lentes à reproduire et exposées aux dommages matériels.

NVIDIA accélère les scènes chirurgicales

La distillation réduit le coût de génération tout en conservant des dynamiques chirurgicales utiles. Le modèle enseignant utilise une représentation d’action unifiée de 44 dimensions. Pour le dVRK à deux bras, cette représentation combine translation et rotation relatives de l’effecteur, ainsi que l’état de la pince. L’entraînement s’appuie sur le mélange JHU dVRK tabletop, avec des démonstrations réussies et des épisodes d’échec. Ces épisodes incluent des chutes d’aiguille, des lancers manqués et des nœuds mal réalisés. L’horizon temporel du modèle enseignant passe progressivement de 12 à 72 images. Le modèle étudiant apprend ensuite l’attention causale, le cache clé-valeur et les séquences générées par ses propres sorties.

FlashDreams diffuse le modèle grâce à plusieurs optimisations d’inférence. La bibliothèque utilise notamment un cache clé-valeur continu, la capture de graphes CUDA et la compilation du modèle. Selon NVIDIA, ces techniques font passer l’inférence d’environ 10 images par seconde avec Cosmos-H-Surgical-Simulator à environ 160 images par seconde avec Cosmos-H-Dreams, sur une RTX PRO 6000. Un client web transmet des commandes clavier et reçoit des images via WebRTC. Un client Meta Quest transforme les mouvements de contrôleurs suivis en actions robotiques, puis affiche la scène avec WebXR. Une politique chirurgicale apprise peut aussi échanger observations générées et actions prédites dans une boucle fermée.

NVIDIA prépare des tests en boucle fermée

CMR Surgical collabore avec NVIDIA et Cambridge Consultants pour intégrer Cosmos-H-Dreams au contrôleur chirurgien de Versius. Le modèle peut donc fonctionner avec plusieurs interfaces, au-delà de l’expérience dVRK présentée dans le modèle pré-entraîné. NVIDIA fournit aussi une recette pour adapter l’entraînement à d’autres données et embodiments. La prochaine étape annoncée consiste à évaluer davantage que la qualité visuelle. Les critères proposés incluent la précision de position de l’extrémité d’outil, la fidélité des cycles de pince, la stabilité au repos, la diversité des actions contrefactuelles, la dérive sur les longues séquences et l’accord entre résultats simulés et réels. Le code Cosmos-H-Dreams et le guide d’entraînement sont disponibles pour exploration.

NVIDIA décrit plusieurs usages de recherche pour cette simulation en temps réel. Le système peut produire des échecs rares, fournir des environnements pour l’apprentissage par renforcement ou imitation, et accélérer l’évaluation de politiques sans mobiliser chaque fois un robot physique. L’entreprise cite aussi la téléchirurgie sensible à la latence, la répétition interactive d’interventions, la planification et l’aide à la décision peropératoire comme applications ultérieures. Ces possibilités restent conditionnées par la fidélité du modèle, sa stabilité temporelle et son efficacité matérielle. Cosmos-H-Dreams ne remplace pas l’imagerie peropératoire. NVIDIA le présente plutôt comme une base commune pour la formation, les données synthétiques, l’entraînement et l’évaluation de politiques.