# NVIDIA repousse les limites de la chirurgie avec Cosmos-H-Dreams

> NVIDIA présente Cosmos-H-Dreams, un simulateur chirurgical génératif qui atteint près de 160 images par seconde sur une RTX PRO 6000.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-08-14 · Signal IA - Order & Chaos · Secteur : Santé
Source : https://www.orderchaos.eu/signal-ia/actu/nvidia-lance-cosmos-h-dreams-pour-simuler-la-chirurgie-en-temps-reel
Tags : nvidia, cosmos-h-dreams, robotique chirurgicale, simulation, santé, inference

---

## En résumé

- Cosmos-H-Dreams génère en temps réel des scènes chirurgicales à partir d’une image RGB et d’actions robotiques en flux continu.
- Le modèle dVRK est entraîné avec des démonstrations réussies, des chutes d’aiguille, des passages manqués et des nœuds mal réalisés.
- FlashDreams porte l’inférence d’environ 10 à près de 160 images par seconde sur une NVIDIA RTX PRO 6000.

**Le signal :** Sur une seule NVIDIA RTX PRO 6000, Cosmos-H-Dreams vise près de 160 images par seconde contre environ 10 pour l’inférence standard.

## NVIDIA accélère la simulation chirurgicale

Publié le 27 juillet 2026, Cosmos-H-Dreams est présenté par NVIDIA comme un simulateur génératif en temps réel pour la robotique chirurgicale. Le modèle reçoit une image RGB initiale et un flux de cinématiques du robot, puis génère les images suivantes au fil des blocs d’actions. Un humain ou une politique apprise peut ainsi contrôler l’environnement en boucle fermée, sur une seule carte NVIDIA RTX PRO 6000.

Le projet prolonge Cosmos-H-Surgical-Simulator, un modèle de fondation conditionné par les actions et construit sur NVIDIA Cosmos-Predict2.5-2B, puis entraîné sur le jeu de données Open-H-Embodiment. Ce premier système générait les conséquences visuelles probables d’une trajectoire robotique afin d’évaluer des politiques hors ligne et de produire des données synthétiques, sans exécuter chaque mouvement sur un robot physique. Cosmos-H-Dreams en distille les capacités dans un modèle causal fonctionnant en quelques étapes, servi par la bibliothèque d’inférence accélérée FlashDreams.

## Le dVRK sert de terrain d’entraînement

Pour la version publiée, NVIDIA a spécialisé le modèle sur la suture de table avec le da Vinci Research Kit, ou dVRK. Les actions des deux bras, comprenant la translation et la rotation relatives de l’effecteur ainsi que l’état de la pince, sont converties dans une représentation commune de 44 dimensions. L’entraînement s’appuie sur le mélange JHU dVRK tabletop, qui rassemble des démonstrations réussies mais aussi des épisodes d’échec et hors distribution, comme des chutes d’aiguille, des passages manqués et des nœuds mal réalisés.

Cette diversité doit permettre au simulateur de reproduire les conséquences d’actions défectueuses, et pas uniquement des gestes idéaux. La fenêtre temporelle d’entraînement du modèle enseignant passe progressivement de 12 à 72 images. Un modèle étudiant causal est ensuite entraîné à partir de trajectoires de débruitage préalablement mises en cache, avant d’apprendre avec son propre historique généré grâce à une distillation dite « self-forcing ». Le modèle final peut fonctionner avec seulement deux étapes de débruitage par image latente.

## FlashDreams vise 160 images par seconde

FlashDreams combine notamment cache KV en flux continu, capture de graphes CUDA et compilation du modèle. NVIDIA indique que ces optimisations font passer l’inférence du simulateur Cosmos-H-Surgical-Simulator d’environ 10 images par seconde à près de 160 images par seconde sur une RTX PRO 6000. Une interface navigateur transmet des commandes clavier et reçoit les images via WebRTC. Une application Meta Quest peut convertir les mouvements de contrôleurs suivis en actions robotiques et afficher la scène synthétisée avec WebXR.

NVIDIA indique également avoir travaillé avec CMR Surgical et Cambridge Consultants pour intégrer Cosmos-H-Dreams au contrôleur du chirurgien de la plateforme Versius, permettant une opération en temps réel. Le système peut aussi échanger observations générées et actions prédites avec une politique chirurgicale apprise. Pour la suite, NVIDIA prévoit des évaluations portant notamment sur la précision de position de l’extrémité des outils, la fidélité des cycles de pince, la stabilité au repos, la diversité des actions contrefactuelles, la dérive sur de longues séquences et l’accord entre les résultats simulés et réels.