NVIDIA simule la chirurgie en temps réel avec Cosmos3-H-Dreams

NVIDIA présente Cosmos3-H-Dreams le 20 octobre 2026. Le modèle est décrit comme une simulation générative interactive pour la chirurgie clinique. NVIDIA le présente comme le premier simulateur chirurgical génératif en temps réel entraîné sur des enregistrements de cholécystectomie. Le système prend aussi en charge un contrôle cinématique en direct. Cette annonce est détaillée dans la publication de NVIDIA sur Hugging Face. Elle place la simulation générative au centre d’un cas d’usage chirurgical précis. Le dispositif ne se limite donc pas à produire des séquences vidéo. Il associe une génération interactive à des actions enregistrées pendant des procédures cliniques.

Un entraînement clinique distingue Cosmos3-H-Dreams par ses données. NVIDIA indique que le modèle apprend à partir d’enregistrements vidéo et de cinématiques robotiques réalisés pendant des procédures cliniques. Les séquences d’entraînement utilisent une résolution de 832 x 480. Les actions vidéo sont échantillonnées à 10 Hz. Le simulateur exploite 28 dimensions d’action pour représenter le contrôle. Ces paramètres décrivent une chaîne reliant observation visuelle et mouvement. Ils précisent aussi le format technique utilisé lors de l’apprentissage. Le dépôt Cosmos3-H-Dreams sur GitHub accompagne cette présentation publique du simulateur chirurgical génératif.

Cosmos3-H-Dreams combine vidéo et cinématique

Une architecture en deux étapes structure l’apprentissage de Cosmos3-H-Dreams. Le modèle utilise un pipeline d’entraînement composé d’un enseignant bidirectionnel et d’un étudiant. Cette méthode est également documentée dans le projet Cosmos3-H-Embodied-Nano de NVIDIA. Le modèle Cosmos3-H-Embodied-Nano compte 16 milliards de paramètres. Cette référence fournit le cadre associé aux éléments d’apprentissage présentés pour la simulation. Le pipeline distingue donc deux rôles au sein de la formation du modèle. Les données vidéo, les actions et la cinématique s’inscrivent dans cette organisation. La description technique relie ainsi la simulation interactive à une méthode d’entraînement explicitement structurée.

Une exécution locale permet une interaction avec une seule carte NVIDIA RTX PRO 6000. Cette exigence matérielle est indiquée pour faire fonctionner Cosmos3-H-Dreams de manière interactive. Le système prend aussi en charge un contrôle cinématique en direct. L’utilisateur peut donc agir sur la simulation au moyen des 28 dimensions d’action décrites. Ces caractéristiques définissent le fonctionnement opérationnel présenté par NVIDIA. Le projet s’inscrit parmi les travaux de NVIDIA consacrés aux environnements de santé et aux modèles incarnés. Le code Cosmos3-H-Embodied-Nano rassemble les éléments associés à cette architecture et à son entraînement.

NVIDIA encadre la validation visuelle

La validation reste distincte de la seule apparence des images générées. NVIDIA affirme que le réalisme visuel constitue un point de départ pour la validation, et non une preuve de précision biomécanique. Cette distinction concerne directement un simulateur destiné à représenter des gestes chirurgicaux. Cosmos3-H-Dreams combine des enregistrements cliniques, des actions vidéo et des cinématiques robotiques. Ces composants décrivent le fonctionnement et l’apprentissage du système. Ils ne transforment pas automatiquement le réalisme visuel en mesure de précision biomécanique. NVIDIA présente donc séparément la qualité visuelle et l’évaluation de la fidélité des mouvements chirurgicaux dans la simulation générative.