Vai al contenuto principale
Casi d’usoAvanzato6 min di lettura

Cosmos3-H-Dreams: la simulazione chirurgica in tempo reale di NVIDIA, e la robotica in locale

i
iaLocale Team
•
Cosmos3-H-Dreams: la simulazione chirurgica in tempo reale di NVIDIA, e la robotica in locale

NVIDIA ha pubblicato Cosmos3-H-Dreams: un modello di mondo chirurgico che, su una singola GPU di workstation, genera in tempo reale il video endoscopico di un intervento di colecistectomia robotica, a partire dai comandi dei due bracci del robot. Non è un modello di linguaggio: non risponde a domande né scrive codice. È un generatore di video condizionato sulle azioni — e questa differenza cambia il tipo di domande a cui può rispondere.

Cos'è davvero, e come è fatto

Cosmos3-H-Dreams è un modello di mondo real-time e condizionato sulle azioni, addestrato per il sistema robotico CMR Surgical Versius. Date una singola inquadratura della telecamera endoscopica, la recente storia dei comandi del robot e il flusso dei comandi futuri di entrambi i bracci, genera in modo autoregressivo il video endoscopico risultante: cosa vedrebbe lo schermo della sala operatoria se il robot eseguisse quei movimenti.

L'architettura è una Mixture-of-Transformers da circa 15,17 miliardi di parametri: una torre di ragionamento Qwen3-VL-8B-Instruct unita a un expert di generazione con diffusione latente, che condivide l'attenzione multimodale e opera sui latenti del VAE video Wan2.2 (compressione 4x nel tempo, 16x16 nello spazio).

I dati sono reali: 4.792 episodi di colecistectomia robotica registrata, circa 17 milioni di frame a 60 Hz e 1080p, risampionati a 10 Hz. Per il fine-tuning è servita una selezione stringente: 64 registrazioni, circa 526 minuti unici, con esattamente due strumenti visibili in ogni finestra — il classico paio grasper (braccio sinistro) e gancio (braccio destro).

La parte chiave è la distillazione. Un insegnante bidirezionale che guarda tutta la sequenza e impiega 35 passi di campionamento per frame è lento per definizione. NVIDIA lo ha distillato in uno studente causale che genera il video finestra dopo finestra con 4 passi per frame, con KV cache — e quello è il modello che gira in tempo reale.

Come funziona a runtime

In inferenza il modello riceve un frame di partenza e, opzionalmente, fino a 16 passi di storia d'azione (1,6 secondi). Ogni passo è un vettore d'azione da 28 dimensioni: 14 per braccio, con traslazione e rotazione relative all'ancora, apertura della mandibola, energia elettrochirurgica e joystick.

Il video esce a scatti: ogni chunk dura 0,4 secondi e richiede 4 vettori d'azione futuri, quindi un rollout di default copre 72 frame a 10 Hz — 7,2 secondi di intervento, a 832x480. I comandi arrivano prima del video: o li prendi da un intervento registrato, o li generi con un modello di policy. Il modello non decide cosa fare: predice solo come evolve la scena.

I numeri del tempo reale

La tabella viene direttamente dalla scheda del modello su Hugging Face (fonte):

GPURisoluzionePassi di denoisingFPS
RTX PRO 6000 Blackwell (Workstation)832x480430,0
RTX PRO 6000 Blackwell (Workstation)832x480243,2
RTX PRO 6000 Blackwell (Max-Q)832x480420,2
RTX PRO 6000 Blackwell (Max-Q)832x480231,2
DGX Spark512x288216,9

Il riferimento operativo è il 10 Hz: è la frequenza a cui il robot trasmette i comandi, quindi per tenere il loop interattivo in tempo reale servono almeno 10 FPS. La scheda da 80 GB ci arriva con 3-4 volte di margine; quella da 64 GB con 2; il DGX Spark, desktop con 128 GB di memoria unificata, ci arriva pure, ma a risoluzione ridotta.

La VRAM: 15,17B di parametri esportati in FP32 pesano circa 60 GB, più KV cache e VAE. Serve una GPU da 80 GB, e NVIDIA non ha qualificato quantizzazioni o precisioni inferiori: non esiste ancora un modo ufficiale per farlo stare su una scheda consumer da 24 GB. Il runtime è FlashDreams (KV cache a forma fissa, torch.compile, CUDA Graphs, decoder video leggero) su Linux, con stack interattivo da tastiera o visore Meta Quest.

Perché è un caso d'uso concreto, non una demo

Questo è il terzo modello della famiglia Cosmos3 che arriva in locale, dopo il simulatore di guida Cosmos3-Nano-Sim-Auto e la policy per la robotica edge Cosmos 3 Edge. La differenza di ruolo è il punto: non è il modello a fare la differenza, è ciò che puoi farci prima di toccare il sistema fisico.

1. Valutare policy chirurgiche. L'uso dichiarato principale è l'evaluation di modelli di policy prima del deployment: si fa correre la policy sulla simulazione, si confronta il video generato con ciò che ci si aspetta, e si trovano gli errori di logica, di sequenza o di casi limite senza coinvolgere un sistema fisico. Mille run su GPU costano energia, non rischi.

2. Esplorazione interattiva. Il modello è pensato anche per l'esplorazione teleoperata: si muove il robot (o i suoi comandi) dentro la simulazione e si vede la conseguenza istantanea. Per chi sviluppa interfacce e workflow chirurgici, è un ambiente di prova che risponde in tempo reale invece di richiedere un teatro operatorio.

3. Dati sintetici. Il terzo utilizzo è la generazione di dati sintetici per la colecistectomia robotica: si aumentano i 64 minuti reali con sequenze plausibili, un trucco noto quando i dati clinici sono pochi e costosi.

4. Tutto su un'GPU, senza rete. L'intero loop gira su una singola GPU di workstation. Niente chiamate cloud, niente video chirurgici transitati in rete: i dati restano sull'hardware. È il punto di vista che conta per chi lavora con dati sensibili e policy stringenti.

E i limiti?

Il modello è specializzato su un embodiment (CMR Versius, dominio 25 dei 32 dell'init) e una sola procedura: non simula altri robot né altre operazioni. Richiede GPU NVIDIA Blackwell o Hopper con almeno 80 GB di VRAM, e la quantizzazione non è stata qualificata: il prezzo d'ingresso è una workstation, non un desktop. Genera video realistici, ma è una simulazione: non sostituisce l'intervento, e la validazione clinica resta obbligatoria per qualsiasi uso medico.

Da dove ripartire

Se vuoi capire la famiglia da cui viene, leggi la guida al Cosmos3-Nano-Sim-Auto e la nota sulla policy DROID per la robotica edge. Se vuoi leggere correttamente specifiche come "15B parametri", "MoT" o "4 passi di denoising", la guida su come leggere le specifiche di un modello resta il riferimento.

In sintesi

Cosmos3-H-Dreams mostra che i modelli di mondo in locale hanno smesso di essere demo di ricerca: su una singola GPU di workstation puoi simulare in tempo reale un intervento robotico, per valutare policy, esplorare e generare dati sintetici per la robotica. I numeri sono di NVIDIA (scheda modello, repository); il vincolo è il tuo hardware, non la rete.

Articolo generato con IA

In questi percorsi

Condividi:

Ti è piaciuto questo articolo?

Iscriviti alla newsletter per ricevere nuovi tutorial e guide.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Articoli Correlati

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.

🚗

NVIDIA Cosmos3-Nano-Sim-Auto

Modelli

Variante causal-distilled della famiglia Cosmos3 per la simulazione di guida in tempo reale: genera video multi-camera (fino a 11 viste standard e fisheye) e LiDAR sincronizzati, condizionati da prompt e controlli WSM. 16B di parametri, architettura Mixture-of-Transformers, licenza OpenMDW 1.1, pronta per uso commerciale e non commerciale.

🤖

NVIDIA Isaac GR00T N1.7 (3B)

Modelli

Modello fondazionale aperto per ragionamento e abilità di robot umanoidi generalizzati: input multimodale (linguaggio, immagini, propriocezione) e transformer d'azione con flow matching che condiziona un chunk di azioni su visione, linguaggio e stato del corpo. La famiglia N1.7 comprende 4 varianti post-addestrate (SimplerEnv Bridge, SimplerEnv Fractal, DROID, LIBERO). Versione 3B, pronta per uso commerciale e non commerciale, licenza aperta NVIDIA.

🤖

NVIDIA Cosmos3-Edge-Policy-DROID

Modelli

Checkpoint robot-policy di 4B post-addestrato sulla base Cosmos3-Edge: da istruzioni in linguaggio naturale e osservazioni visive del robot DROID genera traiettorie di azione per task di manipolazione. Architettura Mixture-of-Transformers (torre autoregressiva + diffusion transformer), licenza OpenMDW 1.1, uso commerciale e non.

🩻

NVIDIA Cosmos3-H-Dreams

Modelli

Modello di mondo chirurgico real-time e condizionato sulle azioni per il sistema CMR Surgical Versius: genera autoregressivamente il video endoscopico di una colecistectomia robotica a partire da un frame e dai comandi dei due bracci. MoT da 15,17B (torre Qwen3-VL-8B + expert di diffusione latente), student causale a 4 passi con KV cache. 30 FPS a 832x480 su RTX PRO 6000 Blackwell (40 Go), 20,2 FPS sul Max-Q (80 Go) e 16,9 FPS a 512x288 su DGX Spark. Licenza NVIDIA Open Model, rilascio 2026-10-20.