Aller au contenu principal
Cas d’usageIntermédiaire7 min de lecture

Cosmos3-Nano-Sim-Auto : le world model de NVIDIA, 16B, qui simule la conduite en temps réel en local

i
iaLocale Team
•
Cosmos3-Nano-Sim-Auto : le world model de NVIDIA, 16B, qui simule la conduite en temps réel en local

Un world model est un simulateur neuronal : un modèle qui a appris comment le monde se comporte et peut générer ce qui se passerait si vous faisiez cette manœuvre, dans ce scénario, par cette météo. Il ne répond pas à des questions — il produit des scénarios. Et NVIDIA les sort du cloud : Cosmos3-Nano-Sim-Auto est un world model de 16 milliards de paramètres pour la simulation de conduite en temps réel, publié sur Hugging Face et GitHub sous la licence OpenMDW 1.1. Ici, on regarde ce qu'il génère, comment fonctionne la boucle fermée, et ce que « en local » veut vraiment dire quand on parle d'un simulateur de 16B.

Ce qu'est Cosmos3-Nano-Sim-Auto

Le checkpoint publié par NVIDIA est la variante causal-distilled de la famille Cosmos3. La chaîne est en deux étapes : Cosmos3-Nano fait un post-training sur des données de conduite multi-capteurs, y compris les nuages LiDAR, et devient Cosmos3-Nano-Transfer-Auto ; puis une distillation causale le transforme en un modèle few-step, qui génère de la vidéo par petits chunks de frames latentes conditionnés sur l'historique en cache et sur les commandes reçues. L'architecture est un Mixture-of-Transformers (MoT) de 16B de paramètres entraînables, développé avec le Cosmos Framework, open source sur GitHub.

La différence avec un modèle d'images ou un LLM n'est pas la taille, c'est la nature de la sortie : il ne génère pas une image finie, il génère un monde qui réagit. Chaque chunk dépend des commandes de conduite reçues ; le chunk suivant dépend du précédent. La cohérence spatiale et temporelle entre les caméras et le LiDAR est construite dans le modèle, pas ajoutée en post-production.

Comment fonctionne la boucle fermée

La boucle que le modèle ferme est celle-ci : une policy de conduite (ou un volant humain) produit des commandes ; un renderer WSM (World Scenario Map) les convertit en contrôles de scène — vidéo MP4 de la structure de la scène, avec marquages au sol et cuboïdes des objets, un par vue ; le modèle génère l'observation ; la policy la lit et commande à nouveau. À chaque pas, le monde se met à jour en fonction de l'entrée.

L'observation qu'il génère est riche :

  • Jusqu'à 11 vues caméras — le rig de référence est le Hyperion 8.1 : front-wide 120°, front-tele 30°, cross-left et cross-right 120°, rear-left et rear-right 70°, rear-tele 30°, plus quatre fisheye de 200°
  • 480p ou 720p, 10–30 ips sur toutes les vues sélectionnées, synchronisées spatialement et temporellement
  • LiDAR aligné — un nuage de points 3D d'un capteur à 128 faisceaux, converti depuis les range-map générées par le modèle

Les entrées qu'il accepte, d'après la fiche du modèle :

  • Prompt textuel : météo, éclairage, heure de la journée ; il porte aussi la configuration des caméras
  • Contrôles WSM : les vidéos de structure synchronisées, vue par vue
  • RGB initial (optionnel) : la première image de chaque caméra
  • Cartes LiDAR : des séquences de range-map dérivées de la HD map, nécessaires si on demande la sortie LiDAR

Ce que « 16B » pèse vraiment

16B, c'est un chiffre que pour un LLM vous diriez « ça tient même sur 24 GB de VRAM ». Pour un world model, le compte est différent, parce que le poids n'est que la partie fixe : le reste ce sont les chunks de génération qui tournent en parallèle sur 11 vues plus un capteur. Les calculs :

VoletCalculRésultat
Poids en FP1616 × 10⁹ paramètres × 2 octets≈ 32 GB
Poids en FP816 × 10⁹ paramètres × 1 octet≈ 16 GB
Buffers de génération11 flux vidéo + LiDAR, chunk par chunknon déclarée
Historique temporel en cachechunks précédents, pour la cohérence du mondenon déclarée

Les 32 GB de poids en FP16 tiendraient théoriquement sur une GPU de 32 GB. Mais le travail de ce modèle n'est pas de lire les poids : c'est de générer 11 flux vidéo et un LiDAR, frame après frame, à 10–30 ips. C'est pour cela que NVIDIA déclare comme matériel de référence les séries Hopper (H100, H20, H200) et Blackwell (B200, B300, GB200, GB300), sous Linux. Ce n'est pas un interdit : c'est le périmètre testé et garanti.

Pourquoi le faire tourner en local

Un simulateur qui tourne en local a quatre avantages concrets :

  • La latence de la boucle fermée. La policy doit lire l'observation et re-commander à chaque pas : chaque aller-retour vers un service distant est un retard qui, dans le monde réel, se mesure en mètres.
  • Les données restent où elles sont. Vidéo de conduite, cartes, trajectoires de la flotte : elles ne traversent pas un provider, elles restent sur site.
  • La disponibilité. Le simulateur est là quand le matériel est là : sans file d'attente, sans quota, sans dépendance du réseau. C'est la même logique de l'IA locale, appliquée à la physique.
  • La licence OpenMDW 1.1. Prête pour un usage commercial et non commercial : vous mettez le simulateur en production sans négocier une licence de rendering.

Sur les coûts, le raisonnement est celui que vous faites pour toute GPU qui vous appartient : le capital est déjà dépensé, et la marge c'est l'électricité. Une GPU de 700 W en charge (le TDP d'une H100 SXM) en régime constant consomme 0,7 kWh par heure ; à 8 heures par jour, ce sont 5,6 kWh — à 0,30 €/kWh, environ 1,70 € par jour, une poignée d'euros par mois. La bonne comparaison n'est pas avec le rendering cloud : c'est avec le fait que les scénarios, avant, n'existaient pas. Maintenant ils se génèrent quand ils servent, en nombre illimité.

Et les limites ?

Avec honnêteté, parce qu'ici la transparence sert à décider si ça a un sens pour vous :

  • Ce n'est pas un modèle de workstation grand public. Le matériel déclaré est du datacenter : Hopper ou Blackwell. Si votre GPU a 16–24 GB, pour aujourd'hui ce n'est pas votre modèle. C'est le premier world model de 16B qui est réaliste à déployer — pas le premier qui tourne sur le desktop.
  • Linux uniquement. Les autres plateformes n'ont pas été testées.
  • Un seul sweep LiDAR mesuré comme préfixe. Le parcours causal actuel n'accepte qu'une seule passe LiDAR réelle au début ; les préfixes plus longs ne sont pas supportés.
  • 480p/720p, 10–30 ips. C'est de la simulation, pas du photoréalisme : pour évaluer une policy de conduite, c'est largement suffisant.
  • Le rig est celui déclaré. De 1 à 11 vues sur le rig Hyperion ; pour des configurations custom, il faut un post-training sur la variante Transfer-Auto.

Sources

En résumé

Cosmos3-Nano-Sim-Auto est un simulateur de conduite en boucle fermée : 16B de paramètres en architecture MoT, qui génère jusqu'à 11 caméras et un nuage LiDAR synchronisés, à 10–30 ips et en 480p/720p, conditionnés par un prompt textuel et par les contrôles WSM. « En local » ici n'est pas un choix esthétique : c'est la latence de la boucle, ce sont les données qui ne traversent pas le réseau, c'est la licence OpenMDW 1.1 pour l'usage commercial. Le matériel requis est du datacenter, et les limites sont déclarées avec clarté dans la fiche du modèle. Le maillon manquait dans la famille Cosmos3 : la policy DROID pour la robotique on-edge était déjà là — maintenant il y a aussi le monde où la tester.

Article généré par IA

Partager :

Vous avez aimé cet article ?

Abonnez-vous à la newsletter pour recevoir de nouveaux tutoriels et guides.

Après l'inscription, vous recevez un e-mail de confirmation (double opt-in). Sans confirmation, nous n'envoyons rien. Pas de spam, promis.