Les systèmes d’IA physique s’appuient sur des world models pour percevoir, raisonner et prédire l’environnement physique. Mais le monde réel est vaste, imprévisible et en constante évolution.
Qu’il s’agisse d’un robot naviguant dans un entrepôt ou d’un réseau de caméras surveillant un atelier de production, les systèmes d’IA physique doivent comprendre ce qui se passe à l’instant T, raisonner sur ce qui pourrait arriver ensuite et agir suffisamment vite pour avoir un impact. Jusqu’à présent, fournir une telle IA de pointe en périphérie impliquait souvent de sacrifier les capacités du modèle au profit de l’efficacité du déploiement.
Désormais disponible, NVIDIA Cosmos 3 Edge contribue à éliminer ce compromis. L’omnimodèle de 4 milliards de paramètres est optimisé pour un déploiement économe en mémoire et un débit élevé sur les systèmes NVIDIA Jetson, NVIDIA RTX PRO et NVIDIA DGX, ainsi que sur les GPU GeForce RTX.
Prolongeant NVIDIA Cosmos 3, ce world model de base compact peut comprendre et générer du texte, des images, de la vidéo, du son ambiant et de l’action. Son architecture de type mélange de transformers permet une analyse visuelle en temps réel ancrée dans la physique et une action robotique directement sur l’appareil.
Cosmos 3 Edge fournit une IA physique de pointe en périphérie : il se classe premier sur VANTAGE-Bench pour la réussite en analyse visuelle dans sa catégorie de paramètres et permet un apprentissage robotique à la pointe grâce au post-entraînement.
IA physique sur appareil dans la robotique, les véhicules autonomes et les infrastructures intelligentes
Les développeurs peuvent post-entraîner Cosmos 3 Edge sur des données propriétaires de robots et de capteurs à l’aide du superordinateur d’IA de bureau NVIDIA DGX Station afin de créer des world action modelsspécialisés, puis les déployer sur NVIDIA Jetson Thor pour des politiques de contrôle robotique en temps réel, notamment pour la manipulation ou la locomotion. Agile Robots, Doosan Robotics, Siemens et Skild AI figurent parmi les partenaires évaluant Cosmos 3 Edge pour les workflows de robotique.
Pour les véhicules autonomes, Cosmos 3 Edge prend en charge la compréhension des scènes routières, le raisonnement sur le trafic, la prédiction des intentions des objets et la distillation de modèles de politique sur du matériel aux ressources limitées. Le modèle pourrait servir de squelette étudiant pour la distillation de modèles de politique automobile, notamment avec les modèles vision-langage-action NVIDIA Alpamayo.
Pour les infrastructures intelligentes, Cosmos 3 Edge offre un débit et une précision de premier ordre grâce à l’inférence en temps réel sur Jetson Thor pour des agents de vision qui raisonnent à partir de flux vidéo en direct destinés à la surveillance du trafic, à la sécurité publique, à la logistique et à l’inspection industrielle. Les développeurs peuvent également exécuter le module de raisonnement de 2 milliards de paramètres reposant sur NVIDIA Nemotron de manière autonome sur NVIDIA Jetson Orin 8 Go. Centific, Vaidio et YUAN évaluent Cosmos 3 Edge afin d’accélérer les agents de vision fonctionnant en périphérie.
La plateforme Cosmos désormais disponible en open source
Cosmos 3 Edge fait partie de la plateforme NVIDIA Cosmos plus large destinée au développement de world models pour l’IA physique. Cosmos 3 étant disponible dans les tailles Edge (4B), Nano (16B) et Super (64B), les développeurs peuvent choisir le modèle adapté à chaque étape du développement, du déploiement en périphérie à la génération haute fidélité.
Cosmos 3 Edge, Cosmos 3 Nano et Cosmos 3 Super sont disponibles dès maintenant sur Hugging Face, avec des frameworks et des guides d’inférence et de post-entraînement sur GitHub.