Le développement des véhicules autonomes (AV) est rendu possible par trois ordinateurs distincts : les systèmes NVIDIA DGX pour l’entraînement de la pile basée sur l’IA dans le data center, NVIDIA Omniverse fonctionnant sur les systèmes NVIDIA OVX pour la simulation et la génération de données synthétiques, et l’ordinateur embarqué NVIDIA AGX pour le traitement des données de capteurs en temps réel à des fins de sécurité.
Ensemble, ces systèmes full-stack conçus sur mesure permettent des cycles de développement continus, accélérant les améliorations des performances et de la sécurité.
Aujourd’hui, au salon CES, NVIDIA a présenté une nouvelle part de l’équation : NVIDIA Cosmos, une plateforme comprenant des World Foundation Models (WFM) génératifs de pointe, des générateurs de jetons avancés, des garde-fous et un pipeline de traitement vidéo accéléré conçu pour faire progresser le développement de systèmes d’IA physique comme les véhicules autonomes et les robots.
Avec Cosmos ajouté à la solution à trois ordinateurs, les développeurs obtiennent un volant de données capable de transformer des milliers de kilomètres pilotés par l’homme en des milliards de kilomètres pilotés virtuellement, amplifiant la qualité des données d’entraînement.
« Le volant de l’usine de données AV consiste en la collecte de données de flotte, la reconstruction 4D précise et l’IA pour générer des scènes et des variations de trafic pour l’entraînement et l’évaluation en boucle fermée, a déclaré Sanja Fidler, vice-présidente de la recherche en IA chez NVIDIA. En utilisant la plateforme NVIDIA Omniverse, ainsi que Cosmos et les modèles d’IA pris en charge, les développeurs peuvent générer des scénarios de conduite synthétique pour amplifier les données d’entraînement par des ordres de grandeur.
« Le développement de modèles d’IA physique a traditionnellement été gourmand en ressources et coûteux pour les développeurs, nécessitant l’acquisition d’ensembles de données réels et le filtrage, la conservation et la préparation des données pour l’entraînement, a déclaré Norm Marks, vice-président de l’automobile chez NVIDIA. Cosmos accélère ce processus avec l’IA générative, permettant un développement de modèles d’IA plus intelligents, plus rapides et plus précis pour les véhicules autonomes et la robotique. »
Les leaders du transport utilisent Cosmos pour créer l’IA physique pour les véhicules autonomes, notamment :
- Waabi, une entreprise pionnière en IA générative pour le monde physique, utilisera Cosmos pour la recherche et la conservation des données vidéo pour le développement et la simulation de logiciels pour les véhicules autonomes.
- Wayve, qui développe des modèles de fondation d’IA pour la conduite autonome, évalue Cosmos en tant qu’outil pour rechercher des scénarios de conduite à l’Edge et corner case, utilisés à des fins de sécurité et de validation.
- Foretellix, le fournisseur de chaînes d’outils pour les véhicules autonomes, utilisera Cosmos, aux côtés des API NVIDIA Omniverse Sensor RTX, pour évaluer et générer des scénarios de test haute fidélité et des données d’entraînement à grande échelle.
- En outre, le géant du covoiturage Uber s’associe à NVIDIA pour accélérer la mobilité autonome. Les ensembles de données de conduite riches d’Uber, combinés aux fonctionnalités de la plateforme Cosmos et de NVIDIA DGX Cloud, aideront les partenaires des véhicules autonomes à créer des modèles d’IA plus robustes encore plus efficacement.
Disponibilité
Les WFM Cosmos sont désormais disponibles sous une licence de modèle ouvert sur Hugging Face et le catalogue NVIDIA NGC. Les modèles Cosmos seront bientôt disponibles en tant que microservices NVIDIA NIM entièrement optimisés.
Démarrez avec Cosmos et rejoignez NVIDIA au CES.
Prenez connaissance de notre avis sur les informations relatives aux produits logiciels.