Note de l’éditeur : Cet article fait partie de la série Into the Omniverse consacrée à la façon dont les développeurs, les professionnels de la 3D et les entreprises peuvent transformer leurs workflows en utilisant les nouveautés d’OpenUSD et de NVIDIA Omniverse.
Les modèles d’IA physique, qui alimentent les robots, les véhicules autonomes et d’autres machines intelligentes, doivent être à la fois sûrs, généralisés pour les scénarios dynamiques et capables de percevoir, de raisonner et de fonctionner en temps réel. Contrairement aux grands modèles de langage qui peuvent être entraînés sur des jeux de données complexes provenant d’Internet, les modèles d’IA physique doivent apprendre à partir de données ancrées dans le monde réel.
Toutefois, la collecte de données suffisantes couvrant cette grande variété de scénarios dans le monde réel est incroyablement difficile voire, dans certains cas, dangereuse. La génération de données synthétiques à base physique constitue un moyen essentiel de combler cette lacune.
NVIDIA a récemment publié des mises à jour des modèles de fondation du monde ouvert de NVIDIA Cosmos visant à accélérer la génération de données pour tester et valider des modèles d’IA physique. Grâce aux bibliothèques NVIDIA Omniverse et à Cosmos, les développeurs peuvent générer des données synthétiques basées sur la physique à une échelle phénoménale.
Cosmos Predict 2.5 unifie désormais trois modèles distincts (Text2World, Image2World et Video2World) dans une seule architecture légère qui génère des environnements vidéo multicaméras cohérents et contrôlables à partir d’une seule image, vidéo ou invite.
Cosmos Transfer 2.5 permet un transfert de style monde à monde contrôlé dans l’espace et à haute fidélité pour amplifier la variation des données. Les développeurs peuvent ajouter de nouvelles conditions météorologiques, d’éclairage et de terrain à leurs environnements simulés à l’aide de plusieurs caméras. Cosmos Transfer 2.5 est 3,5 fois plus compact que son prédécesseur mais offre des performances plus rapides ainsi qu’un alignement et une précision physique accrus.
Ces modèles de fondation du monde peuvent être intégrés à des pipelines de données synthétiques exécutés dans le framework de simulation de robotique open-source NVIDIA Isaac Sim développé sur la plateforme NVIDIA Omniverse pour générer des vidéos photoréalistes réduisant l’écart entre la simulation et le réel. Les développeurs peuvent se référer à un pipeline pour la génération de données synthétiques en quatre parties :
- Bibliothèques de reconstruction neuronale NVIDIA Omniverse NuRec pour reconstruire le jumeau numérique d’un environnement réel dans OpenUSD, en commençant avec un simple smartphone.
- Ressources SimReady pour remplir un jumeau numérique de modèles 3D physiquement précis.
- Workflow MobilityGen dans Isaac Sim pour générer des données synthétiques.
- NVIDIA Cosmos pour augmenter les données générées.
De la simulation au monde réel
Les principales entreprises de robotique et d’IA utilisent déjà ces technologies pour accélérer le développement de l’IA physique.
Skild AI, qui développe des cerveaux de robots généralistes, utilise Cosmos Transfer afin d’augmenter les données existantes avec de nouvelles variantes pour tester et valider les politiques de robotique entraînées à l’aide de NVIDIA Isaac Lab.
Skild AI utilise Isaac Lab pour créer des environnements de simulation évolutifs où ses robots peuvent s’entraîner via des incarnations et des applications. En combinant les capacités de simulation robotique d’Isaac Lab avec la génération de données synthétiques de Cosmos, Skild AI peut entraîner les cerveaux de robots dans diverses conditions sans les contraintes de temps et de coûts liées à la collecte de données réelles.
Serve Robotics utilise des données synthétiques générées à partir de milliers de scénarios simulés dans NVIDIA Isaac Sim. Les données synthétiques sont ensuite utilisées conjointement avec des données réelles pour entraîner des modèles d’IA physique. L’entreprise a construit l’une des plus grandes flottes de robots autonomes opérant dans les espaces publics et a effectué plus de 100 000 livraisons de repas sur le dernier kilomètre dans les zones urbaines. Les robots de Serve collectent 1,6 million de kilomètres de données par mois (et près de 170 milliards d’échantillons d’images-lidar) qui sont utilisés en simulation pour optimiser les modèles de robots.
Découvrez comment Serve Robotics utilise Isaac Sim pour accélérer le développement, les tests et le déploiement de ses robots de livraison sur le trottoir en regardant le livestream ci-dessous.
Au-delà de la livraison de repas, Serve a récemment utilisé ses robots pour offrir de la puissance de calcul, en fournissant de tout nouveaux supercalculateurs personnels d’IA NVIDIA DGX Spark à Refik Anadol, Will.I.AM et Ollama. Avec 1 pétaflop de performances d’IA, DGX Spark offre aux développeurs des fonctionnalités de bureau pour des workflows allant du prototypage de modèles d’IA et de l’affinement de modèles à l’inférence et au développement en robotique.
La société de livraison de drones autonomes Zipline a elle aussi participé à la présentation de DGX Spark. Jo Mardall, directeur du matériel, a reçu un exemplaire de DGX Spark par drone au siège social de la société mais aussi à son centre de test installé à Half Moon Bay, en Californie. Zipline utilise la plateforme d’IA et de robotique de pointe NVIDIA Jetson pour ses systèmes de livraison par drone.
Découvrez comment les développeurs utilisent les données synthétiques
Lightwheel, un fournisseur de solutions de robotique axées sur la simulation, aide les entreprises à combler le fossé entre la simulation et la réalité grâce à des ressources SimReady et à des jeux de données synthétiques à grande échelle. Avec des données synthétiques de haute qualité et des environnements de simulation développés sur OpenUSD, l’approche de Lightwheel permet de s’assurer que les robots entraînés dans la simulation fonctionnent efficacement dans des scénarios réels, que ce soit dans des usines ou des maisons.
Data scientist membre de la communauté Omniverse, Santiago Villa utilise des données synthétiques avec les bibliothèques Omniverse et le logiciel Blender pour améliorer les opérations minières en identifiant les gros blocs de roche susceptibles d’interrompre les opérations.
La non-détection de rochers qui entrent dans les concasseurs peut entraîner un retard de sept minutes (voire plus) par incident, ce qui coûte aux entreprises minières jusqu’à 650 000 $ par an en perte de production. L’utilisation d’Omniverse pour générer des milliers d’images synthétiques annotées automatiquement dans des conditions d’éclairage et météorologiques variées réduit considérablement les coûts d’entraînement tout en permettant aux entreprises minières d’améliorer les systèmes de détection de rochers et d’éviter les temps d’arrêt des équipements.
FS Studio s’est associé à un chef de file mondial de la logistique pour améliorer la détection de colis pilotée par l’IA en créant des milliers de variations de colis photoréalistes dans différentes conditions d’éclairage à l’aide de bibliothèques Omniverse telles que Replicator. Le jeu de données synthétiques a considérablement amélioré la précision de la détection d’objets tout en réduisant les faux positifs, ce qui a engendré des gains mesurables en termes de vitesse de débit et de performances du système dans l’ensemble du réseau logistique du client.
Robots for Humanity a développé un environnement de simulation complet dans Isaac Sim pour un client spécialisé dans le pétrole et le gaz en utilisant des bibliothèques Omniverse afin de générer des données synthétiques, notamment des images de profondeur, de segmentation et RGB, tout en collectant des données communes et de mouvement du robot Unitree G1 par téléopération.
L’ambassadeur Omniverse Scott Dempsey développe un synthétiseur de génération de données synthétiques qui conçoit différents câbles à partir des spécifications réelles des fabricants, en utilisant Isaac Sim pour générer des données synthétiques augmentées avec Cosmos Transfer afin de créer des jeux de données d’entraînement photoréalistes pour les applications détectant et gérant les câbles.
Connectez-vous au monde d’OpenUSD
Apprenez-en davantage sur OpenUSD, Cosmos et les données synthétiques pour l’IA physique en parcourant ces ressources :
- Formez-vous à l’aide du parcours d’apprentissage « Démarrer avec Isaac Sim« , qui évoque l’utilisation d’Isaac Sim pour la simulation de robots, l’intégration ROS 2, la génération de données synthétiques et bien plus encore.
- Explorez le workflow de référence sur l’IA générative pour la génération de données synthétiques.
- Passez au développement avec des workflows détaillés, des recettes techniques et des exemples concrets de développement de l’IA dans le guide NVIDIA Cosmos.
- Lisez cet article du blog technique NVIDIA pour apprendre à utiliser un iPhone afin de capturer une scène et la reconstituer à l’aide de NVIDIA Isaac Sim.
- Regardez les vidéos de cette playlist YouTube pour découvrir un workflow sur la création de données synthétiques.
- Parcourez NVIDIA Brev pour accéder à des environnements GPU entièrement configurés et à des éléments de lancement prédéfinis pour le développement de l’IA physique.
Ne manquez aucune info en vous abonnant à la newsletter sur NVIDIA Omniverse, en rejoignant la communauté Omniverse et en suivant Omniverse sur Discord, Instagram, LinkedIn, Threads, X et YouTube.
Parcourez le forum Alliance for OpenUSD et le site Internet d’AOUSD.