Note de l’éditeur : cet article fait partie de Into the Omniverse, une série consacrée à la façon dont les développeurs, les professionnels de la 3D et les entreprises peuvent transformer leurs workflows à l’aide des dernières avancées d’OpenUSD et de NVIDIA Omniverse.
L’open source est devenu essentiel pour stimuler l’innovation dans le domaine de la robotique et de l’autonomie. En fournissant un accès à une infrastructure essentielle, des frameworks de simulation aux modèles d’IA, NVIDIA permet un développement collaboratif qui accélère la mise en œuvre de systèmes autonomes plus sûrs et plus performants.
Lors du CES qui s’est tenu au début du mois, NVIDIA a présenté une nouvelle suite de modèles et de frameworks d’IA physique ouverts pour accélérer le développement des humanoïdes, des véhicules autonomes et d’autres incarnations de l’IA physique. Ces outils couvrent l’ensemble du cycle de vie du développement de la robotique, de la simulation du monde haute fidélité et de la génération de données synthétiques à l’orchestration native du Cloud et au déploiement à l’Edge, offrant aux développeurs un kit d’outils modulaire pour créer des systèmes autonomes capables de raisonner, d’apprendre et d’agir dans le monde réel.
OpenUSD fournit le framework commun qui standardise la façon dont les données 3D sont partagées entre ces outils d’IA physique, permettant aux développeurs de créer des jumeaux numériques précis et de les réutiliser en toute simplicité, de la simulation au déploiement. Les bibliothèques NVIDIA Omniverse, basées sur OpenUSD, servent de source de simulation de référence qui alimente l’ensemble de la pile.
Des laboratoires au salon
Lors du CES 2026, les développeurs ont dévoilé la pile d’IA physique de NVIDIA, en présentant des machines, telles que des équipements lourds, des assistants d’usine et des robots sociaux et de services.
La pile s’appuie sur les modèles du monde NVIDIA Cosmos ; les technologies NVIDIA Isaac, notamment le nouveau framework Isaac Lab-Arena pour l’évaluation des politiques ; le portefeuille ouvert NVIDIA Alpamayo de modèles d’IA, de frameworks de simulation et d’ensembles de données d’IA physique pour les véhicules autonomes ; et le framework NVIDIA OSMO pour orchestrer l’entraînement dans les environnements de calcul.
Le Cat AI Assistant de Caterpillar, alimenté par les modèles ouverts NVIDIA Nemotron pour l’IA agentique et fonctionnant sur le module d’IA NVIDIA Jetson Thor Edge, apporte une interaction en langage naturel directement dans la cabine des véhicules lourds. Les opérateurs peuvent poser des questions « Salut Cat » et obtenir des conseils étape par étape, ou encore régler les paramètres de sécurité à l’aide de la voix.
En coulisse, Caterpillar utilise les bibliothèques Omniverse pour créer des jumeaux numériques d’usine et de chantier capables de simuler des agencements, des schémas de trafic et des workflows multi-machines. Ces informations sont renvoyées dans les équipements et les flottes avant que des modifications ne soient apportées aux chantiers, rendant les opérations assistées par l’IA plus sûres et plus efficaces.
LEM Surgical a présenté son système chirurgical robotique Dynamis, approuvé par la FDA (Agence américaine des produits alimentaires et médicamenteux) et utilisé courrament dans le cadre d’interventions chirurgicales de la colonne vertébrale. Ce système de nouvelle génération utilise NVIDIA Jetson AGX Thor pour le calcul, NVIDIA Holoscan pour le traitement des capteurs en temps réel et NVIDIA Isaac for Healthcare pour entraîner ses bras autonomes.
LEM Surgical utilise également NVIDIA Cosmos Transfer, un modèle de monde ouvert et entièrement personnalisable permettant la génération de données synthétiques basées sur la physique, pour générer des données d’entraînement synthétiques et le framework NVIDIA Isaac Sim pour la simulation de jumeaux numériques. Conçu comme un robot chirurgical humanoïde à double bras pour la chirurgie des tissus durs, le système Dynamis imite la dextérité d’un chirurgien humain et permet des interventions complexes sur la colonne vertébrale avec une précision améliorée, atténuant les exigences physiques intenses pour les chirurgiens et les assistants chirurgicaux.
NEURA Robotics crée des robots cognitifs sur une pile NVIDIA complète, en utilisant Isaac Sim et Isaac Lab pour entraîner le robot humanoïd 4NE1 et le robots de service MiPA dans des jumeaux numériques basés sur OpenUSD avant leur déploiement dans des environnements domestiques et sur des lieux de travail. L’entreprise a utilisé NVIDIA Isaac GR00T‑Mimic pour post-entraîner le modèle de fondation Isaac GR00T pour ses plateformes.
En outre, NEURA Robotics collabore avec SAP et NVIDIA pour intégrer les agents Joule de SAP à ses robots, en utilisant le modèle Mega NVIDIA Omniverse pour simuler et affiner le comportement des robots dans des scénarios opérationnels complexes et réalistes avant que ces agents et ces comportements ne soient déployés dans l’écosystème Neuraverse de l’entreprise, ainsi que dans des flottes réelles.
AgiBot utilise NVIDIA Cosmos Predict 2 comme base de modélisation du monde pour sa plateforme Genie Envisioner (GE-Sim), permettant à cette plateforme de générer des vidéos conditionnées par l’action et basées sur des principes visuels et physiques solides. Ces données, combinées à celle d’Isaac Sim et Isaac Lab, ainsi que le post-entraînement sur les propres données d’AgiBot, permet aux politiques développées dans Genie Envisioner de se transférer plus fiablement vers les humanoïdes Genie2 et les robots de tablette compacts alimentés par Jetson Thor.
Intbot utilise le modèle ouvert NVIDIA Cosmos Reason 2 pour donner à ses robots sociaux un « sixième sens » pour le monde réel, en utilisant les capacités de raisonnement du modèle pour identifier des codes sociaux simples et des contextes de sécurité qui transcendent les simples tâches scriptées. Dans sa recette Cosmos Cookbook, Intbot démontre comment les modèles de langage de vision raisonnée peuvent aider les robots à décider quand parler et comment interagir plus naturellement avec les humains.
Comment les développeurs de robotique utilisent les nouveaux kits d’outils et les frameworks
NVIDIA a récemment introduit Agile, un moteur basé sur Isaac Lab pour la loco-manipulation des humanoïdes qui offre un workflow complet de la simulation à la réalité vérifiée pour l’entraînement de politiques d’apprentissage par renforcement robustes sur des plateformes telles que Unitree G1 et LimX Dynamics TRON.
Les développeurs en robotique peuvent utiliser les configurations de tâches intégrées d’Agile, les modèles mathématiques du processus de décision de Markov pour la prise de décision, les utilitaires d’entraînement et les outils d’évaluation déterministes pour affiner les politiques. Les développeurs peuvent ensuite tester ces politiques dans Isaac Lab et transférer les comportements locomoteurs et corporels entier à des robots réels de manière plus fiable et efficace.
Hugging Face et NVIDIA réunissent leurs communautés robotiques en intégrant les modèles et les frameworks de simulation NVIDIA Isaac GR00T N à l’écosystème LeRobot. Les développeurs peuvent désormais accéder aux modèles Isaac GR00T N1.6 et Isaac Lab-Arena directement depuis LeRobot pour optimiser la formation et l’évaluation des stratégies.
De plus, l’humanoïde Reachy 2 open source de Hugging Face est désormais entièrement interopérable avec NVIDIA Jetson Thor, permettant le déploiement direct de modèles de vision linguistique avancés (VLA) pour des performances robustes dans le monde réel.
ROBOTIS, un développeur de premier plan de servos intelligents, d’actionneurs industriels, de manipulateurs, de plateformes humanoïdes open source et de kits robotiques éducatifs, a créé un pipeline de simulation vers la réalité open source à l’aide des technologies NVIDIA Isaac. Le workflow commence par la génération de données haute fidélité dans Isaac Sim, met à l’échelle les ensembles d’entraînement à l’aide de GR00T-Mimic pour l’augmentation, puis optimise un modèle Isaac GR00T N basé sur VLA qui se déploie directement sur le matériel, accélérant la transition de la simulation à des tâches réelles robustes.
Connectez-vous
En savoir plus sur OpenUSD et le développement robotique en explorant ces ressources :
- Lisez cet article technique pour découvrir comment développer des capacités humanoïdes généralistes avec NVIDIA Isaac et GR00T N1.6.
- Lisez cet article technique pour découvrir comment évaluer des politiques robotiques généralistes en simulation à l’aide de NVIDIA Isaac Lab – Arena.
- Découvrez comment post-entraîner Isaac GR00T avec ce tuto vidéo en deux parties.
- Regardez la présentation spéciale de Jensen Huang, fondateur et PDG de NVIDIA, au CES.
- Améliorez vos compétences pour le développement de la robotique avec le parcours d’apprentissage en robotique à votre rythme.
- Participez au Cosmos Cookoff, un défi pratique d’IA physique où les développeurs utilisent Cosmos Reason pour alimenter la robotique, les systèmes autonomes et les workflows de vision d’IA.