La création d’humanoïdes est complexe, et les progrès dépendent souvent de la vitesse à laquelle les équipes peuvent parcourir l’ensemble de la boucle de développement : collecter des démonstrations, générer et affiner les données, entraîner des politiques, tester en simulation, valider l’ensemble de la pile logicielle et déployer sur du matériel réel. Aujourd’hui, les développeurs doivent gérer de nombreux outils et passages de relais déconnectés tout au long de ce flux de travail.
Des mises à jour majeures de NVIDIA Isaac GR00T, une plateforme de développement ouverte de bout en bout pour robots humanoïdes, accélèrent ce cycle. La plateforme unifie des technologies telles que Isaac Teleop, Isaac Lab, Isaac Sim, Isaac ROS, les modèles ouverts GR00T et NVIDIA Jetson Thor pour l’inférence et le contrôle en temps réel, offrant aux développeurs une méthode prescriptive pour passer des données au déploiement.
Agility, Boston Dynamics, Dyna Robotics, Figure, FieldAI, Noble Machines, Richtech Robotics et Skild AI utilisent les composants clés de la pile de robotique humanoïde de NVIDIA pour accélérer le développement des robots.
La dynamique de développement prend déjà de l’ampleur. Les modèles GR00T ont atteint 274 000 téléchargements, tandis que le jeu de données GR00T X Embodiment Sim a dépassé les 10 millions de téléchargements sur Hugging Face.
Les mises à jour d’Isaac GR00T accélèrent le développement robotique
Isaac Teleop, désormais disponible pour tous, est un framework open source pour la téléopération robotique en temps réel et la capture de données sur des robots simulés et physiques. Il connecte les casques de réalité étendue, les gants, les capteurs de mouvement et d’autres dispositifs de téléopération à des workflows qui s’intègrent à Isaac Lab, Isaac Sim, ROS 2 et Isaac ROS, réduisant ainsi les doublons.
Les principaux fabricants de dispositifs de téléopération, tels que PICO, prennent en charge Isaac Teleop de manière native, et des développeurs en robotique comme Foxconn et Lightwheel l’intègrent à leurs pipelines d’entraînement.
Le dernier modèle GR00T 1.7 — préentraîné sur 20 000 heures de données égocentriques humaines et construit sur Cosmos Reason 2 comme architecture dorsale — permet des tâches de manipulation bimanuelle et dextère plus complexes, comme sélectionner une carte dans une pile et l’insérer dans un support. Actuellement en accès anticipé, GR00T 1.7 est intégré à LeRobot de HuggingFace et disponible sous licence commerciale afin que les développeurs puissent créer et déployer des modèles dérivés au-delà des environnements de recherche.
Techman Robot utilise la plateforme de développement GR00T et le modèle GR00T 1.7 pour accélérer son pipeline de développement et intégrer plus rapidement l’IA à des usages industriels réels.
Désormais intégrées à la licence OpenMDW-1.1 de la Linux Foundation, les prochaines versions des modèles ouverts Isaac GR00T seront disponibles sous une licence unique centrée sur les modèles, ce qui permettra aux développeurs de créer, personnaliser et déployer plus facilement les éléments de modèles GR00T dans les workflows robotiques.
Enactic et Nexuni intègrent GR00T 1.7 pour aider les robots à raisonner, à s’adapter et à opérer dans des environnements imprévisibles, tels que les maisons de retraite et les blanchisseries.
En outre, la Developer Preview d’Isaac Lab 3.0 enrichit l’apprentissage robotique avec une physique plus avancée grâce à l’intégration du moteur physique Newton et à la mise à l’échelle multi-GPU pour les grandes expériences d’IA physique. Les développeurs peuvent entraîner des politiques dans des scénarios plus réalistes, incluant des mécanismes, matériaux et environnements complexes. Les modèles d’actionneurs unifiés dans Isaac Lab et Isaac Sim contribuent à réduire les écarts entre l’apprentissage des politiques et les tests software-in-the-loop, en mettant en évidence les problèmes avant la validation complète de la pile ou le déploiement matériel.
Flexion AG a obtenu une accélération allant jusqu’à 5x sur l’entraînement de charges de travail perceptives en utilisant Isaac Lab pour les politiques de locomotion et de manipulation humanoïdes.
Isaac Sim 6.0, désormais disponible pour tous, fournit aux développeurs un environnement de simulation pour valider le comportement des robots et tester l’ensemble de la pile logicielle avant le déploiement. De nouvelles compétences d’agents aident les équipes à automatiser les workflows de simulation, tandis que l’authoring Newton et les tests software-in-the-loop permettent d’évaluer les politiques entraînées dans Isaac Lab face à des logiciels robotiques et une physique plus réalistes. Cette version ajoute également plus de 1 000 assets saisissables prêts pour la simulation afin d’accélérer les tests de manipulation.
RLWRLD a développé son modèle de fondation de dextérité RLDX-1 avec Isaac Sim, tandis que Robotiq a intégré Isaac Sim à ses workflows ouverts de détection tactile afin d’améliorer la manipulation riche en contacts. Lyte collabore avec NVIDIA pour connecter la capture multimodale du monde réel de LyteVision aux workflows Isaac Sim, OpenUSD, SimReady et NVIDIA Warp, transformant les scènes capturées en assets et environnements SimReady pour l’entraînement des politiques de perception et de manipulation robotiques
La dernière étape du workflow est le déploiement. Isaac ROS 4.4 connecte les compétences robotiques apprises depuis Isaac Sim et Isaac Lab à la pile logicielle ROS 2, aux capteurs et au calcul accéléré nécessaires aux tests dans le monde réel, avec une nouvelle prise en charge de la téléopération en réalité étendue, des workflows de manipulation et du matériel de classe Jetson Thor.
Les développeurs peuvent explorer la plateforme ouverte de développement robotique NVIDIA Isaac pour accéder aux outils, modèles et ressources de calcul nécessaires afin d’accélérer le développement des humanoïdes sur l’ensemble du workflow. Le workflow de référence validé de bout en bout, des données au déploiement, sera disponible au second semestre de cette année.
Regardez la conférence GTC Taipei du fondateur et CEO de NVIDIA, Jensen Huang, et explorez ces sessions consacrées à l’IA physique.
Consultez l’avis relatif aux informations sur les produits logiciels.