L’IA open source a démontré à quelle vitesse les développeurs peuvent innover lorsque les modèles, les données et les outils sont partagés. La robotique offre les mêmes opportunités, mais les avancées en matière de développement de l’IA physique peuvent toujours être limitées par des ressources coûteuses et fragmentées, qu’il s’agisse de grands jeux de données et de modèles de fondation robotique ou d’outils de simulation, de calcul et de validation.
NVIDIA et Hugging Face collaborent pour apporter NVIDIA Isaac GR00T 1.7 un modèle ouvert de vision-langage-action (VLA) doté de capacités de raisonnement pour les robots humanoïdes et le framework NVIDIA Isaac Teleop à LeRobot — la bibliothèque open source de Hugging Face pour la robotique — avec NVIDIA Cosmos 3, un modèle de pointe pour l’IA physique, prévu prochainement. Ces intégrations offrent aux développeurs un parcours plus accessible et standardisé pour le développement robotique de bout en bout, tout en stimulant l’innovation et la collaboration au sein de la communauté de la robotique ouverte.
« L’open source est la manière dont un domaine transforme la recherche de pointe en quelque chose que les gens peuvent étudier, adapter et développer », a déclaré Thomas Wolf, cofondateur et directeur scientifique chez Hugging Face. « Grâce à NVIDIA Isaac GR00T 1.7 et Isaac TeleOp dans LeRobot, les développeurs en robotique peuvent utiliser des modèles, des données et des workflows partagés pour entraîner et évaluer des robots en milieu ouvert. Avec NVIDIA Cosmos 3 prévu prochainement, la communauté pourra intégrer des world models avancés dans ce même écosystème collaboratif.
Un pipeline ouvert pour les modèles de fondation robotiques
Hugging Face LeRobot est une bibliothèque de robotique open source pour l’entraînement, l’exécution et le partage de jeux de données, de modèles, de politiques et de workflows robotiques. Le partenariat continu de NVIDIA avec Hugging Face connecte les 3 millions de développeurs en robotique de NVIDIA aux 16 millions de créateurs d’IA de Hugging Face, élargissant l’accès aux outils d’IA physique de pointe grâce à des workflows ouverts.
L’intégration des capacités d’IA physique de NVIDIA au sein de LeRobot fournit aux développeurs un moyen commun de collecter et de standardiser les données, d’entraîner et de peaufiner des modèles de fondation robotique, d’évaluer les performances et de déployer des modèles grâce à des workflows ouverts. Les intégrations incluent :
- NVIDIA Isaac Teleop, un framework open source pour la collecte de données robotiques, aide les développeurs à capturer des démonstrations humaines de haute qualité à partir d’appareils externes à l’aide de formats standardisés et interopérables, puis à développer les jeux de données et à les partager avec la communauté, le tout directement dans LeRobot.
- NVIDIA Isaac GR00T 1.7, premier modèle de fondation robotique ouvert conçu pour un usage commercial, facilite le post-entraînement et le déploiement grâce aux workflows LeRobot, afin que les développeurs puissent adapter GR00T à différents robots et tâches avec des performances de référence.
- NVIDIA Cosmos 3, un modèle de fondation de pointe pour l’IA physique qui sera bientôt disponible dans LeRobot, va aider les développeurs à générer et à enrichir les données de robotique, à simuler des scénarios et à faciliter le développement de politiques lorsque la collecte de données réelles est limitée ou trop coûteuse.
Ces intégrations reposent sur un ensemble étendu de ressources NVIDIA connectées à LeRobot, permettant de soutenir toute la chaîne de développement robotique, notamment :
- Le plus grand jeu de données d’IA physique open source, téléchargé plus de 15 millions de fois, comprend plus de 350 000 trajectoires réelles et simulées et 57 millions de saisies pour aider les développeurs à lancer leurs workflows de robotique.
- Des frameworks de simulation basés sur NVIDIA Isaac Sim et Isaac Lab pour aider les développeurs à configurer des environnements, à générer des données robotiques, à tester des politiques et à valider des comportements avant de passer aux robots physiques.
- NVIDIA Isaac Lab-Arena dans LeRobot Environment Hub pour permettre aux développeurs de prototyper rapidement des environnements de simulation complexes, de les enregistrer dans LeRobot EnvHub et de les utiliser en toute simplicité au sein de l’écosystème LeRobot pour entraîner et évaluer des politiques robotiques généralistes telles que GR00T, Pi et SmolVLA.
- Intégration de NVIDIA Jetson Thor avec Reachy 2 de LeRobot pour prendre en charge le déploiement de modèles VLA sur des robots humanoïdes open source.
Découvrez comment utiliser Isaac Teleop, Isaac GR00T 1.7 et Isaac Lab-Arena avec LeRobot pour le développement des humanoïdes de bout en bout et découvrez les workflows d’intégration LeRobot détaillés.