Au cours des deux prochaines décennies, le marché des robots humanoïdes devrait atteindre 38 milliards de dollars. Pour répondre à cette demande importante, en particulier dans les secteurs industriel et manufacturier, NVIDIA publie une série de modèles de fondation de robots, de pipelines de données et de frameworks de simulation pour accélérer les efforts de développement de robots humanoïdes de nouvelle génération.
Annoncé par le fondateur et PDG de NVIDIA, Jensen Huang, aujourd’hui au salon CES, le modèle NVIDIA Isaac GR00T pour la génération de mouvements synthétiques aide les développeurs à générer des données de mouvement synthétiques de taille exponentielle pour entraîner leurs humanoïdes à l’aide de l’apprentissage par imitation.
L’apprentissage par imitation, un sous-ensemble de l’apprentissage des robots, permet aux humanoïdes d’acquérir de nouvelles compétences en observant et en imitant les démonstrations humaines expertes. La collecte de ces vastes ensembles de données de haute qualité dans le monde réel est fastidieuse, longue et souvent coûteuse. La mise en œuvre du modèle Isaac GR00T pour la génération de mouvements synthétiques permet aux développeurs de générer facilement des ensembles de données synthétiques de taille exponentielle à partir d’un petit nombre de démonstrations humaines.
À partir du workflow GR00T-Teleop, les utilisateurs peuvent exploiter l’Apple Vision Pro pour capturer les actions humaines dans un jumeau numérique. Ces actions humaines sont reproduites par un robot en simulation et enregistrées pour une utilisation en vérité terrain.
Le workflow GR00T-Mimic multiplie ensuite la démonstration humaine capturée dans un ensemble de données de mouvement synthétique plus vaste. Enfin, le workflow GR00T-Gen, basé sur les plateformes NVIDIA Omniverse et NVIDIA Cosmos, étend cet ensemble de données de manière exponentielle grâce à la randomisation de domaines et à la mise à l’échelle 3D.
L’ensemble de données peut ensuite être utilisé comme entrée pour la stratégie robotique, qui enseigne aux robots comment se déplacer et interagir avec leur environnement efficacement et en toute sécurité dans NVIDIA Isaac Lab, un framework open source et modulaire pour l’apprentissage des robots.
Modèles de fondation du monde Réduisez l’écart Sim-to-Real
NVIDIA a également annoncé Cosmos au CES, une plateforme présentant une famille de modèles de fondation du monde ouverts et pré-entraînés conçus spécifiquement pour générer des vidéos conscientes de la physique et des états du monde pour le développement de l’IA physique. Il comprend des modèles autorégressifs et de diffusion dans divers tailles et formats de données d’entrée. Les modèles ont été entraînés sur 18 quadrillions de jetons, y compris 2 millions d’heures de conduite autonome, de robotique, de séquences de drones et de données synthétiques.
En plus d’aider à générer de grands ensembles de données, Cosmos peut réduire l’écart entre la simulation et le réel en mettant à l’échelle réelle les images 3D. Combiner Omniverse, une plateforme de développement d’interfaces de programmation d’applications et de microservices pour la création d’applications et de services 3D, avec Cosmos est essentiel, car il aide à minimiser les hallucinations potentielles communément associées aux modèles du monde en fournissant des garanties cruciales grâce à ses simulations hautement contrôlables et physiquement précises.
Un écosystème en expansion
Collectivement, NVIDIA Isaac GR00T, Omniverse et Cosmos aident l’IA physique et l’innovation humanoïde à faire un bond de géant. Les principales entreprises de robotique ont commencé à adopter et à démontrer des résultats avec Isaac GR00T, y compris Boston Dynamics et Figure.
Les fabricants de logiciels, de matériel et de robots humanoïdes peuvent demander un accès anticipé au programme de développeurs de robots humanoïdes de NVIDIA.
Regardez le discours d’ouverture au CES du fondateur et PDG de NVIDIA, Jensen Huang, et restez à jour en vous abonnant à la newsletter et en suivant NVIDIA Robotics sur LinkedIn, Instagram, X et Facebook.
Prenez connaissance de notre avis sur les informations relatives aux produits logiciels.