Les robots déplacent des marchandises dans les entrepôts, emballent des aliments et contribuent à assembler des véhicules, apportant une automatisation avancée aux cas d’utilisation de toutes les industries.
Leur réussite dépend de deux facteurs clés : l’IA physique et la simulation robotique.
L’IA physique se rapporte aux modèles d’IA capables de comprendre et d’interagir avec le monde physique. L’IA physique incarne la prochaine vague de machines et de robots autonomes, comme les voitures autonomes, les manipulateurs industriels, les robots mobiles, les humanoïdes et même les infrastructures pilotées par des robots comme les usines et les entrepôts.
Dans la mise en service virtuelle de robots dans les mondes numériques, les robots sont d’abord entraînés à l’aide d’un logiciel de simulation robotique avant d’être déployés pour des cas d’utilisation réels.
Simulation robotique résumée
Un simulateur robotique avancé facilite l’apprentissage des robots et les tests des robots virtuels sans nécessiter de robot physique. En appliquant des principes physiques et en reproduisant des conditions réelles, ces simulateurs génèrent des ensembles de données synthétiques qui permettent d’entraîner des modèles d’apprentissage automatique pour le déploiement sur robots physiques.
Les simulations sont utilisées pour l’entraînement initial des modèles d’IA, et ensuite pour valider l’ensemble de la pile logicielle, ce qui réduit les besoins en robots physiques pendant les tests. NVIDIA Isaac Sim, une application de référence basée sur la plateforme NVIDIA Omniverse, fournit des visualisations précises et prend en charge des workflows OpenUSD (Universal Scene Description) pour la simulation et la validation avancées des robots.
Les trois frameworks informatiques de NVIDIA facilitent la simulation robotique
Trois ordinateurs sont nécessaires pour entraîner et déployer la technologie robotique.
- Un supercalculateur pour entraîner et perfectionner les modèles de fondation et d’IA générative puissants.
- Une plateforme de développement pour la simulation et les tests robotiques.
- Un ordinateur d’exécution embarqué pour déployer les modèles entraînés sur des robots physiques.
Ce n’est qu’après un entraînement adéquat dans des environnements simulés que des robots physiques peuvent être mis en service.
La plateforme NVIDIA DGX peut servir de premier système informatique pour entraîner les modèles.
NVIDIA Omniverse exécuté sur les serveurs NVIDIA OVX fonctionne comme deuxième système informatique, fournissant la plateforme de développement et l’environnement de simulation pour tester, optimiser et déboguer l’IA physique.
Les ordinateurs robotiques NVIDIA Jetson Thor conçus pour l’informatique embarquée servent de troisième ordinateur d’exécution.
Qui utilise la simulation robotique ?
Aujourd’hui, la technologie robotique et les simulations robotiques stimulent considérablement les opérations dans tous les cas d’utilisation.
Leader mondial des technologies énergétiques et thermiques, Delta Electronics utilise la simulation pour tester ses algorithmes d’inspection optique pour détecter les défauts des produits sur les lignes de production.
La startup deep tech Wandelbots crée un simulateur personnalisé en intégrant Isaac Sim dans son application, ce qui permet aux utilisateurs finaux de programmer des cellules de travail robotique en simulation et de transférer facilement les modèles sur un vrai robot.
Boston Dynamics stimule les chercheurs et les développeurs grâce à son kit d’apprentissage par renforcement pour chercheurs.
L’entreprise de robotique Fourier simule des conditions réelles pour entraîner des robots humanoïdes avec la précision et l’agilité nécessaires à une collaboration étroite entre robots et humains.
L’entreprise de robotique Galbot a créé DexGraspNet à l’aide de NVIDIA Isaac Sim, un jeu de données simulées complet destiné à la préhension robotique adroite comprenant plus de 5 millions de préhensions ShadowHand sur plus de 5 300 objets. Le jeu de données peut être appliqué à n’importe quelle main robotique adroite pour accomplir des tâches complexes nécessitant une fine motricité.
Utiliser la simulation robotique dans les résultats de la planification et du contrôle
Dans les environnements industriels complexes et dynamiques, la simulation robotique évolue pour intégrer des jumeaux numériques, ce qui améliore les résultats de la planification, du contrôle et de l’apprentissage.
Les développeurs importent des modèles de conception assistée par ordinateur dans un simulateur robotique pour créer des scènes virtuelles et emploient des algorithmes pour créer le système d’exploitation du robot et activer la planification des tâches et des mouvements. Alors que les méthodes traditionnelles impliquent la prescription de signaux de commandes, le passage à l’apprentissage automatique permet aux robots d’apprendre des comportements par imitation et renforcement, à l’aide de signaux de capteurs simulés.
Cette évolution se poursuit avec des jumeaux numériques dans les installations complexes comme la les lignes d’assemblage manufacturières, qui permettent aux développeurs de tester et de peaufiner les IA en temp réel en simulation. Cette approche permet de développer des logiciels plus rapidement et réduit les temps d’arrêt et en anticipant les problèmes. Par exemple, en utilisant NVIDIA Omniverse, Metropolis et cuOpt, les développeurs peuvent utiliser des jumeaux numériques pour développer, tester et peaufiner l’IA physique en simulation avant de la déployer dans une infrastructure industrielle.
Percées dans la simulation haute fidélité basée sur la physique
Les simulations haute fidélité basées sur la physique ont boosté la robotique industrielle grâce à des expérimentations réelles réalisées dans des environnements virtuels.
NVIDIA PhysX, intégré dans Omniverse et Isaac Sim, permet au roboticiens de développer des motricités fines et grossières pour les manipulateurs robotiques, la dynamique des corps rigides et souples, la dynamique des véhicules et d’autres fonctionnalités critiques qui veillent à ce que le robot obéisse aux lois de la physique. Cela comprend un contrôle précis des actionneurs et de la modélisation cinématique, qui sont essentiels pour que les mouvements du robot soient précis.
Pour combler l’écart entre la simulation et la réalité, Isaac Lab offre un framework open-source haute fidélité conçu pour l’apprentissage par renforcement et l’apprentissage par simulation qui permet de transférer facilement et de manière transparente les politiques entre les environnements simulés et les robots physiques. La parallélisation des GPU permet à Isaac Lab d’accélérer l’entraînement et d’améliorer le performances, ce qui permet aux robots industriels de réaliser des tâches complexes plus facilement et de manière plus sûre.
Pour en savoir plus sur la création d’une politique de déplacement par apprentissage renforcé avec Isaac Sim et Isaac Lab, lisez ce blog de développeur.
Enseigner le mouvement sans collision pour l’autonomie
L’entraînement des robots industriels a souvent lieu dans des environnements spécifiques, comme des usines ou des centres de distribution, où les simulations contribuent à résoudre les difficultés liées à l’utilisation de différents types de robots et à des environnements chaotiques. Un aspect critique de ces simulations est de générer des mouvements sans collision dans des environnements inconnus et encombrés.
Les approches traditionnelles de planification de mouvements qui tentent de résoudre ces difficultés peuvent s’avérer insuffisantes dans des environnements inconnus ou dynamiques. SLAM, soit la localisation et cartographie simultanées, peut être utilisé pour générer des cartes 3D d’environnements à l’aide d’images produites par des caméras qui fournissent différentes perspectives. Cependant, ces cartes doivent être révisées lorsque les objets se déplacent et que les environnements sont modifiés.
L’équipe de recherche NVIDIA Robotics et l’Université de Washington ont présenté Motion Policy Networks (MπNets), une procédure neuronale de bout en bout qui génère des mouvements sans collision en temps réel à l’aide du flux de données d’une même caméra fixe. Entraîné sur plus de 3 millions de problèmes de planification de mouvements et 700 millions de nuages de points simulés, MπNets navigue efficacement dans des environnements inconnus réels.
Alors que le modèle MπNets applique l’apprentissage direct sur les trajectoires, l’équipe a également développé un modèle de collision basé sur un nuage de points appelé CabiNet, entraîné sur plus de 650 000 scènes simulées générées de manière procédurale.
Avec le modèle CabiNet, les développeurs peuvent déployer des politiques généralistes pick-and-place d’objets inconnus au-delà d’une configuration de table plate. L’entraînement sur un grand jeu de données synthétiques a permis au modèle de généraliser des scènes hors de distribution dans une cuisine réelle, sans avoir besoin de données réelles.
Comment les développeurs peuvent commencer à créer des simulateurs robotiques
Commencez en utilisant des ressources techniques, des applications de référence et d’autres solutions de développement de pipelines de simulation physiquement précis en consultant la page des cas d’utilisation de simulation NVIDIA Robotics.
Les développeurs de robots peuvent exploiter NVIDIA Isaac Sim, qui prend en charge plusieurs techniques d’entraînement de robots :
- Génération de données synthétiques pour l’entraînement de modèles d’IA perceptifs
- Tests de logiciels en boucle pour l’ensemble de la pile de robots
- Entraînement des politiques robotiques avec Isaac Lab
Les développeurs peuvent également jumeler ROS 2 avec Isaac Sim pour entraîner, simuler et valider leurs systèmes robotiques. Le workflow Isaac Sim-ROS 2 est semblable aux workflows exécutés avec d’autres simulateurs de robots comme Gazebo. Il commence par intégrer un modèle de robot dans un environnement Isaac Sim préconçu, ajoute des capteurs au robot, puis relie les composants pertinents au graphique d’action ROS 2 et simule le robot en le contrôlant à l’aide de paquets ROS 2.
Restez à jour de l’actualité en vous abonnant à notre newsletter et suivez NVIDIA Robotics sur LinkedIn, Instagram, X et Facebook.