En élargissant l’univers des modèles ouverts, NVIDIA a publié aujourd’hui de nouveaux modèles, données et outils ouverts pour faire progresser l’IA dans tous les secteurs.
Ces modèles, qui incluent la famille NVIDIA Nemotron pour l’IA agentique, la plateforme NVIDIA Cosmos pour l’IA physique, la nouvelle famille NVIDIA Alpamayo pour le développement des véhicules autonomes, NVIDIA Isaac GR00T pour la robotique et NVIDIA Clara pour le biomédical, fourniront aux entreprises les outils nécessaires pour développer des systèmes d’IA réels.
NVIDIA fournit des frameworks d’entraînement open-source et l’une des plus grandes collections de données multimodales ouvertes au monde, notamment 10 trillions de jetons d’entraînement linguistique, 500 000 trajectoires robotiques, 455 000 structures protéiques et 100 téraoctets de données de capteurs de véhicules. Il s’agit d’une échelle sans précédent de diverses ressources ouvertes pour accélérer l’innovation dans les domaines du langage, des robots, de la recherche scientifique et des véhicules autonomes.
Des entreprises technologiques de pointe, notamment Bosch, CodeRabbit, CrowdStrike, Cohesity, Fortinet, Franka robotique, Humanoid, Palantir, Salesforce, ServiceNow, Hitachi et Uber, adoptent et s’appuient sur les technologies de modèles ouverts de NVIDIA.
NVIDIA Nemotron apporte la parole, l’intelligence multimodale et la sécurité aux agents d’IA
Sur la base de la famille de modèles et de données ouverts NVIDIA Nemotron 3 récemment publiée, NVIDIA publie des modèles Nemotron pour la parole, la génération multimodale augmentée par récupération (RAG) et la sécurité.
- Nemotron Speech comprend des modèles ouverts de premier plan, notamment un nouveau modèle ASR, qui offrent une reconnaissance vocale en temps réel et à faible latence pour les sous-titres en direct et les applications d’IA vocale. Les benchmarks quotidiens et modaux montrent que le modèle offre des performances 10 fois plus rapides que les autres modèles de la même catégorie.
- Nemotron RAG comprend de nouveaux modèles de langage visuel (VLM) avec intégration et rerank qui fournissent des informations très précises sur les données multilingues et multimodales pour améliorer la recherche de documents et la récupération d’informations.
- Les modèles de sécurité Nemotron, qui renforcent la sécurité et la fiabilité des applications d’IA, incluent désormais le modèle de sécurité de contenu Llama Nemotron, offrant un support étendu pour les langues, et Nemotron PII, qui détecte les données sensibles avec une grande précision.
Bosch adopte Nemotron Speech pour permettre aux conducteurs d’interagir avec leurs véhicules. ServiceNow entraîne sa famille de modèles Apriel sur des jeux de données ouverts, notamment Nemotron pour des performances multimodales rentables.
Cadence et IBM pilotent les modèles RAG NVIDIA Nemotron pour améliorer la recherche et le raisonnement sur des documents techniques complexes.
CrowdStrike, Cohesity et Fortinet adoptent les modèles de sécurité NVIDIA Nemotron pour renforcer la fiabilité de leurs applications d’IA.
Palantir intègre les modèles Nemotron à son framework Ontology pour créer une pile technologique intégrée et unique en son genre pour les agents d’IA spécialisés. CodeRabbit utilise les modèles Nemotron pour alimenter et faire évoluer ses examens de code d’IA, en améliorant la vitesse et la rentabilité tout en maintenant une précision de révision élevée.
NVIDIA publie également des jeux de données open-source, des ressources d’entraînement et des modèles pour les développeurs, notamment le jeu de données et le code d’entraînement pour le modèle Llama Embed Nemotron 8B, figurant sur le tableau de bord MMTEB. En plus du routeur LLM mis à jour qui montre aux développeurs comment diriger automatiquement les demandes d’IA vers le meilleur modèle pour la tâche, et le jeu de données utilisé pour créer le nouveau modèle d’ASR vocal Nemotron.
Nouveaux modèles pour tous les types d’IA tangible et de robot
Le développement de l’IA physique pour les robots et les systèmes autonomes nécessite de grands jeux de données et de modèles diversifiés capables de percevoir, de raisonner et d’agir dans des environnements réels et complexes. Sur Hugging Face, la robotique est le segment à la croissance la plus rapide, les modèles et les jeux de données robotiques ouverts de NVIDIA étant en tête des téléchargements de la plateforme.
NVIDIA publie des modèles de fondation de monde ouvert NVIDIA Cosmos qui offrent un raisonnement humain et une génération de monde pour accélérer le développement et la validation de l’IA physique.
- Cosmos Reason 2 est un nouveau VLM de raisonnement au classement supérieur qui aide les robots et les agents d’IA à voir, à comprendre et à interagir avec une plus grande précision dans le monde physique.
- Cosmos Transfer 2.5 et Cosmos Predict 2.5 sont des modèles de pointe qui génèrent des vidéos synthétiques à grande échelle dans divers environnements et conditions.
NVIDIA a également publié des modèles et des plans pour chaque incarnation d’IA physique, basés sur Cosmos :
- Isaac GR00T N1.6 est un modèle de vision-langage-action (VLA) à raisonnement ouvert, spécialement conçu pour les robots humanoïdes, qui offre un contrôle corporel complet et utilise NVIDIA Cosmos Reason pour un meilleur raisonnement et la compréhension contextuelle.
- Le modèle NVIDIA pour la recherche et la synthèse vidéo, qui fait partie de la plateforme NVIDIA Metropolis, est un workflow de référence pour la création d’agents de vision d’IA capables d’analyser de grands volumes de vidéos enregistrées et en direct afin d’améliorer l’efficacité opérationnelle et la sécurité publique.
Salesforce, Milestone, Hitachi, Uber, VAST Data et Encord utilisent Cosmos Reason pour le trafic et la productivité sur le lieu de travail. Franka robotique, Humanoid et NEURA robotique utilisent Isaac GR00T pour simuler, entraîner et valider de nouveaux comportements de robots avant la mise à l’échelle de la production.
NVIDIA Alpamayo pour les véhicules autonomes basés sur le raisonnement
Le développement d’une conduite autonome sûre et évolutive dépend d’une IA capable de percevoir, de raisonner et d’agir dans des environnements et des scénarios complexes et réels, avec des workflows de développement prenant en charge un entraînement, des tests et des améliorations rapides à grande échelle.
NVIDIA publie NVIDIA Alpamayo, une nouvelle famille de modèles ouverts, d’outils de simulation et de grands jeux de données pour faire progresser le développement des véhicules autonomes basé sur le raisonnement. Cette solution pour les villes intelligentes inclut :
- Alpamayo 1, le premier modèle de raisonnement VLA ouvert à grande échelle pour les véhicules autonomes (AV), qui permet aux véhicules de comprendre leur environnement et d’expliquer leurs actions.
- AlpaSim, un framework de simulation open-source qui permet un entraînement et une évaluation en boucle fermée de modèles de véhicules autonomes basés sur le raisonnement dans divers environnements et des cas Edge.
NVIDIA publie également des jeux de données ouverts d’IA physique, notamment plus de 1 700 heures de données de conduite collectées dans une large gamme de zones géographiques et de conditions, couvrant des cas réels rares et complexes essentiels pour faire progresser les architectures de raisonnement.
NVIDIA Clara pour la santé et les sciences de la vie
Pour réduire les coûts et fournir des traitements plus rapidement, NVIDIA lance de nouveaux modèles d’IA Clara qui comblent le fossé entre la découverte numérique et la médecine réelle.
Ces modèles aident les chercheurs à concevoir des traitements plus sûrs, plus efficaces et plus faciles à produire, notamment les suivants :
- La-Proteina permet la conception de grandes protéines précises au niveau atomique pour la recherche et le développement de candidats médicaments, offrant aux scientifiques de nouveaux outils pour étudier des maladies auparavant considérées comme intraitables.
- ReaSyn v2 garantit que les médicaments conçus par l’IA sont pratiques à synthétiser en incorporant un modèle de fabrication dans le processus de découverte.
- KERMT fournit des tests de sécurité informatiques de haute précision au début du développement en prédisant l’interaction d’un médicament potentiel avec le corps humain.
- RNAPro libère le potentiel de la médecine personnalisée en prédisant les formes 3D complexes des molécules d’ARN.
En outre, un jeu de données NVIDIA de 455 000 structures de protéines synthétiques aide les chercheurs en IA à créer des modèles d’IA plus précis.
Démarrez avec les modèles et les technologies ouverts de NVIDIA
Les modèles, les données et les frameworks ouverts de NVIDIA sont désormais disponibles sur GitHub et Hugging Face, ainsi que sur une gamme de plateformes Cloud, d’inférence et d’infrastructure d’IA, ainsi que sur build.nvidia.com, offrant aux développeurs un accès flexible à des ressources d’assistance.
Beaucoup de ces modèles sont également disponibles sous forme de microservices NVIDIA NIM pour un déploiement sécurisé et évolutif sur n’importe quelle infrastructure accélérée par NVIDIA, de l’Edge au Cloud.
En savoir plus en regardant NVIDIA Live au CES.