Les applications d’IA générative utilisant du texte, du code informatique, des chaînes protéiques, des résumés, des vidéos et même des graphismes 3D nécessitent un calcul accéléré par des datacenters pour entraîner efficacement les grands modèles de langage (LLM) qui les alimentent.
La plateforme NVIDIA Blackwell a obtenu des résultats impressionnants lors des benchmarks MLPerf Training 4.1 sur les charges de travail de tous les tests, et jusqu’à 2,2 fois plus de performances par GPU sur les benchmarks LLM, notamment l’affinage Llama 2 70B et le pré-entraînement GPT-3 175B.
En outre, les soumissions de NVIDIA sur la plateforme NVIDIA Hopper ont maintenu des records sur tous les benchmarks, notamment une soumission avec 11 616 GPU Hopper sur le benchmark GPT-3 175B.
Des pas de géant avec Blackwell
La première soumission d’entrainement avec Blackwell au consortium MLCommons (qui développe des tests standardisés, impartiaux et rigoureusement évalués par des pairs pour les membres du secteur) met en évidence la façon dont l’architecture fait progresser les performances d’entraînement de l’IA générative.
Par exemple, l’architecture comprend de nouveaux kernels ou noyaux permettant une utilisation plus efficace des Tensor cores. Les kernels sont des opérations mathématiques spécialement conçues et optimisées, comme des matrix-multiplies, qui sont au cœur de nombreux algorithmes de Deep Learning.
La puissance de calcul plus élevée par GPU de Blackwell et la mémoire à bande passante élevée plus importante et plus rapide lui permettent d’exécuter le benchmark GPT-3 175B sur moins de GPU tout en offrant d’excellentes performances par GPU.
Grâce à sa mémoire HBM3e plus importante à la bande passante plus élevée, 64 GPU Blackwell ont suffit pour exécuter le benchmark LLM GPT-3 sans compromettre les performances par GPU. Le même benchmark avec Hopper a nécessité 256 GPU.
Les résultats d’entraînement avec Blackwell font suite à une soumission précédente à MLPerf Inference 4.1, lors de laquelle Blackwell a fourni des performances d’inférence LLM jusqu’à 4 fois plus élevées que la génération Hopper. Une soumission qui a montré des performances puissantes tout en répondant aux exigences de précision du benchmark grâce au système de quantification NVIDIA QUASAR et à la précision FP4 de l’architecture Blackwell.
Une optimisation permanente
Les plateformes NVIDIA subissent un développement logiciel permanent qui améliore les performances et les fonctionnalités d’entraînement et d’inférence pour une grande variété de frameworks, de modèles et d’applications.
Lors de cette série de soumissions pour l’entraînement MLPerf, Hopper a montré des performances d’entrainement par GPU sur GPT-3 175B 1,3 fois supérieures depuis l’introduction du benchmark.
NVIDIA a également soumis des résultats à grande échelle sur le benchmark GPT-3 175B avec 11 616 GPU Hopper connectés via NVIDIA NVLink et NVSwitch, pour une communication GPU à GPU à haut bande passante, et la mise en réseau InfiniBand NVIDIA Quantum-2.
Les GPU NVIDIA Hopper ont plus que triplé l’échelle et les performances sur le benchmark GPT-3 175B depuis l’année dernière. NVIDIA a également augmenté les performances de 26 % sur le benchmark d’affinage Llama 2 70B LoRA en utilisant le même nombre de GPU Hopper : la preuve des améliorations logicielles apportées en continu.
Les travaux actuels de NVIDIA sur l’optimisation de ses plateformes de calcul accéléré permettent d’améliorer les résultats des tests MLPerf : meilleures performances des logiciels conteneurisés, plus de puissance de calcul pour les partenaires et les clients sur les plateformes existantes et un meilleur retour sur leur investissement dans la plateforme.
Devenir partenaires
Les partenaires NVIDIA ont également soumis des résultats impressionnants à MLPerf lors de cette dernière session de tests, y compris des fabricants de systèmes et des fournisseurs de services cloud comme ASUSTek, Azure, Cisco, Dell, Fujitsu, Giga Computing, Lambda Labs, Lenovo, Oracle Cloud, Quanta Cloud Technology et Supermicro.
Membre fondateur de MLCommons, NVIDIA voit comme vital le rôle des benchmarks standardisés et des bonnes pratiques de benchmarking dans le domaine de l’IA. L’accès à des comparaisons simplifiées et examinées par des pairs de plateformes d’IA et de HPC aide les entreprises à suivre le rythme des dernières innovations en matière d’IA et à accéder à des données cruciales pouvant les aider à orienter leurs décisions d’investissement dans ces plateformes.
Pour rn savoir plus sur les résultats MLPerf les plus récents, rendez-vous sur le blog technique NVIDIA.