L’IA est entrée dans l’ère gigascale.
Les usines d’IA les plus avancées au monde regroupent des centaines de milliers de GPU et de CPU pour entraîner des modèles de pointe, alimenter l’IA agentique et générer de l’intelligence à une échelle sans précédent. À ce niveau, la mise en réseau devient un multiplicateur de puissance de calcul essentiel pour stimuler la génération de jetons.
Tournant majeur dans le domaine de la mise en réseau, NVIDIA Spectrum-6, un système de commutateurs Ethernet offrant un débit de 102,4 térabits par seconde, soit une capacité deux fois supérieure à celle des systèmes de la génération précédente, et intégré à la plateforme NVIDIA Vera Rubin, fait son entrée dans les usines d’IA à très grande échelle du monde entier.
Spectrum-6 ancre la nouvelle génération de la plateforme NVIDIA Spectrum-X Ethernet, fournissant la bande passante, l’évolutivité et l’intelligence nécessaires pour exploiter une usine d’IA comme un système informatique de bout en bout.
Les principaux développeurs d’IA prennent les devants
Les principaux concepteurs d’infrastructures d’IA au monde, notamment CoreWeave, Microsoft, Nebius, Oracle Cloud Infrastructure (OCI), SpaceXAI et Tesla, seront parmi les premiers à intégrer Spectrum-6 pour accélérer leurs usines d’IA.
Pour les fournisseurs de Cloud, Spectrum-6 signifie que davantage de capacité de calcul peut fonctionner sous forme de ressource unifiée à hautes performances, permettant ainsi aux clients d’entraîner des modèles et de déployer plus rapidement des services d’inférence.
« CoreWeave est conçu pour les charges de travail d’IA les plus exigeantes, et la mise en réseau est essentielle pour fournir ces performances à grande échelle », a déclaré Min Jun, directeur des produits pour la mise en réseau chez CoreWeave. « L’intégration de NVIDIA Spectrum-6 et de l’infrastructure Spectrum-X Ethernet à refroidissement liquide dans nos usines d’IA nous permettra de fournir la bande passante, la résilience et l’efficacité dont les clients ont besoin pour entraîner des modèles de pointe et déployer plus rapidement l’inférence. »
« À l’échelle gigascale, les performances se résument à la coordination : il faut garder chaque GPU en phase étroite afin qu’un lien lent ne bloque pas un travail entier », a déclaré Laurelle Roseman, vice-présidente des partenariats mondiaux chez Nebius. « C’est ce que vise NVIDIA Spectrum-6, et c’est pourquoi nous l’avons introduit tôt : une structure qui reste rapide et résiliente même lorsque les charges de travail les plus exigeantes de nos clients évoluent. »
Pour les pionniers de l’IA qui créent leur propre infrastructure, Spectrum-6 signifie davantage de GPU fonctionnant en synchronisation, une utilisation plus élevée lors des opérations collectives exigeantes et une plus grande résilience pour les tâches de longue durée.
Dans tous les cas d’utilisation, le résultat est une obtention plus rapide des résultats et une meilleure rentabilité à une échelle extraordinaire.
CoreWeave, Microsoft, Nebius et OCI seront parmi les premiers fournisseurs à déployer une infrastructure basée sur NVIDIA Vera Rubin avec Spectrum-6, élargissant ainsi l’accès à la plateforme à une large communauté de développeurs, de startups et d’entreprises.
Les performances de l’IA sont un problème de réseau
Les performances maximales des GPU ne permettent plus à elles seules de prédire les performances d’une usine d’IA.
Les charges de travail d’entraînement et d’inférence à grande échelle dépendent de milliers d’accélérateurs échangeant des données en continu. Les communications collectives sont les opérations fondamentales qui synchronisent le travail entre les GPU et génèrent un trafic est-ouest intense, souvent avec de nombreux systèmes transmettant simultanément.
Ethernet a été conçu principalement pour les applications d’entreprise et le trafic nord-sud entre les utilisateurs, les serveurs et le stockage. Il n’a pas été créé pour les modèles de communication synchronisés et à forte intensité collective de l’IA gigascale.
Ethernet Spectrum-X change la donne. Spécialement conçue pour l’IA, elle transforme Ethernet en une structure évolutive haute performance conçue pour maintenir chaque GPU alimenté en données.
La nouvelle génération de Spectrum-X Ethernet
La puce de commutation Spectrum-6 se combine avec le NVIDIA ConnectX-9 SuperNIC pour former la nouvelle génération de Spectrum-X Ethernet, et est conçue dans le cadre de NVIDIA Vera Rubin, qui regroupe le CPU NVIDIA Vera, le GPU Rubin, le commutateur NVLink 6, le ConnectX-9 SuperNIC, le DPU BlueField-4 et le commutateur Spectrum-6 Ethernet.
Spectrum-6 prend en charge les formats d’optique enfichables et co-intégrés. En outre, les offres Spectrum-6 prennent en charge le refroidissement liquide, ce qui permet une approche complète de refroidissement de bout en bout pour l’ensemble de l’usine d’IA tout en augmentant l’efficacité énergétique du réseau.
Contrairement à l’Ethernet prêt à l’emploi, la plateforme de mise en réseau Ethernet NVIDIA Spectrum-X pour la mise à l’échelle des usines d’IA combine des commutateurs intelligents, des SuperNIC NVIDIA ConnectX-9 et des logiciels de mise en réseau Full-Stack, tous conçus conjointement pour l’IA. Les fonctionnalités avancées de la plateforme optimisent en continu la façon dont le trafic se déplace à travers le fabric.
En outre, la technologie NVIDIA Spectrum-X équilibre intelligemment le trafic entre les chemins disponibles, contourne rapidement les pannes et récupère avec précision lorsque les données transitant sur un réseau n’arrivent pas à leur destination. De plus, la prise en charge des systèmes d’exploitation de réseau ouverts et un choix de modèles de transport RDMA offrent une grande flexibilité aux concepteurs d’IA sans compromettre les performances.
Spectrum-X Ethernet est inhérent à l’approche verticalement intégrée et horizontalement ouverte de NVIDIA : la co-conception du silicium, des systèmes et des logiciels pour l’ensemble de la plateforme de calcul tout en prenant en charge les normes Ethernet, les systèmes d’exploitation réseau ouverts, les protocoles ouverts et un large écosystème de fournisseurs de Cloud, de fabricants de systèmes et de partenaires d’infrastructure. Au lieu d’avoir à assembler une collection de pièces et à les optimiser par la suite, les clients bénéficient d’une plateforme d’usine d’IA complète conçue pour fournir les délais d’entraînement les plus courts et le coût par jeton le plus bas.
Démontrant cette approche, Spectrum-X Ethernet fournit des performances de mise en réseau d’IA jusqu’à 1,6 fois supérieures à celles d’Ethernet standard et maintient une efficacité réseau allant jusqu’à 95 % sur des déploiements dépassant les 100 000 GPU.
Les topologies multiplans Spectrum-X à accélération matérielle divisent par 1,7 le nombre de commutateurs nécessaires pour les Data Centers afin d’accélérer encore l’efficacité du réseau. En ajoutant aux avantages obtenus via la photonique Ethernet Spectrum-X, notamment une efficacité énergétique 5 fois supérieure et un temps moyen entre incidents amélioré de 10 fois, les améliorations de la structure réseau continuent d’offrir des accélérations de la charge de travail au-delà de l’optimisation au niveau des composants.
En savoir plus sur la plateforme NVIDIA Spectrum-X Ethernet.