Les jacuzzis sont remplis d’une eau dont la température est comprise entre 38 et 40 degrés Celsius. À cette chaleur, la plupart des gens ne se baignent généralement pas pendant plus de 15 minutes. Les nouveaux serveurs d’IA de NVIDIA peuvent faire fonctionner leur liquide de refroidissement à une température encore plus élevée (jusqu’à 45 degrés Celsius ou 113 degrés Fahrenheit). C’est précisément cette limite de température plus élevée qui les rend plus efficaces sur le plan énergétique.
La génération Rubin de l’infrastructure d’IA de NVIDIA est la première au monde à atteindre un refroidissement liquide à 100 % : chaque puce, chaque composant de mise en réseau, est entièrement refroidi par liquide dans une boucle fermée sans aucun ventilateur dans le système. Cette méthodologie de refroidissement liquide est décrite dans le NVIDIA DSX AI factory reference design, un guide qui décrit les meilleures pratiques pour concevoir, construire et exploiter l’ensemble de la pile d’infrastructure de l’usine d’IA.
Même si chaque nouvelle génération fournit une puissance de calcul considérablement accrue par watt, une infrastructure de calcul d’IA entièrement refroidie par liquide permet aux datacenters de réduire considérablement la consommation d’énergie pour le refroidissement, ce qui constitue une différence significative pour la consommation d’énergie globale des datacenters à une échelle hyperscale.
« La conception de référence NVIDIA DSX pour les usines d’IA a une consommation d’eau nulle — nous avons éliminé une consommation d’énergie massive et presque toute la consommation d’eau », explique Ali Heydari, directeur du refroidissement et de l’infrastructure des datacenters chez NVIDIA. « Avec ce type de conceptions basées sur des refroidisseurs secs, nous disposons d’un système en boucle fermée ne faisant pas appel à un watercooling par évaporation, en dehors de peut-être 1 % de l’année, lors des moments où nous pourrions avoir besoin de refroidisseurs dans le cadre d’une exploitation dans certains climats. »
Historiquement, le refroidissement à lui seul a représenté jusqu’à 40 % de la consommation d’électricité d’un datacenter, ce qui en fait l’un des domaines les plus importants dans lesquels les améliorations d’efficacité peuvent réduire à la fois les dépenses d’exploitation et la demande en énergie.
Les estimations de l’industrie suggèrent qu’une augmentation de la température de la centrale de refroidissement de seulement un degré peut réduire les coûts d’énergie de refroidissement d’environ 4 %. À grande échelle, ces économies s’accumulent rapidement. Une installation hyperscale de 50 mégawatts peut économiser plus de 4 millions de dollars par an en coûts d’énergie et d’eau liés au refroidissement en passant à une infrastructure refroidie par liquide.
Dans les climats favorables, l’architecture de refroidissement liquide à 45 degrés de NVIDIA peut permettre un fonctionnement sans refroidisseur avec des refroidisseurs secs, réduisant la consommation d’eau de refroidissement des installations d’environ 9,8 millions de litres par mégawatt et par an pour les systèmes classiques basés sur des tours de refroidissement à quasiment zéro, soit une réduction de la consommation d’eau allant jusqu’à 100 %.
La raison : les datacenters traditionnels refroidis à l’air dépendent de grands volumes d’air refroidi pour évacuer la chaleur des équipements informatiques, ce qui nécessite souvent une infrastructure de refroidissement gourmande en énergie par temps chaud. Grâce au refroidissement liquide à 45 degrés de NVIDIA, la chaleur est capturée directement au niveau de la puce et transportée via des boucles liquides fonctionnant à des températures beaucoup plus élevées, ce qui permet aux refroidisseurs secs extérieurs de rejeter efficacement la chaleur pendant une grande partie de l’année tout en réduisant considérablement les besoins en refroidissement mécanique et la consommation d’eau des installations.
La température ambiante du datacenter est flexible — l’air chaud de l’été ne pose pas de problème — car aucun composant du serveur ne dépend de l’air frais. Le liquide effectue tout le travail de refroidissement, et le même liquide peut circuler de nouveau dans une boucle fermée, de sorte qu’aucune eau supplémentaire n’est consommée pour refroidir les puces.
Une nouvelle norme pour l’industrie
Étant donné que la plateforme NVIDIA Rubin intègre une infrastructure 100 % refroidie par liquide, chaque fournisseur de cloud et opérateur de datacenter qui s’appuie sur cette plateforme effectue une transition énergétique majeure.
L’écosystème suit le rythme. Motivair, la division de refroidissement avancé de Schneider Electric, suit de près la feuille de route des produits de NVIDIA depuis environ une décennie. Richard Whitmore, son président-directeur général, affirme que la relation ne s’est qu’intensifiée à mesure que les densités de puissance ont franchi le seuil à partir duquel le refroidissement par air ne constituait plus une option viable.
« Une fois que les watts par puce ont franchi un certain niveau, le refroidissement liquide est devenu obligatoire », a déclaré Whitmore.
Le défi du refroidissement des infrastructures d’IA est plus brûlant que vous ne le pensez
Il existe une idée fausse de longue date dans l’industrie selon laquelle un centre de données froid est un centre de données efficace. Il y a des décennies, si l’on n’avait pas l’impression d’être dans une chambre froide en entrant dans un centre de données, les gens supposaient que quelque chose n’allait pas.
En réalité, les puces peuvent supporter des environnements bien plus chauds que ce que l’instinct suggère. Les processeurs en silicium génèrent une chaleur interne énorme : le liquide de refroidissement entrant dans une puce entièrement refroidie par liquide à 45 degrés Celsius en sort à environ 55 degrés après avoir absorbé cette charge thermique sur la surface de la puce. Pourtant, les performances ne se dégradent pas.
Les processeurs continuent à fonctionner à pleine performance parce que les plaques froides refroidies par liquide maintiennent les températures des appareils dans les limites de fonctionnement validées, même lorsque le liquide de refroidissement pénètre dans le rack à 45 degrés Celsius.
Pas de ventilateurs ni d’allées froides : une machine fondamentalement différente
Si vous visitez un datacenter traditionnel, vous remarquerez vite deux choses : le bruit (les ventilateurs pour le refroidissement génèrent des niveaux de bruit égaux ou supérieurs à 85 décibels, ce qui est suffisamment bruyant pour nécessiter une protection auditive) et la chorégraphie physique des allées chaudes et des allées froides, soigneusement gérées pour pousser de l’air refroidi à travers les composants.
L’architecture Rubin change la donne.
Le fluide de refroidissement (75 % d’eau et 25 % de propylène glycol) s’écoule à travers des plaques froides qui reposent directement sur les processeurs, ce qui permet d’extraire la chaleur à la source. Le fait de faire fonctionner ce liquide de refroidissement à une température allant jusqu’à 45 degrés Celsius signifie que, dans de nombreux climats, la boucle de l’installation peut rejeter la chaleur sans nécessiter des refroidisseurs mécaniques ou des ventilateurs bruyants.
Cela permet d’aller au-delà des économies d’énergie : la possibilité d’éliminer entièrement la consommation d’eau.
Dans la bonne zone géographique (comme les régions où l’air extérieur est toujours frais), un datacenter refroidi par liquide peut rejeter sa chaleur grâce à des unités de distribution de liquide de refroidissement qui capturent la chaleur directement à la source et la transportent vers des refroidisseurs secs extérieurs, essentiellement de grands serpentins de radiateur positionnés à l’extérieur du bâtiment.
La boucle est remplie une fois et fonctionne en circuit fermé pendant toute la durée de vie de l’installation. Et il occupe considérablement moins d’espace dans l’usine d’IA par rapport à une infrastructure de refroidissement par air traditionnelle.
« Dans la bonne zone géographique, avec la bonne conception de système, vous n’avez besoin d’aucun équipement de réfrigération », a déclaré Whitmore. « On peut simplement placer de grands serpentins de radiateur à l’extérieur et utiliser la température de l’air pour tout le refroidissement. C’est incroyablement efficace. »
Le paramètre géographique est très important. Un datacenter dans les Highlands écossais et un autre à Phoenix, en Arizona, sont confrontés à des réalités très différentes. Mais même dans les climats plus chauds, le passage à un liquide de refroidissement à 45 degrés Celsius rapproche considérablement les opérateurs de cet idéal d’installation sans refroidisseur, via lequel les refroidisseurs peuvent ne s’allumer que quelques jours par an lorsque la température de l’air extérieur l’exige.
Un autre avantage-clé de ce nouveau modèle pour les usines d’IA réside dans le potentiel de récupération de la chaleur perdue, grâce auquel la chaleur résiduelle issue des opérations de l’usine d’IA peut être réutilisée pour chauffer des bâtiments commerciaux ou résidentiels à proximité.
Le problème d’ingénierie que personne n’avait résolu
Les précédents serveurs refroidis par liquide étaient hybrides : les GPU et les CPU disposaient de plaques froides, mais le reste du système restait refroidi par air, avec des dissipateurs de chaleur à ailettes conçus pour dissiper la chaleur dans l’air en mouvement. Dans un serveur entièrement refroidi par liquide, le refroidissement de ces composants a dû être complètement repensé pour utiliser du liquide.
L’équipe d’ingénierie thermique de NVIDIA a retravaillé la façon dont ces composants gèrent la chaleur, en concevant des boucles de refroidissement qui simplifient le routage du liquide vers plusieurs puces haute puissance sur la carte à l’aide d’une seule entrée et sortie, ce qui a permis d’obtenir une architecture de refroidissement nettement plus propre au niveau du plateau.
Le résultat est visible : les serveurs Rubin possèdent des panneaux avant propres et scellés tandis que les serveurs refroidis par air disposent de cadres perforés. De plus, les serveurs entièrement refroidis par liquide permettent une densité de rack plus élevée que les serveurs refroidis par air, de sorte qu’un système qui occupait auparavant six unités de rack tient désormais dans deux. Le résultat ? Davantage de puissance de calcul et un encombrement réduit avec moins de bruit.
Les charges de travail d’IA ne s’allègent pas. La demande en puissance de calcul qui stimule la construction de datacenters croît plus rapidement que presque toute autre catégorie d’investissement en infrastructure.
Sans gains d’efficacité pour le refroidissement des composants dédiés au calcul, le coût énergétique lié à l’exécution de l’IA à grande échelle augmenterait au même rythme que le matériel. Le refroidissement liquide à une température allant jusqu’à 45 degrés Celsius — plus chaud qu’un jacuzzi, plus frais pour la planète — est l’un des outils les plus importants dont dispose l’industrie pour combler cet écart.
En savoir plus sur le refroidissement liquide, NVIDIA DSXla plateforme pour les usines d’IA et l’approche de NVIDIA en matière d’infrastructures d’IA écoénergétiques.