Baie de serveurs pour centre de données IA : conception, alimentation et refroidissement expliqués

Les charges de travail liées à l'intelligence artificielle remodèlent l'infrastructure traditionnelle des centres de données. L'entraînement de grands modèles et l'exécution d'inférences en temps réel nécessitent capacité de calcul bien plus importante que les applications d'entreprise classiques.

Ce changement a entraîné une forte augmentation de densité de GPU et exigences en matière de calcul haute performance au sein de chaque baie. De ce fait, la baie de serveurs du centre de données IA est devenue la base des environnements d'IA modernes, où l'alimentation électrique, les systèmes de refroidissement, l'architecture réseau et la conception mécanique doivent évoluer de concert.

Dans ce blog, nous examinerons comment Baies de serveurs IA sont conçues et ce qui les rend essentielles pour les déploiements de centres de données à haute densité.

Qu'est-ce qu'une baie de serveurs pour centre de données IA ?

Un rack serveur de centre de données IA est une norme enceinte Conçues pour héberger des systèmes informatiques haute densité dédiés aux charges de travail d'intelligence artificielle, ces baies de serveurs, contrairement aux baies traditionnelles qui prennent principalement en charge les applications d'entreprise basées sur le processeur, sont conçues pour l'IA. Traitement intensif par GPU, une consommation d'énergie plus élevée et une gestion thermique avancée.

La plupart des racks d'IA suivent les normes facteurs de format 42U ou 48U, mais sa configuration interne est optimisée pour les performances. Les composants principaux comprennent généralement des serveurs GPU ou des plateaux HGX, des alimentations haute puissance PDU intelligents, Ces baies sont équipées de commutateurs réseau haut débit et de systèmes de refroidissement intégrés, liquides ou hybrides. Elles sont spécialement conçues pour les tâches de calcul intensives telles que l'entraînement de modèles et l'inférence à grande échelle.

Architecture de calcul à l'intérieur du rack

Les baies de serveurs d'IA sont construites autour configurations à forte densité de GPU, prenant souvent en charge de 8 à 16 GPU par nœud. Ces GPU sont généralement disposés dans des plateaux modulaires basés sur des plateformes de référence telles que NVIDIA HGX, qui sont optimisés pour la communication à large bande passante et le traitement parallèle.

À l'intérieur de chaque nœud, les GPU sont connectés via NVLink ou NVSwitch, Elle permet un échange de données rapide avec une latence minimale. Cette architecture interne est essentielle pour l'entraînement de grands modèles nécessitant une synchronisation constante entre les accélérateurs.

La plupart des systèmes d'IA utilisent un architecture hybride CPU + GPU, où les processeurs gèrent les tâches de contrôle et les processeurs graphiques prennent en charge les charges de travail nécessitant une puissance de calcul importante. De plus, DPU (Unités de traitement de données) Cette architecture décharge les fonctions de réseau, de stockage et de sécurité. Elle diffère sensiblement des racks traditionnels composés uniquement d'un processeur et est conçue pour évoluer efficacement dans le cadre de l'entraînement distribué de l'IA et des grands modèles de langage.

Architecture de puissance et conception électrique haute densité

Les baies de serveurs d'IA fonctionnent à des températures nettement supérieures. densités de puissance par rapport aux configurations informatiques traditionnelles. Alors que les baies précédentes consommaient en moyenne entre 5 et 10 kW, les baies d'IA modernes consomment généralement entre 40 kW et plus de 100 kW, les conceptions futures visant à augmenter encore leur puissance. capacités de classe mégawatt dans les déploiements à grande échelle.

Pour maintenir la fiabilité, les installations mettent en œuvre Alimentations redondantes A/B Alimenté par un réseau de distribution triphasé. Haute capacité, PDU de rack intelligents assurer une surveillance en temps réel de la charge, de la tension et de la consommation d'énergie. Systèmes de bus aériens sont également de plus en plus utilisées pour assurer une distribution d'énergie flexible et évolutive dans les environnements d'IA.

Ces fortes charges engendrent des problèmes électriques tels qu'une production de chaleur excessive, des difficultés d'équilibrage des circuits et des distorsions harmoniques. Une planification adéquate de l'extension de la puissance garantit que l'infrastructure pourra supporter les futures mises à niveau des GPU sans refonte majeure.

Stratégies de refroidissement pour les baies de serveurs d'IA

Examinons les principales approches de refroidissement utilisées dans les environnements d'IA à haute densité.

1. Refroidissement liquide direct sur la puce

Le refroidissement par air traditionnel devient inefficace au-delà de 30 à 40 kW par rack. Refroidissement liquide direct sur la puce Ce procédé résout le problème en faisant circuler un liquide de refroidissement à travers des plaques froides fixées aux GPU et aux CPU. Cette méthode permet d'évacuer la chaleur à la source, autorisant ainsi des densités de rack plus élevées tout en maintenant des températures contrôlées.

2. Échangeurs de chaleur de porte arrière

Échangeurs de chaleur de porte arrière Ce procédé consiste à récupérer l'air chaud évacué des baies et à le refroidir avant son retour dans la salle informatique. Il permet ainsi d'améliorer l'efficacité énergétique tout en autorisant une réutilisation partielle des configurations existantes à refroidissement par air.

3. Refroidissement par immersion

Dans les déploiements avancés, refroidissement par immersion Ces systèmes immergent les composants dans un fluide diélectrique pour une dissipation thermique maximale. unités de distribution de refroidissement (UDR) et ont un impact sur l'agencement des racks, la charge au sol et la plomberie de l'installation. Les solutions à base de liquide sont de plus en plus courantes dans les déploiements modernes d'IA.

Considérations relatives à la mise en réseau et au stockage

Examinons les principaux éléments de réseau et de stockage qui prennent en charge les charges de travail d'IA.

1. Réseaux à haut débit

Les environnements d'entraînement de l'IA dépendent de InfiniBand ou Ethernet 400G/800G pour gérer le trafic est-ouest massif entre les nœuds. Une communication à faible latence est essentielle pour la synchronisation des GPU lors de l'entraînement distribué des modèles. architecture de commutation en haut de rack (ToR) permet de réduire la complexité du câblage et d'améliorer l'évolutivité.

2. Stockage haute performance

Les charges de travail liées à l'IA nécessitent une ingestion et un traitement rapides des données. Stockage basé sur NVMe Il offre un débit élevé et une faible latence pour les jeux de données d'entraînement. Dans les déploiements à grande échelle, les clusters de stockage distribués prennent en charge l'accès parallèle aux données. La minimisation des goulots d'étranglement entre les GPU, le stockage et le réseau garantit des performances homogènes sur l'ensemble du rack.

Conception mécanique et considérations opérationnelles

Les racks d'IA sont nettement plus lourds en raison de la forte densité des configurations de GPU et des composants de refroidissement liquide. Cela nécessite souvent renforcement du plancher et une planification minutieuse de la répartition des charges. Intégrité structurelle et stabilité sismique sont essentielles dans les environnements à forte densité.

La gestion des câbles se complexifie avec les lignes électriques à haute capacité et les multiples connexions fibre optique. Un acheminement organisé améliore la circulation de l'air et simplifie la maintenance.

Les racks d'IA modernes prennent également en charge plateaux GPU remplaçables à chaud Afin de réduire les temps d'arrêt, des systèmes de télémétrie intégrés et de surveillance en temps réel assurent le suivi de la température, de la consommation électrique et des performances. Une planification efficace de la maintenance garantit que les interventions peuvent être réalisées sans perturber les systèmes adjacents.

Tendances futures de l'infrastructure des racks d'IA

Examinons les principales tendances qui façonnent l'avenir des environnements de racks d'IA.

1. Racks à l'échelle du mégawatt

Les progrès matériels liés à l'IA poussent les densités de racks vers capacités à l'échelle du mégawatt Dans le cadre de déploiements à grande échelle, cette évolution nécessite une refonte de l'alimentation électrique, de la distribution du refroidissement et du renforcement structurel, tant au niveau des racks que des installations.

2. Blocs préfabriqués modulaires

Les centres de données utilisent de plus en plus blocs rack IA modulaires et préfabriqués. Ces unités préfabriquées réduisent le temps de déploiement et permettent une mise à l'échelle plus rapide des clusters de calcul.

3. Durabilité et réutilisation de la chaleur

La demande énergétique croissante a accru l'attention portée à efficacité énergétique et des systèmes de récupération de chaleur. La chaleur récupérée peut être réutilisée pour le chauffage urbain ou des applications industrielles.

4. Intégration des énergies renouvelables

Les installations d'IA à très grande échelle s'intègrent sources d'énergie renouvelables pour gérer les besoins énergétiques à long terme et réduire l'impact environnemental.

5. Automatisation de la gestion des racks

Avancé télémétrie, La surveillance pilotée par l'IA et les systèmes de contrôle automatisés améliorent le suivi des performances, la maintenance prédictive et l'optimisation des capacités.

Foire aux questions (FAQ) sur l'infrastructure des racks de serveurs d'IA