Les propriétaires de l’IA

Chris Sharp est CTO de Digital Realty

: Pourquoi la modularité sera essentielle pour les centres de données et l'économie de l'IA

L’émergence soudaine de l’IA commerciale à grande échelle au cours de l’année écoulée, en particulier de nouvelles applications d’IA générative telles que ChatGPT, a imposé un nouvel ensemble d’exigences techniques aux installations des centres de données où résident ces applications. L’infrastructure qui les prend en charge consommera plus d’énergie, traitera plus de données et utilisera plus de bande passante que jamais auparavant, le tout dans des installations qui ont peut-être été construites il y a 20 ans. Ces installations doivent désormais s'adapter pour prendre en charge ce qui peut dans certains cas représenter une augmentation d'un ordre de grandeur de la consommation électrique par rack.

Un article en sept parties sur les grands modèles de langage et ce que la prochaine vague de charges de travail signifie pour le calcul, les réseaux et la conception des centres de données.

La seule façon d’y parvenir est d’adopter une conception modulaire.

Les centres de données peuvent ressembler à des entités hautement statiques. Il s'agit généralement d'énormes bâtiments en brique et mortier avec des rangées après rangées de générateurs et d'autres équipements à l'extérieur, tous conçus avec soin pour que l'installation continue de fonctionner dans toutes les conditions, depuis les conditions quotidiennes typiques jusqu'à une panne totale du réseau électrique, sans interruption. Cependant, le centre de données moderne est tout sauf statique ; de nombreuses installations sont conçues dès le départ pour être hautement modulaires, et un étage de centre de données donné peut être adapté aux changements de topologie du réseau, aux considérations de flux d'air et à la redondance physique plusieurs fois par an si nécessaire. Qu’est-ce qui motive ce besoin et comment est-il satisfait ?

L’émergence généralisée des déploiements d’IA dans les centres de données montre à quelle vitesse les exigences des clients peuvent évoluer. Alors que l'année dernière seulement, un opérateur de centre de données aurait pu prévoir une consommation électrique moyenne de 10 kilowatts par rack d'équipement client, le besoin de blocs de plus en plus grands de racks de 25, 50 ou même 100 kilowatts à différents endroits de ce réseau la même installation de centre de données est ici et ne fera que continuer à croître. Avec une conception statique traditionnelle, cela peut créer de nombreux problèmes en termes de performances, de maintenance et de redondance.

Premièrement, des racks aussi denses nécessitent souvent plus de bande passante réseau pour fonctionner à leur plus haut niveau d’efficacité. Ceci est souvent négligé et un client sera très mécontent s'il déploie un rack aussi dense (ou 10, ou 100 d'entre eux) et ne peut ensuite pas obtenir la bande passante dont il a besoin.

Deuxièmement, une augmentation inégale de la consommation électrique dans l’ensemble d’un centre de données peut souvent mettre à rude épreuve un système de refroidissement qui n’a pas été conçu pour s’adapter à ce type de points chauds. Un rack dense à une extrémité d’une rangée dans le centre de données pourrait facilement entraîner une augmentation des températures à l’autre extrémité.

Enfin, les mesures de résilience et de redondance sont basées sur l'emplacement des charges électriques spécifiques dans l'installation et sur la manière dont elles sont réparties. Si un groupe d’équipements très dense est ajouté dans une zone, les conceptions statiques risquent de ne pas être en mesure de garantir qu’il est couvert par une capacité de générateur suffisamment fiable.

Comme vous pouvez l'imaginer, pour le client IA, chacune de ces préoccupations est un problème important allant de l'incapacité à faire fonctionner son équipement IA à son potentiel de performance maximal, jusqu'à la possibilité de subir des temps d'arrêt non désirés en cas de panne de courant ou d'autres contraintes sur le système. réseau électrique local. En utilisant un cadre de conception modulaire hautement adaptable, ces problèmes peuvent être résolus dans les centres de données de tout âge.

D'une part, les espaces peuvent être réutilisés ou conçus dès le début de l'installation pour être utilisés comme salles réseau supplémentaires afin de permettre l'installation de davantage de circuits réseau, de commutateurs et de routeurs afin d'augmenter la bande passante réseau pour le client au fil du temps. De plus, une méthode modulaire de conception et de déploiement de chemins de câbles aériens permet à l'opérateur du centre de données d'apporter physiquement au client cette connectivité, qui est souvent négligée dans les conceptions statiques et non flexibles. Certaines technologies permettant l'IA, telles qu'InfiniBand, peuvent utiliser un câblage volumineux et lourd, qui ne peut être installé que de manière modulaire pour éviter de réels problèmes de performances et de fonctionnement à long terme.