Refrigeración de centros de datos de alta densidad: opciones, límites y reglas de selección

Incluir ocho aceleradores de IA de alto rendimiento en un chasis de servidor estándar rompe con las suposiciones tradicionales sobre las instalaciones. Cuando un solo nodo consume 10kW, las unidades estándar de contención de pasillo caliente y aire acondicionado de sala de computadoras (CRAC) simplemente no logran extraer el calor. La refrigeración moderna de centros de datos de alta densidad no consiste en hacer girar los ventiladores más rápido; se trata de mover el medio de expulsión de calor lo más cerca posible de la matriz de silicio. Si está evaluando una revisión completa de sus instalaciones, comience con nuestro fundamento Refrigeración líquida para servidores de IA: la guía completa.

Este artículo aborda el problema del umbral de densidad. Eliminamos las afirmaciones de marketing para definir límites exactos de enfriamiento de kW por rack para aire heredado, intercambiadores de calor de puerta trasera, enfriamiento líquido directo al chip e inmersión total. Aprenderá cómo hacer coincidir su arquitectura de refrigeración con su densidad de rack específica, qué actualizaciones de instalaciones son obligatorias y cómo evitar que se pierda costosa energía informática debido a cuellos de botella térmicos localizados. Para obtener una visión amplia de las tecnologías que dan forma a la industria, visite nuestro Descripción general de la refrigeración líquida con IA.

1. El umbral de densidad: por qué falla la refrigeración por aire tradicional

El aire posee una capacidad calorífica específica inherentemente baja. Para eliminar grandes cantidades de energía térmica utilizando aire, se deben empujar grandes volúmenes a través de la fuente de calor. En un centro de datos tradicional, esto se basa en pisos elevados, baldosas perforadas y unidades CRAC que operan en el perímetro de la sala.

1.1 Los límites físicos del CFM

Enfriar un bastidor de IA de alta densidad completamente con aire requiere un caudal extremo de pies cúbicos por minuto (CFM). Los racks estándar de 42U equipados con hardware de TI heredado promedian entre 5 kW y 10 kW de carga térmica. En este nivel, los ventiladores del servidor giran a velocidades moderadas y el Delta T (diferencia de temperatura entre el aire de entrada frío y el aire de salida caliente) sigue siendo manejable.

Cuando la densidad del rack sube a 25kW o 30kW, la física falla. Los servidores deben aspirar aire a velocidades inmensas. Esto crea graves cargas de energía parásitas, donde los propios ventiladores del servidor consumen hasta el 20% del presupuesto total de energía del rack solo para girar. Además, el ruido acústico alcanza niveles peligrosos, que a menudo superan los 90 dB, lo que daña el oído humano e induce vibraciones peligrosas en los discos duros cercanos.

1.2 Bypass térmico y puntos calientes

A altas densidades de calor, el enfriamiento del aire sufre debido al flujo de aire de derivación y la recirculación. El aire frío bombeado desde el piso puede pasar por los servidores superiores del rack, mientras que el aire caliente de escape recorre el gabinete y vuelve a ingresar al pasillo frío. Incluso con una contención perfecta del pasillo frío/calor, la refrigeración por aire tradicional a nivel de habitación alcanza un límite físico estricto de alrededor de 30 kW por rack. Más allá de esto, corre el riesgo de sufrir estrangulamiento térmico, temperaturas de unión impredecibles y fallas catastróficas de los componentes.

2. 30kW a 50kW: Intercambiadores de calor de puerta trasera (RDHx)

Cuando los administradores de instalaciones deben soportar la refrigeración de racks de alta densidad pero no pueden modificar el chasis interno del servidor, el intercambiador de calor de puerta trasera (RDHx) es la tecnología de transición más viable.

Un RDHx reemplaza la puerta trasera perforada estándar de un rack de servidores con un enorme serpentín intercambiador de calor líquido-aire. El agua fría de la instalación fluye a través de los serpentines dentro de la puerta. A medida que el aire caliente de escape sale de los servidores, pasa a través del serpentín, transfiere su calor al líquido y entra a la sala del centro de datos a una temperatura neutra.

2.1 RDHx pasivo versus activo

·  RDHx pasivo:  depende completamente de los ventiladores internos del servidor para empujar el aire a través de la bobina gruesa. Esto añade una importante contrapresión a los servidores.

·  RDHx activo:  incorpora una serie de ventiladores de velocidad variable en la propia puerta para impulsar el aire a través del serpentín. Esto libera a los ventiladores del servidor de la carga de contrapresión, pero introduce un punto adicional de falla mecánica y consumo de energía.

2.2 Límites e inconvenientes estructurales

Si bien un RDHx neutraliza eficazmente el escape del rack, no resuelve el cuello de botella térmico a nivel de chip. Los procesadores dentro del servidor aún deben enfriarse con aire. Si una GPU con IA produce 700 W de calor, es probable que un disipador de calor de aire interno no logre mantenerla por debajo de su temperatura máxima de unión, independientemente de qué tan frío esté el aire de la habitación.

Además, un RDHx lleno de agua es excepcionalmente pesado. Una unidad activa puede agregar más de 350 libras a la parte trasera del bastidor.

Orientación para la toma de decisiones:

·  Elija RDHx cuando:  esté actualizando una instalación heredada a bastidores de 40 kW, implemente CPU estándar o GPU de nivel inferior y no pueda anular las garantías del servidor abriendo el chasis.

·  Evite RDHx cuando:  Sus chips individuales superen los 400 W de TDP o los marcos de su rack carezcan de la integridad estructural para soportar las pesadas puertas traseras llenas de agua.

3. 50kW a 120kW: placas frías directas al chip

Para la densidad de enfriamiento del clúster de IA moderna, la refrigeración líquida directa al chip (D2C) es el estándar de facto. En lugar de enfriar el aire alrededor del servidor, el enfriamiento D2C dirige un fluido de transferencia de calor líquido directamente a una placa de metal atornillada sobre la matriz de silicio.

3.1 Capturando calor en la fuente

El agua tiene una capacidad calorífica volumétrica casi 4.000 veces mayor que la del aire. Dirigiéndolo a través de microcanales dentro de una placa fría de cobre altamente conductora, se pueden extraer inmensos flujos de calor. Los sistemas D2C normalmente capturan entre el 70% y el 85% de la carga térmica total del rack. El 15% al ​​30% restante (generado por fuentes de alimentación, componentes menores de la placa base y almacenamiento) se expulsa a la sala y es manejado por unidades CRAC tradicionales o un RDHx.

Esta arquitectura requiere plomería interna compleja. Los OEM de servidores deben integrar tubos flexibles de fluoropolímero, desconexiones rápidas ciegas y colectores de distribución de fluidos dentro del chasis. Para comprender los requisitos mecánicos precisos de estos subbucles, revise nuestra Guía de placa fría del bastidor del servidor AI.

3.2 Resolviendo el desafío del rack de más de 100 kW

A 100 kW por rack, D2C no es opcional; es obligatorio.

Para soportar estos extremos, los diseñadores de instalaciones deben especificar enormes colectores verticales para distribuir el fluido. El equilibrio del flujo se convierte en el principal desafío de ingeniería. Si el colector es demasiado estrecho, la velocidad del fluido excede los límites de seguridad, lo que provoca erosión interna y caídas de presión que privan de refrigerante a los servidores superiores. El diseño de una arquitectura D2C para un bastidor de 120 kW requiere alejarse de las tuberías estándar de 1 pulgada y adoptar colectores de acero inoxidable de 2 pulgadas con estrictos orificios de equilibrio de presión.

Orientación para la toma de decisiones:

·  Elija Direct-to-Chip cuando:  La densidad de su rack esté entre 50kW y 120kW, utilice aceleradores de IA >700W y desee mantener los factores de forma y la capacidad de servicio de los racks tradicionales.

·  Evite el Direct-to-Chip cuando:  No tenga una unidad de distribución de refrigerante (CDU) secundaria para aislar el circuito de TI del agua de alta presión de la instalación tratada químicamente.

4. Más allá de 120 kW: inmersión y densidad de calor extrema

Cuando la densidad de enfriamiento del clúster de IA supera los 120 kW por rack, el enrutamiento de miles de pequeñas líneas de fluido a cientos de placas frías individuales se vuelve mecánicamente frágil. En estos extremos, los centros de datos recurren a opciones de enfriamiento de alta densidad de calor que eliminan el aire por completo: enfriamiento por inmersión.

4.1 Arquitecturas de tanques monofásicos y bifásicos

El enfriamiento por inmersión sumerge toda la carga útil de TI en un tanque horizontal lleno de un fluido dieléctrico no conductor diseñado.

·  Inmersión Monofásica:  El fluido permanece en estado líquido. Las bombas de circulación mueven el fluido caliente a un intercambiador de calor, donde rechaza el calor al agua de la instalación antes de regresar al tanque.

·  Inmersión Bifásica:  El fluido presenta un bajo punto de ebullición. A medida que las GPU se calientan, el líquido hierve violentamente en la superficie de los chips, absorbiendo una enorme cantidad de calor latente. El vapor se eleva, golpea los serpentines del condensador enfriado por agua en la parte superior del tanque y vuelve a llover en forma líquida.

4.2 Realidades de carga y servicio del piso

El enfriamiento por inmersión permite alcanzar los límites de kW más altos, a menudo superando los 250 kW por tanque. Elimina todos los ventiladores de TI, lo que reduce el consumo de energía del rack hasta en un 20 %. También captura el 100 % del calor, lo que significa que la instalación no requiere aire acondicionado a nivel de la habitación.

Sin embargo, el impacto en las instalaciones es enorme. Un tanque de inmersión completamente cargado puede pesar más de 4000 libras. La mayoría de los pisos elevados estándar colapsarán bajo este peso, lo que requerirá el despliegue de losas de concreto reforzado. El mantenimiento de los servidores también supone un gran problema. Los técnicos deben utilizar elevadores robóticos elevados para sacar del líquido los pesados ​​servidores blade que gotean y cambiar un módulo de memoria defectuoso.

Orientación para la toma de decisiones:

·  Elija Inmersión cuando:  Está construyendo una instalación totalmente nueva desde cero, los límites de carga del piso superan las 300 lb/pie cuadrado y exige una eficiencia PUE máxima absoluta sin ventiladores giratorios.

·  Evite la inmersión cuando:  Requiera acceso físico frecuente al hardware de TI o sus instalaciones no puedan soportar los protocolos de contención de fluidos y peso estructural.

5. Interconexiones de instalaciones y limitaciones de temperatura del agua

Implementar refrigeración de alta densidad dentro del rack es inútil si la planta de agua de la instalación no puede absorber y rechazar la carga térmica. La interfaz entre los equipos de TI y la infraestructura del edificio dicta el límite máximo de su densidad.

5.1 Bucles secundarios y CDU

Nunca debe bombear agua cruda enfriada de la instalación a través de las delicadas placas frías del servidor. El agua de las instalaciones corre a altas presiones, contiene partículas pesadas y fomenta el crecimiento biológico.

Para cerrar la brecha, debe implementar una unidad de distribución de refrigerante (CDU). La CDU utiliza un intercambiador de calor de placas de líquido a líquido para separar el circuito de instalación del circuito de TI limpio. Gestiona los caudales, filtra micropartículas y regula la temperatura de aproximación. Para profundizar en el tamaño y la selección de estas barreras de aislamiento críticas, consulte nuestra guía sobre Ecosistema de placa fría del intercambiador de calor del centro de datos  .

5.2 Directrices de refrigeración líquida de ASHRAE

La temperatura del agua de la instalación determina cuánta energía se gasta en enfriadores. La Sociedad Estadounidense de Ingenieros de Calefacción, Refrigeración y Aire Acondicionado (ASHRAE) define clases estándar de refrigeración líquida para guiar el diseño de las instalaciones.

Es muy deseable tener agua más caliente. Si sus placas frías son muy eficientes, puede suministrarles agua a 35°C (95°F) y aún así mantener el silicio de forma segura bajo TjMax. Esto permite que la instalación rechace el calor mediante enfriadores secos en el techo, evitando por completo los enfriadores mecánicos que consumen mucha energía durante la mayor parte del año (un proceso conocido como enfriamiento gratuito).

 

6. Matriz de selección: reglas de decisión de kW por rack

Utilice este marco para alinear su adquisición de TI con su estrategia de ingeniería de instalaciones. Intentar enfriar un rack de 60 kW con aire heredado requiere violar la termodinámica básica, mientras que implementar la inmersión para un rack de 20 kW desperdicia un inmenso capital.

 

7. Conclusión

Cruzar el umbral de alta densidad obliga a un cambio irreversible en el diseño de las instalaciones. Los límites de refrigeración de kW por rack del movimiento de aire tradicional alcanzan un máximo de cerca de 30 kW, un umbral que los servidores de IA modernos superan con una cuarta parte de un rack. Para la mayoría de los operadores que implementan arquitecturas estándar H100 o GB200, la refrigeración líquida directa al chip proporciona el mejor equilibrio entre captura de calor extremo, facilidad de servicio y familiaridad con el rack. Sin embargo, a medida que las densidades superan los 120 kW, se vuelve obligatoria la evaluación de las tecnologías de inmersión y de dos fases.

Su elección de refrigeración determina el espacio que ocupará su instalación, la capacidad de su enfriadora y su uso total de energía durante la próxima década. El éxito requiere alinear la potencia de diseño térmico del silicio directamente con la capacidad calorífica específica de su infraestructura. No diseñe estas interconexiones en el vacío. Comuníquese con nuestro equipo de ingeniería térmica  para analizar el diseño de su bastidor, evaluar sus requisitos de caudal y especificar las placas frías y los colectores exactos necesarios para poner en línea su grupo de alta densidad de manera segura.

Preguntas frecuentes

¿Puedo adaptar la refrigeración directa al chip a un rack enfriado por aire existente?

Sí, pero con salvedades. Debe reemplazar los disipadores de calor internos del servidor con placas frías, instalar tubos internos y montar un colector de bastidor. Fundamentalmente, también debe asegurar espacio en el piso para que una CDU en el estante o en la fila proporcione el circuito de fluido secundario y canalice el agua de la instalación a esa fila.

¿Cómo afecta la refrigeración líquida de alta densidad a la eficacia del uso de energía (PUE)?

La refrigeración líquida mejora drásticamente el PUE. Al eliminar las unidades CRAC que consumen mucha energía y retirar los ventiladores de alta velocidad de los propios servidores, las instalaciones de líquidos de alta densidad logran habitualmente índices de PUE entre 1,05 y 1,15, en comparación con el promedio de 1,4 a 1,6 de los sitios tradicionales enfriados por aire.

¿Qué sucede con el 20% restante del calor en un sistema directo al chip?

Las placas frías capturan la mayor parte del calor de las CPU y GPU. El calor restante de los conmutadores de memoria, almacenamiento y redes se expulsa al aire del centro de datos. Debe conservar la refrigeración tradicional de la habitación o conectar un RDHx a la parte posterior del bastidor para gestionar esta carga residual.

¿Existen limitaciones de peso al pasar a la refrigeración de centros de datos de alta densidad?

Sí. Un bastidor de IA de 100 kW completamente cargado con colectores de líquido y un chasis de GPU denso puede pesar más de 3000 libras. Muchos pisos elevados heredados tienen una capacidad nominal de 250 lbs/pie cuadrado y requerirán refuerzo de acero estructural o un cambio a implementaciones de losa sobre nivel para soportar la densidad de manera segura.

¿Es un riesgo la condensación al canalizar agua fría a un rack de servidores?

Sí, si el agua cae por debajo del punto de rocío de la habitación. Las CDU evitan esto monitoreando activamente la humedad ambiental y mezclando agua de retorno en la línea de suministro para mantener el refrigerante de TI secundario estrictamente por encima del punto de rocío, asegurando que nunca se forme condensación en las placas o tuberías frías.

¿Por qué no utilizar la inmersión en dos fases para todo?

Costo, complejidad del mantenimiento y regulaciones químicas. Los refrigerantes dieléctricos bifásicos son inmensamente caros, requieren tanques sellados herméticamente para evitar la evaporación y enfrentan regulaciones ambientales globales cada vez más estrictas (como las restricciones de PFAS). Debe reservarse estrictamente para densidades en las que falla el líquido monofásico.