Cómo elegir la refrigeración de servidores con IA: el marco de decisión del comprador

Especificar hardware de refrigeración para una infraestructura de IA de alto rendimiento es una decisión de capital multimillonaria con tolerancia cero al error. Elija un sistema inadecuado y sus aceleradores se acelerarán bajo cargas de entrenamiento sostenidas, dejando varada una costosa capacidad informática. Si se diseña demasiado el circuito, se inflan los gastos de capital en capacidad innecesaria de la planta mecánica. Saber cómo elegir la refrigeración del servidor de IA requiere evaluar los límites de potencia del silicio, las limitaciones estructurales de las instalaciones y los costos operativos a largo plazo. Para obtener una base integral que cubra el cambio termodinámico a líquido, consulte nuestra guía principal, Refrigeración líquida para servidores de IA: la guía completa.

El marco de este comprador proporciona un proceso estructurado para seleccionar la arquitectura térmica adecuada. Analiza el mapeo de energía de silicio, la preparación de las instalaciones, la planificación de redundancia y el costo total de propiedad. Encontrará una matriz de puntuación ponderada para clasificar las arquitecturas de la competencia y una lista de verificación de ingeniería previa a la RFQ para prepararse antes de contratar proveedores de hardware.

1. Paso 1: Mapear la potencia del silicio y la densidad térmica

Todo proyecto de adquisición de refrigeración comienza con el paquete de silicio. Dimensionar un sistema únicamente según la potencia del chasis conduce a fallas porque ignora la resistencia térmica localizada.

1.1 Cálculo del TDP total y del flujo de calor

La potencia de diseño térmico (TDP) mide la producción total de calor, pero el flujo de calor determina qué tan difícil es extraer ese calor. Los aceleradores de IA modernos empaquetan cientos de miles de millones de transistores en módulos compactos de múltiples chips, generando flujos de calor que superan los 100 vatios por centímetro cuadrado. El aire no puede disipar el calor lo suficientemente rápido a estas densidades porque la resistencia térmica de las pilas de aletas enfriadas por aire es demasiado alta.

Los materiales de la interfaz también dictan límites. El microespacio entre la matriz de silicio y la placa de refrigeración debe salvarse de manera eficiente. Antes de finalizar las presiones o caudales de las bombas, los equipos térmicos deben evaluar su material de interfaz térmica para servidores de IA  para garantizar que la resistencia térmica de la unión a la caja ($R_{jc}$) no consuma todo el presupuesto térmico.

1.2 Potencia a nivel de nodo frente a potencia a nivel de bastidor

Un único chasis de servidor que contiene ocho aceleradores de IA puede consumir entre 8kW y 12kW. Cuando agrega de cuatro a ocho de estos nodos en un solo bastidor de 42U o 48U, las cargas térmicas totales alcanzan rápidamente entre 40kW y 100kW o más.

·  Por debajo de 30 kW por rack:  la refrigeración por aire con contención de pasillo caliente sigue siendo viable si el aire de suministro ambiental se enfría agresivamente.

·  De 30 kW a 50 kW por bastidor:  requiere diseños híbridos, como intercambiadores de calor de puerta trasera (RDHx) de alto rendimiento.

·  Más de 50 kW por rack:  exige distribución de líquido dedicada directamente a los procesadores.

2. Paso 2: Evaluar las limitaciones de las instalaciones (renovación versus greenfield)

Las limitaciones físicas y mecánicas de sus instalaciones dictan qué arquitecturas de refrigeración son realistas. Las construcciones nuevas ofrecen total libertad de diseño, mientras que las modernizaciones antiguas imponen límites físicos estrictos.

2.1 Realidades de la modernización de terrenos abandonados

La modernización de la refrigeración líquida en un centro de datos en funcionamiento presenta obstáculos estructurales, hidráulicos y ambientales:

·  Capacidad de carga en piso:  Los racks de líquidos de alta densidad pueden pesar entre 3000 y 5000 libras. Los pisos elevados clasificados para equipos empresariales heredados (normalmente 250 lb/pie cuadrado) pueden requerir refuerzo de acero estructural debajo del piso.

·  Altura del techo y recorridos de las tuberías:  la entrega de fluido a las filas de servidores requiere puentes de tuberías elevados o zanjas exclusivas debajo del piso. Las instalaciones con poco espacio libre a menudo no pueden adaptarse a grandes cabezales de suministro y retorno.

·  Circuitos de agua enfriada:  si la instalación tiene una planta enfriadora heredada, el agua entrante suele estar muy fría (entre 7 °C y 12 °C). Al conectar este circuito directamente a un bastidor se corre el riesgo de condensación a menos que una unidad de distribución de refrigerante (CDU) eleve la temperatura del suministro por encima del punto de rocío de la habitación.

2.2 Oportunidades totalmente nuevas

El diseño de un nuevo centro de datos permite a los equipos de adquisiciones optimizar para lograr la máxima eficiencia. Las arquitecturas modernas de refrigeración líquida permiten la refrigeración por agua caliente, donde el circuito secundario funciona con agua suministrada entre 32 °C y 45 °C. Para explorar cómo se conectan estos bucles del sistema en todo el centro de datos, revise nuestra Descripción general de la refrigeración líquida con IA.

El enfriamiento con agua caliente elimina la necesidad de costosos enfriadores mecánicos. En cambio, las instalaciones rechazan el calor a la atmósfera exterior utilizando simples refrigeradores secos montados en el techo. Esto reduce el gasto de capital de las instalaciones y reduce la eficacia del uso de energía (PUE) de las instalaciones por debajo de 1,15.

3. Paso 3: Comparar arquitecturas de refrigeración central

Los gerentes de adquisiciones térmicas deben elegir entre cuatro opciones principales: aire avanzado/RDHx, monofásico directo al chip (D2C), bombeado bifásico e inmersión.

 

3.1 Placas frías directas al chip

La refrigeración directa al chip sigue siendo la selección estándar de la industria para los clústeres de IA de alta densidad. Dirige el fluido a través de microcanales de precisión directamente sobre los componentes más calientes, capturando del 75 % al 85 % del calor del chasis.

El principal desafío radica en la plomería interna. Un solo bastidor puede requerir docenas de tubos flexibles y accesorios de desconexión rápida. Para seleccionar las juntas mecánicas y los colectores de distribución vertical adecuados para esta arquitectura, revise nuestra Guía de placa fría del bastidor del servidor AI.

Orientación para la toma de decisiones:

·  Elija Direct-to-Chip si:  La densidad de su rack se sitúa entre 40kW y 120kW, sus aceleradores superan los 700W TDP y sus operadores requieren un chasis de servidor estándar con servicio frontal.

·  Evite el Direct-to-Chip si:  No puede obtener CDU con redundancia de bomba N+1 o no tiene espacio libre en el piso para los cabezales de tuberías secundarias.

3.2 Sistemas de Inmersión

El enfriamiento por inmersión sumerge placas de servidor enteras en tanques llenos de fluido dieléctrico no conductor. Capta el 100% del calor, eliminando todos los ventiladores del chasis y el ruido acústico.

Sin embargo, la inmersión cambia los flujos de trabajo de mantenimiento del centro de datos. Los técnicos no pueden deslizar un servidor sobre rieles. Deben utilizar puentes grúa para levantar las palas que gotean de los tanques de fluidos. Además, los componentes con cavidades cerradas (como tubos de calor sellados o condensadores electrolíticos estándar) pueden deformarse bajo la presión del fluido hidrostático.

Orientación para la toma de decisiones:

·  Elija Inmersión si:  Está construyendo una instalación nueva especialmente diseñada, la densidad del rack supera los 120 kW y su modelo de adquisición admite factores de forma de servidor no estándar.

·  Evite la inmersión si:  Opera espacios de colocación donde los inquilinos requieren acceso rápido y sin herramientas a unidades de intercambio, tarjetas PCIe o memoria.

4. Paso 4: Evaluar la redundancia, la capacidad de servicio y el riesgo

Un grupo de IA representa decenas de millones de dólares en inversión de capital. Una falla en el enfriamiento que detenga un trabajo de capacitación puede costar cientos de miles de dólares en tiempo de procesamiento perdido.

4.1 Niveles de redundancia mecánica

La infraestructura de refrigeración debe cumplir con los requisitos de nivel de la carga útil de TI:

·  Redundancia de bomba CDU:  especifique CDU de bomba doble en una configuración N+1. Si falla el motor de una bomba, la bomba secundaria gira automáticamente sin interrumpir el flujo.

·  Colectores de doble cabezal:  implemente bucles secundarios con cabezales dobles de suministro y retorno. Esto permite dar servicio a las válvulas de aislamiento del colector sin drenar toda la fila.

·  Pasaje Térmico:  Los sistemas líquidos tienen menos inercia térmica que grandes volúmenes de aire ambiente. Si falla una bomba, un chip de 1000 W puede alcanzar el límite de unión térmica en dos segundos. El sistema debe incluir acumuladores de presión o sistemas de alimentación ininterrumpida (UPS) conectados directamente a las bombas de la CDU.

4.2 Tiempo medio de reparación (MTTR) e intercambio

La velocidad del servicio es una métrica operativa clave. Los servidores experimentarán fallas de hardware y los técnicos deberán reemplazar los componentes sin apagar los nodos adyacentes.

·  Blind-Mate frente a desconexiones rápidas manuales (QD):  las QD manuales requieren que los técnicos introduzcan la mano en el bastidor y encajen las mangueras en su lugar. Los conectores ciegos se alinean automáticamente cuando el servidor se inserta en el bastidor. Elija Blind-mate para implementaciones a gran escala para eliminar los errores de manejo de los técnicos.

·  Estándares de desconexión rápida universal (UQD):  estandarice los tamaños de UQD que cumplan con OCP (como UQD-02 o UQD-04). Evite geometrías de conectores patentadas que lo limiten a un único proveedor de hardware.

5. Paso 5: Calcular el costo total de propiedad (TCO)

Las decisiones de adquisición impulsadas únicamente por el costo inicial del hardware a menudo resultan en gastos generales más altos durante un ciclo de vida operativo de tres a cinco años.

5.1 Gastos de capital (CapEx)

La refrigeración por aire conlleva el CapEx más bajo para el chasis del servidor porque utiliza láminas de metal estampadas simples y bloques de aletas de cobre. Sin embargo, aumenta el gasto de capital de las instalaciones al requerir enfriadores grandes, conductos masivos y una capacidad de generador de gran tamaño para hacer funcionar los ventiladores del edificio.

La refrigeración líquida directa al chip aumenta el CapEx a nivel del servidor gracias a las placas frías mecanizadas con precisión, las mangueras internas de fluoropolímero y los colectores de acero inoxidable. Sin embargo, reduce drásticamente los costos de la planta mecánica de las instalaciones al permitir el rechazo del calor del agua caliente.

5.2 Gastos operativos (OpEx)

Los ahorros operativos de la refrigeración líquida se deben a dos factores:

1. Reducción de energía del ventilador:  los ventiladores de servidor de alta velocidad pueden consumir hasta el 20% del presupuesto total de energía de un servidor enfriado por aire. Los nodos refrigerados por líquido utilizan ventiladores de chasis de bajas RPM o los eliminan por completo, eliminando las cargas eléctricas parásitas.

2. Mejoras de PUE:  la transición de la refrigeración por aire heredada (PUE ~1,5) a la refrigeración líquida directa al chip (PUE ~1,1) reduce el consumo eléctrico no relacionado con TI en aproximadamente un 80 %. En una instalación de 10 MW, esta mejora de la eficiencia ahorra millones de dólares anualmente en facturas de electricidad.

6. Matriz de puntuación de arquitectura ponderada

Utilice esta matriz de decisión ponderada para comparar opciones para su implementación. Asigne una puntuación de 1 (mala) a 5 (excelente) para cada categoría, multiplíquela por el factor de ponderación y totalice las puntuaciones.

 

Cómo interpretar los resultados:

·  Direct-to-Chip  gana constantemente para los clústeres de IA empresarial entre 40kW y 120kW por rack debido a su equilibrio de capacidad térmica, factor de forma estándar y flujos de trabajo de servicio probados.

·  Active RDHx  es la opción práctica para modernizaciones en zonas industriales abandonadas donde el agua de la instalación no puede dirigirse directamente al chasis del servidor.

·  La inmersión  obtiene la puntuación más alta cuando se construyen grandes sitios nuevos dedicados a computación de densidad extrema donde los flujos de trabajo operativos se pueden reconstruir alrededor de tanques de carga superior.

7. Lista de verificación de ingeniería previa a la solicitud de cotización

Antes de emitir una solicitud de cotización (RFQ) a los proveedores de hardware de refrigeración, reúna estos parámetros críticos. Las especificaciones incompletas provocan retrasos en las cotizaciones, expectativas incorrectas de rendimiento térmico y costosas órdenes de cambio.

7.1 Parámetros de ingeniería a definir

Prepare los siguientes datos técnicos:

1. Especificaciones de silicio:  TDP máximo (vatios), dimensiones de la superficie del chip y temperatura de unión máxima permitida ($T_{jMax}$) para cada procesador, banco de memoria y regulador de potencia.

2. Química objetivo del refrigerante:  proporción de mezcla de agua/propilenglicol (p. ej., 75/25), agua desionizada pura o fluido dieléctrico diseñado.

3. Límites hidráulicos:  caudal de fluido (LPM) máximo disponible por bastidor, caída de presión máxima permitida ($Delta P$) en todo el chasis y rango de temperatura del agua de suministro.

4. Factor de forma del chasis:  dimensiones de 1U, 2U o 4U, incluidas las zonas de exclusión de componentes internos y los radios de curvatura de tubos preferidos.

5. Preferencias de acoplamiento:  especificación de clases de desconexión rápida (UQD-02, UQD-04) y tipos de conexión (conexión ciega versus látigos de manguera manuales).

7.2 Auditoría de capacidad del proveedor

No todos los fabricantes de hardware pueden satisfacer las demandas de confiabilidad de los entornos informáticos modernos. Al evaluar proveedores, revise nuestra Guía del proveedor de placas frías del centro de datos  para confirmar que poseen:

·  Soldadura por fricción-agitación (FSW) interna y soldadura fuerte al vacío en atmósfera controlada.

·  Pruebas de fugas automatizadas con espectrómetro de masas de helio con un valor nominal de al menos $10^{-6} ext{ atm}cdot ext{cc/s}$.

·  Conjunto de sala limpia dedicado para evitar la contaminación por partículas en los microcanales.

·  Experiencia interna en ingeniería térmica e hidráulica para evaluar el rendimiento de la placa fría, revisar los requisitos de distribución de flujo y verificar la viabilidad de fabricación antes de la producción.

Preguntas frecuentes

¿Cuál es la densidad mínima de rack que justifica la refrigeración líquida?

La refrigeración líquida normalmente se vuelve económica y físicamente necesaria entre 30 y 40 kW por rack. Por debajo de 30 kW, la refrigeración por aire optimizada con contención suele ser más económica de instalar. Por encima de 40 kW, la refrigeración por aire requiere una potencia excesiva del ventilador y no logra mantener los chips modernos de más de 700 W dentro de temperaturas de funcionamiento seguras.

¿Cómo afecta la velocidad del fluido al diseño del circuito de refrigeración líquida?

La velocidad del fluido generalmente debe permanecer entre 0,5 y 1,5 metros por segundo dentro de los colectores y placas frías. Las velocidades inferiores a 0,5 m/s pueden provocar un flujo laminar y una mala transferencia de calor. Las velocidades superiores a 1,5 m/s aumentan el riesgo de erosión-corrosión en los canales de cobre y crean altas caídas de presión que sobrecargan las bombas.

¿Podemos utilizar placas frías de aluminio para ahorrar costos en un clúster de IA empresarial?

Evite las placas frías de aluminio en circuitos que contengan componentes de cobre o latón (como colectores, accesorios o intercambiadores de calor). La mezcla de cobre y aluminio en un sistema a base de agua induce una rápida corrosión galvánica que perforará las placas de metal y provocará fugas catastróficas. Utilice placas frías de cobre puro para circuitos de agua/glicol.

¿Cuál es la temperatura de aproximación estándar para una CDU de servidor AI?

Un intercambiador de calor CDU bien diseñado normalmente funciona con una temperatura aproximada de 3°C a 5°C. Esto significa que si el agua primaria de la instalación ingresa a la CDU a 30 °C, el refrigerante secundario saldrá hacia los bastidores de servidores a aproximadamente 33 °C a 35 °C.

¿Vale la pena el costo adicional de los conectores ciegos en comparación con los látigos de manguera manuales?

Sí, para implementaciones densas de múltiples nodos. Los conectores ciegos eliminan el error humano durante el servicio, evitan que la manguera se doble dentro del chasis y aceleran los cambios de servidor. Los látigos de manguera manuales son aceptables para construcciones de prototipos pequeños o laboratorios con un recuento bajo de nodos donde los técnicos realizan mantenimiento al hardware con poca frecuencia.

¿Cómo influye la altitud en la selección del sistema de refrigeración?

La altitud degrada significativamente el rendimiento de refrigeración del aire porque una menor densidad del aire reduce el flujo másico y la capacidad calorífica. Un sistema que enfría adecuadamente al nivel del mar puede acelerarse a 1.500 metros. Los sistemas de refrigeración líquida esencialmente no se ven afectados por la altitud, lo que los hace mucho más confiables para sitios de centros de datos a gran altura.

8. Conclusión

Seleccionar una arquitectura de refrigeración de servidores de IA es un ejercicio de gestión de compensaciones. La decisión no se puede tomar revisando únicamente las hojas cortadas de los componentes; debe superar los límites térmicos del silicio, las capacidades mecánicas de las instalaciones, los requisitos de capacidad de servicio y los presupuestos operativos de varios años. Para la mayoría de las implementaciones empresariales de alta densidad entre 40 kW y 120 kW por rack, las placas frías directas al chip proporcionan el equilibrio óptimo entre capacidad de refrigeración, familiaridad operativa y eficiencia a largo plazo.

Hacer la elección arquitectónica correcta requiere una evaluación térmica e hidráulica exhaustiva antes de comprometer capital. Póngase en contacto con nuestro equipo de ingeniería térmica   para revisar sus requisitos de energía de silicio, evaluar la caída de presión de la placa fría y la distribución del flujo, y desarrollar una solución de refrigeración líquida personalizada para su implementación informática de próxima generación.