Kühlung von Rechenzentren mit hoher Dichte: Optionen, Grenzen und Auswahlregeln

Die Unterbringung von acht leistungsstarken KI-Beschleunigern in einem Standard-Servergehäuse stellt traditionelle Annahmen über Anlagen zunichte. Wenn ein einzelner Knoten 10 kW verbraucht, können herkömmliche Warmgang-Einhausungs- und Computerraum-Klimaanlagen (CRAC) die Wärme einfach nicht abführen. Bei der Kühlung moderner Rechenzentren mit hoher Dichte geht es nicht darum, die Lüfter schneller zu drehen; Es geht darum, das Wärmeabfuhrmedium so nah wie möglich an den Siliziumchip zu bringen. Wenn Sie eine komplette Anlagenüberholung planen, beginnen Sie mit unseren Grundlagen KI-Server-Flüssigkeitskühlung: der vollständige Leitfaden.

Dieser Artikel befasst sich mit dem Dichteschwellenproblem. Wir entfernen die Marketingansprüche und definieren genaue Kühlgrenzwerte für kW pro Rack für herkömmliche Luft, Rücktür-Wärmetauscher, Direkt-zu-Chip-Flüssigkeitskühlung und vollständiges Eintauchen. Sie erfahren, wie Sie Ihre Kühlarchitektur an Ihre spezifische Rackdichte anpassen, welche Anlagenaufrüstungen obligatorisch sind und wie Sie vermeiden, dass kostspielige Rechenleistung aufgrund lokaler thermischer Engpässe verloren geht. Für einen umfassenden Einblick in die Technologien, die die Branche prägen, besuchen Sie unsere Übersicht über die AI-Flüssigkeitskühlung.

1. Die Dichteschwelle: Warum die herkömmliche Luftkühlung versagt

Luft besitzt von Natur aus eine geringe spezifische Wärmekapazität. Um große Mengen an Wärmeenergie mithilfe von Luft abzuführen, müssen große Mengen davon über die Wärmequelle gedrückt werden. In einem herkömmlichen Rechenzentrum sind dafür Doppelböden, perforierte Fliesen und CRAC-Einheiten am Raumrand erforderlich.

1.1 Die physikalischen Grenzen von CFM

Die vollständige Kühlung eines hochdichten AI-Racks mit Luft erfordert eine extreme Durchflussrate von Kubikfuß pro Minute (CFM). Standardmäßige 42-HE-Racks, die mit älterer IT-Hardware ausgestattet sind, weisen eine durchschnittliche Wärmelast zwischen 5 kW und 10 kW auf. Auf dieser Stufe drehen die Serverlüfter mit moderater Geschwindigkeit und das Delta T (Temperaturunterschied zwischen kalter Einlassluft und heißer Abluft) bleibt beherrschbar.

Wenn die Rackdichte auf 25 kW oder 30 kW ansteigt, bricht die Physik zusammen. Server müssen Luft mit enormer Geschwindigkeit ansaugen. Dies führt zu erheblichen parasitären Stromlasten, bei denen die Serverlüfter selbst allein für den Betrieb bis zu 20 % des gesamten Strombudgets des Racks verbrauchen. Darüber hinaus erreicht der akustische Lärm gefährliche Werte, die oft 90 dB übersteigen, was das menschliche Gehör schädigt und gefährliche Vibrationen in nahegelegenen Festplattenlaufwerken hervorruft.

1.2 Thermischer Bypass und Hot Spots

Bei hohen Wärmedichten leidet die Luftkühlung unter Bypass-Luftstrom und Rezirkulation. Kalte Luft, die vom Boden gepumpt wird, kann an den obersten Servern im Rack vorbeischießen, während heiße Abluft über den Schrank zurückströmt und wieder in den Kaltgang gelangt. Selbst bei perfekter Warm-/Kaltgangeinhausung erreicht die herkömmliche Luftkühlung auf Raumebene eine harte physikalische Grenze von etwa 30 kW pro Rack. Darüber hinaus besteht das Risiko einer thermischen Drosselung, unvorhersehbarer Sperrschichttemperaturen und eines katastrophalen Komponentenausfalls.

2. 30 kW bis 50 kW: Hintertür-Wärmetauscher (RDHx)

Wenn Facility Manager eine Rackkühlung mit hoher Dichte unterstützen müssen, aber das interne Servergehäuse nicht ändern können, ist der Rear-Door Heat Exchanger (RDHx) die sinnvollste Übergangstechnologie.

Ein RDHx ersetzt die standardmäßige perforierte Hintertür eines Server-Racks durch eine massive Flüssigkeit-Luft-Wärmetauscherschlange. Durch die Spulen im Inneren der Tür fließt kaltes Anlagenwasser. Wenn die heiße Abluft die Server verlässt, strömt sie durch die Spule, gibt ihre Wärme an die Flüssigkeit ab und gelangt mit neutraler Temperatur in den Raum des Rechenzentrums.

2.1 Passives versus aktives RDHx

·  Passives RDHx:  Verlässt sich vollständig auf die internen Serverlüfter, um Luft durch die dicke Spule zu drücken. Dadurch entsteht ein erheblicher Gegendruck auf den Servern.

·  Aktives RDHx:  Integriert eine Reihe von Lüftern mit variabler Geschwindigkeit in die Tür selbst, um Luft über die Spule zu saugen. Dies entlastet die Serverlüfter von der Belastung durch Gegendruck, führt jedoch zu einem zusätzlichen Punkt für mechanische Ausfälle und Stromverbrauch.

2.2 Grenzen und strukturelle Nachteile

Während ein RDHx die Rack-Abgase effektiv neutralisiert, löst es nicht den thermischen Engpass auf Chipebene. Die Prozessoren im Inneren des Servers müssen weiterhin durch Luft gekühlt werden. Wenn eine KI-GPU 700 W Wärme erzeugt, kann ein interner Luftkühlkörper sie wahrscheinlich nicht unter ihrer maximalen Sperrschichttemperatur halten, unabhängig davon, wie kalt die Raumluft ist.

Darüber hinaus ist ein mit Wasser gefüllter RDHx außergewöhnlich schwer. Eine aktive Einheit kann die Rückseite des Racks um mehr als 350 Pfund belasten.

Entscheidungshilfe:

·  Wählen Sie RDHx, wenn:  Sie eine ältere Anlage auf 40-kW-Racks aufrüsten, Sie Standard-CPUs oder GPUs der unteren Ebene einsetzen und Sie die Servergarantien nicht durch Öffnen des Gehäuses ungültig machen können.

·  Vermeiden Sie RDHx, wenn:  Ihre einzelnen Chips mehr als 400 W TDP haben oder Ihre Rackrahmen nicht über die strukturelle Stabilität verfügen, um die schweren, wassergefüllten hinteren Türen zu tragen.

3. 50 kW bis 120 kW: Direct-to-Chip-Kühlplatten

Für die Kühldichte moderner KI-Cluster ist die Direct-to-Chip-Flüssigkeitskühlung (D2C) der De-facto-Standard. Anstatt die Luft um den Server herum zu kühlen, leitet die D2C-Kühlung eine flüssige Wärmeübertragungsflüssigkeit direkt zu einer Metallplatte, die über dem Siliziumchip verschraubt ist.

3.1 Wärme an der Quelle einfangen

Wasser hat eine fast 4.000-mal größere volumetrische Wärmekapazität als Luft. Indem Sie es durch Mikrokanäle in einer hochleitfähigen Kupferkühlplatte leiten, können Sie enorme Wärmeströme extrahieren. D2C-Systeme erfassen typischerweise zwischen 70 % und 85 % der gesamten Rack-Wärmelast. Die restlichen 15 bis 30 % – erzeugt durch Netzteile, kleinere Motherboard-Komponenten und Speicher – werden in den Raum abgegeben und von herkömmlichen CRAC-Einheiten oder einem RDHx verarbeitet.

Diese Architektur erfordert komplexe interne Sanitärinstallationen. Server-OEMs müssen flexible Fluorpolymerschläuche, Blindsteck-Schnellkupplungen und Flüssigkeitsverteiler in das Gehäuse integrieren. Um die genauen mechanischen Anforderungen dieser Teilschleifen zu verstehen, lesen Sie unsere Leitfaden für AI-Server-Rack-Kühlplatten.

3.2 Lösung der 100-kW+-Rack-Herausforderung

Bei 100 kW pro Rack ist D2C nicht optional; es ist obligatorisch.

Um diese Extreme zu unterstützen, müssen Anlagenplaner massive vertikale Rack-Verteiler zur Verteilung der Flüssigkeit spezifizieren. Der Strömungsausgleich wird zur größten technischen Herausforderung. Wenn der Verteiler zu eng ist, überschreitet die Flüssigkeitsgeschwindigkeit sichere Grenzen, was zu innerer Erosion und Druckabfällen führt, die den oberen Servern das Kühlmittel entziehen. Der Entwurf einer D2C-Architektur für ein 120-kW-Rack erfordert die Abkehr von standardmäßigen 1-Zoll-Rohrleitungen und die Einführung von 2-Zoll-Edelstahlverteilern mit strikt druckausgleichenden Öffnungen.

Entscheidungshilfe:

·  Wählen Sie Direct-to-Chip, wenn:  Ihre Rack-Dichte zwischen 50 kW und 120 kW liegt, Sie KI-Beschleuniger mit mehr als 700 W verwenden und Sie traditionelle Rack-Formfaktoren und Wartungsfreundlichkeit beibehalten möchten.

·  Vermeiden Sie Direct-to-Chip, wenn:  Sie keine sekundäre Kühlmittelverteilungseinheit (CDU) haben, um den IT-Kreislauf vom chemisch aufbereiteten Hochdruckwasser der Anlage zu isolieren.

4. Über 120 kW: Eintauchen und extreme Wärmedichte

Wenn die Kühldichte des KI-Clusters 120 kW pro Rack überschreitet, wird die Verlegung Tausender winziger Flüssigkeitsleitungen zu Hunderten einzelner Kühlplatten mechanisch anfällig. Bei diesen Extremen greifen Rechenzentren auf Kühloptionen mit hoher Wärmedichte zurück, bei denen die Luft vollständig eliminiert wird: Immersionskühlung.

4.1 Einphasige und zweiphasige Tankarchitekturen

Bei der Tauchkühlung wird die gesamte IT-Nutzlast in einen horizontalen Tank getaucht, der mit einer technischen, nicht leitenden dielektrischen Flüssigkeit gefüllt ist.

·  Einphasiges Eintauchen:  Die Flüssigkeit bleibt im flüssigen Zustand. Umwälzpumpen transportieren die heiße Flüssigkeit zu einem Wärmetauscher, wo sie Wärme an das Anlagenwasser abgibt, bevor sie in den Tank zurückfließt.

·  Zweiphasen-Eintauchen:  Die Flüssigkeit weist einen niedrigen Siedepunkt auf. Während sich die GPUs erwärmen, kocht die Flüssigkeit auf der Oberfläche der Chips heftig und absorbiert dabei enorme latente Wärme. Der Dampf steigt auf, trifft auf wassergekühlte Kondensatorschlangen oben im Tank und regnet als Flüssigkeit wieder nach unten.

4.2 Realitäten der Bodenbelastung und Gebrauchstauglichkeit

Die Tauchkühlung ermöglicht die absolut höchsten kW-Grenzwerte, oft über 250 kW pro Tank. Es eliminiert alle IT-Lüfter und reduziert den Stromverbrauch im Rack um bis zu 20 %. Außerdem erfasst es 100 % der Wärme, sodass die Einrichtung keine raumbezogene Klimatisierung benötigt.

Die Auswirkungen auf die Anlage sind jedoch enorm. Ein voll beladenes Tauchbecken kann über 4.000 Pfund wiegen. Die meisten Standard-Doppelböden brechen unter diesem Gewicht zusammen und erfordern den Einsatz von Stahlbetonplatten. Auch die Wartung der Server ist äußerst störend. Um ein ausgefallenes Speichermodul auszutauschen, müssen Techniker schwere, tropfende Server-Blades mithilfe von Heberobotern aus der Flüssigkeit ziehen.

Entscheidungshilfe:

·  Wählen Sie Immersion, wenn:  Sie eine Anlage auf der grünen Wiese von Grund auf bauen, die Belastungsgrenzen für den Boden 300 lbs/sq ft überschreiten und Sie absolute maximale PUE-Effizienz ohne rotierende Ventilatoren fordern.

·  Vermeiden Sie das Eintauchen, wenn:  Sie häufigen physischen Zugriff auf die IT-Hardware benötigen oder Ihre Einrichtung die Protokolle zum strukturellen Gewicht und zur Flüssigkeitseindämmung nicht unterstützen kann.

5. Anlagenverbindungen und Wassertemperaturbeschränkungen

Der Einsatz einer hochdichten Kühlung im Rack ist sinnlos, wenn die Wasseranlage der Anlage die thermische Belastung nicht aufnehmen und ableiten kann. Die Schnittstelle zwischen der IT-Ausrüstung und der Gebäudeinfrastruktur bestimmt die endgültige Grenze Ihrer Dichte.

5.1 Sekundärschleifen und CDUs

Sie dürfen niemals Rohwasser aus der Anlage durch empfindliche Serverkühlplatten pumpen. Anlagenwasser läuft unter hohem Druck, enthält schwere Partikel und fördert das biologische Wachstum.

Um diese Lücke zu schließen, müssen Sie eine Kühlmittelverteilungseinheit (CDU) einsetzen. Die CDU nutzt einen Flüssigkeit-Flüssigkeit-Plattenwärmetauscher, um den Anlagenkreislauf vom sauberen IT-Kreislauf zu trennen. Es verwaltet die Durchflussraten, filtert Mikropartikel und reguliert die Annäherungstemperatur. Weitere Informationen zur Dimensionierung und Auswahl dieser kritischen Isolationsbarrieren finden Sie in unserem Leitfaden Ökosystem für Wärmetauscher und Kühlplatten im Rechenzentrum  .

5.2 ASHRAE-Richtlinien für Flüssigkeitskühlung

Die Temperatur des Anlagenwassers bestimmt, wie viel Energie Sie für Kältemaschinen aufwenden. Die American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE) definiert Standard-Flüssigkeitskühlungsklassen als Leitfaden für die Anlagenkonstruktion.

Wärmeres Wasser ist sehr wünschenswert. Wenn Ihre Kühlplatten hocheffizient sind, können Sie sie mit 35 °C (95 °F) warmem Wasser versorgen und das Silizium trotzdem sicher unter TjMax aufbewahren. Dadurch kann die Anlage die Wärme mithilfe von Trockenkühlern auf dem Dach abführen und so die meiste Zeit des Jahres auf stromhungrige mechanische Kältemaschinen verzichten (ein Prozess, der als freie Kühlung bezeichnet wird).

 

6. Auswahlmatrix: Entscheidungsregeln für kW pro Rack

Nutzen Sie dieses Framework, um Ihre IT-Beschaffung an Ihrer Facility-Engineering-Strategie auszurichten. Der Versuch, ein 60-kW-Rack mit Altluft zu kühlen, erfordert die Verletzung grundlegender Thermodynamik, während der Einsatz von Eintauchkühlung bei einem 20-kW-Rack enorme Kapitalverschwendung bedeutet.

 

7. Fazit

Das Überschreiten der Schwelle zur hohen Bevölkerungsdichte zwingt zu einer unumkehrbaren Änderung der Anlagengestaltung. Die kW-pro-Rack-Kühlungsgrenzen der herkömmlichen Luftbewegung liegen bei etwa 30 kW, eine Schwelle, die moderne KI-Server mit einem Viertel eines Racks überschreiten. Für die meisten Betreiber, die standardmäßige H100- oder GB200-Architekturen einsetzen, bietet die Direct-to-Chip-Flüssigkeitskühlung die beste Balance aus extremer Wärmeerfassung, Wartungsfreundlichkeit und Rack-Vertrautheit. Wenn die Leistungsdichte jedoch 120 kW überschreitet, wird die Bewertung von Immersions- und Zweiphasentechnologien zwingend erforderlich.

Ihre Wahl der Kühlung bestimmt die Stellfläche Ihrer Anlage, Ihre Kühlkapazität und Ihren Gesamtstromverbrauch für das nächste Jahrzehnt. Für den Erfolg müssen Sie die thermische Designleistung des Siliziums direkt an die spezifische Wärmekapazität Ihrer Infrastruktur anpassen. Entwerfen Sie diese Verbindungen nicht im luftleeren Raum. Kontaktieren Sie unser Thermotechnik-Team  , um Ihr Rack-Layout zu analysieren, Ihre Anforderungen an die Durchflussrate zu bewerten und die genauen Kühlplatten und Verteiler festzulegen, die erforderlich sind, um Ihren High-Density-Cluster sicher online zu bringen.

Häufig gestellte Fragen

Kann ich die Direct-to-Chip-Kühlung in ein vorhandenes luftgekühltes Rack nachrüsten?

Ja, aber mit Vorbehalten. Sie müssen die internen Kühlkörper des Servers durch Kühlplatten ersetzen, interne Rohre installieren und einen Rack-Verteiler montieren. Entscheidend ist, dass Sie auch Bodenfläche für eine CDU im Rack oder in der Reihe sicherstellen, um den sekundären Flüssigkeitskreislauf bereitzustellen und das Anlagenwasser zu dieser Reihe zu leiten.

Wie wirkt sich eine hochdichte Flüssigkeitskühlung auf die Power Usage Effectiveness (PUE) aus?

Flüssigkeitskühlung verbessert den PUE erheblich. Durch den Verzicht auf stromhungrige CRAC-Einheiten und den Verzicht auf Hochgeschwindigkeitslüfter aus den Servern selbst erreichen Einrichtungen mit hoher Flüssigkeitsdichte routinemäßig PUE-Werte zwischen 1,05 und 1,15, verglichen mit dem Durchschnitt von 1,4 bis 1,6 bei herkömmlichen luftgekühlten Standorten.

Was passiert mit den verbleibenden 20 % der Wärme in einem Direct-to-Chip-System?

Die Kühlplatten nehmen den Großteil der Wärme von CPUs und GPUs auf. Die verbleibende Wärme von Arbeitsspeicher, Massenspeicher und Netzwerk-Switches wird an die Luft des Rechenzentrums abgegeben. Um diese Restlast zu bewältigen, müssen Sie die herkömmliche Raumkühlung beibehalten oder einen RDHx an der Rückseite des Racks anbringen.

Gibt es Gewichtsbeschränkungen bei der Umstellung auf die Kühlung von Rechenzentren mit hoher Dichte?

Ja. Ein voll beladenes 100-kW-KI-Rack mit Flüssigkeitsverteilern und dichtem GPU-Chassis kann über 3.000 Pfund wiegen. Viele ältere Doppelböden sind für eine Belastung von 250 lbs/sq ft ausgelegt und erfordern eine Stahlverstärkung oder eine Umstellung auf den Einsatz auf der Bodenplatte, um die Dichte sicher zu halten.

Besteht die Gefahr von Kondensation, wenn kaltes Wasser in ein Server-Rack geleitet wird?

Ja, wenn das Wasser den Taupunkt des Raumes unterschreitet. CDUs verhindern dies, indem sie die Umgebungsfeuchtigkeit aktiv überwachen und Rücklaufwasser in die Versorgungsleitung mischen, um das sekundäre IT-Kühlmittel streng über dem Taupunkt zu halten und sicherzustellen, dass sich auf den Kühlplatten oder Rohren niemals Kondenswasser bildet.

Warum nicht einfach für alles Zwei-Phasen-Immersion nutzen?

Kosten, Wartungskomplexität und Chemikalienvorschriften. Zweiphasige dielektrische Kältemittel sind immens teuer, erfordern hermetisch verschlossene Tanks, um Verdunstung zu verhindern, und unterliegen strengeren globalen Umweltvorschriften (z. B. PFAS-Beschränkungen). Es sollte ausschließlich für Dichten reserviert werden, bei denen eine einphasige Flüssigkeit ausfällt.