Двухфазное охлаждение для центров обработки данных с искусственным интеллектом: как оно работает и когда использовать

Поскольку рабочие нагрузки искусственного интеллекта приводят к тому, что расчетная тепловая мощность кремния (TDP) превышает 1500 Вт на кристалл, традиционные подходы к жидкостному охлаждению начинают обнаруживать физические ограничения. Перекачивание огромных объемов однофазной воды требует больших коллекторов, экстремального давления насоса и по-прежнему оставляет температурные градиенты на больших полупроводниковых кристаллах. Двухфазное охлаждение решает эти узкие места, используя скрытую теплоту испарения, позволяя жидкости кипеть на поверхности чипа и поглощать огромную энергию без повышения температуры. Если вы оцениваете полную модернизацию объекта, обратитесь к нашему Жидкостное охлаждение серверов искусственного интеллекта: полное руководство  для общего представления. В этой статье подробно рассматривается механика охлаждения с фазовым переходом, сравниваются двухфазные контуры с накачкой и погружные установки, чтобы помочь вам определить точную тепловую архитектуру для ваших стоек следующего поколения.

1. Физика двухфазного охлаждения

Чтобы понять, почему двухфазные системы могут поглощать значительно больше тепла, чем однофазные, необходимо изучить термодинамику изменений состояния жидкости. Однофазные системы полагаются на явное тепло; двухфазные системы полагаются на скрытое тепло.

1.1 Ощутимое тепло против скрытого тепла

В однофазной системе охлаждающая жидкость (обычно смесь воды и гликоля) поглощает тепло за счет повышения собственной температуры. Это разумное тепло. Жидкость поступает в холодную пластину при температуре 25°C и выходит при температуре 40°C. Количество отводимого тепла прямо пропорционально массовому расходу жидкости и ее удельной теплоемкости. Чтобы отвести больше тепла, необходимо перекачивать жидкость быстрее или допускать большее повышение температуры, что может привести к тепловому дросселированию. Более широкий обзор того, как эти возможности вписываются в современные топологии, см. в нашей статье. Обзор жидкостного охлаждения AI.

Двухфазное охлаждение основано на скрытой теплоте парообразования. Когда сконструированная диэлектрическая жидкость достигает точки кипения, она начинает превращаться из жидкости в пар. Во время этого фазового перехода жидкость поглощает огромное количество тепловой энергии, оставаясь при постоянной температуре. Это обеспечивает почти изотермическое охлаждение по всей поверхности большого кристалла ускорителя искусственного интеллекта, устраняя горячие точки, характерные для однофазных архитектур.

1.2 Кипение в потоке и испарение

Реальный теплообмен в двухфазной холодной пластине происходит посредством пузырькового кипения. Когда жидкость течет по микроканалам холодной пластины, на нагретых металлических стенках образуются микроскопические пузырьки пара. Эти пузырьки быстро отрываются и уносятся текущей жидкостью.

Образование пузырьков разрушает тепловой пограничный слой — тонкую пленку медленной жидкости, которая обычно ограничивает теплопередачу в однофазных системах. При сильном перемешивании этого слоя пузырьковое кипение достигает коэффициентов теплопередачи на порядок выше, чем у однофазной жидкости, текущей с той же скоростью.

2. Насосные двухфазные системы с холодными пластинами

Двухфазный контур с накачкой (часто называемый контуром «поток-кипение») напоминает традиционную архитектуру с прямым подключением к чипу, но использует другие жидкости, рабочее давление и механизмы отвода тепла.

Насос → Испаритель с холодной пластиной (чип графического процессора, генерирующий пузырьки) → Трубопровод двухфазной смеси → Конденсатор (соединенный с охлажденной водой объекта) → Возврат жидкости в насос

2.1 Основные компоненты цикла фазового изменения

Двухфазный контур с перекачкой состоит из насоса, микроканальной охлаждающей пластины (испарителя), паропровода, конденсатора и линии возврата жидкости. Насос подает переохлажденную диэлектрическую жидкость на холодную пластину. Внутри пластины тепло от графического процессора приводит к кипению части жидкости (обычно от 10% до 30% пара). Образующаяся двухфазная смесь жидкости и пара выходит из сервера и попадает в конденсатор, где вода на объекте охлаждает ее обратно в чистое жидкое состояние.

Поскольку кипение создает высокое внутреннее давление, механическая конструкция испарителя имеет решающее значение. При указании компонентов для этих контуров обратитесь к нашему Руководство по холодным пластинам для серверной стойки AI,  позволяющее понять геометрию опорной плиты, которая выдерживает такие динамические колебания давления.

2.2 Выбор диэлектрических жидкостей и обращение с ними

Вы не можете использовать воду в стандартной двухфазной системе с холодной плитой. Вода кипит при температуре 100°C при атмосферном давлении, что намного превышает максимальную температуру безопасного перехода (TjMax) современного кремния. Вместо этого в двухфазных системах используются высокотехнологичные диэлектрические жидкости (гидрофторуглероды, гидрофторэфиры или перфторкетоны), температура кипения которых регулируется в диапазоне от 30°C до 60°C.

·  Используйте жидкости с низкой температурой кипения (например, 34°C), когда:  Вы охлаждаете высокочувствительные к температуре оптические компоненты или устаревший кремний.

·  Используйте жидкости со средней температурой кипения (например, 50–60 °C), когда:  Вы охлаждаете графические процессоры с высоким TDP (более 1000 Вт) и хотите максимизировать эффективность градирен вашего предприятия, обеспечивая более высокую температуру обратной воды.

3. Двухфазное иммерсионное охлаждение.

В то время как холодные пластины направляют жидкость к чипу, иммерсионное охлаждение доставляет чип к жидкости. В двухфазной системе погружного охлаждения вся материнская плата сервера погружена в герметичный резервуар с диэлектрической жидкостью.

3.1 Как работает двухфазное погружение

Голые кремниевые компоненты действуют как испарители. Во время работы чипы нагревают окружающую жидкость до тех пор, пока она не закипит. Пар поднимается к верху герметичного корпуса, создавая паровую подушку. В верхней части резервуара змеевики конденсатора с водяным охлаждением извлекают тепло из пара. Пар конденсируется в тяжелые капли жидкости, которые опускаются обратно в резервуар с жидкостью, завершая пассивный цикл.

Если вы сравниваете танковую архитектуру с методами прямого подключения к кристаллу, ознакомьтесь с нашим будущим руководством по Холодная пластина по сравнению с погружным охлаждением  приведет к поломке структурных модификаций, необходимых для крупномасштабного развертывания резервуаров.

3.2 Управление пароизоляцией

Основная инженерная задача двухфазного погружения — удержание пара. Диэлектрические жидкости очень летучи и чрезвычайно дороги. Если резервуар неправильно герметизирован или змеевики конденсатора не справляются с внезапным скачком вычислительной нагрузки, пар может выйти из корпуса.

Чтобы предотвратить это, в двухфазных погружных резервуарах используются несколько резервных датчиков давления, сложные системы уплотнений прокладок и точные средства контроля расхода воды на объекте. Объект должен гарантировать постоянную подачу охлажденной воды в конденсатор; если давление в контуре объекта упадет хотя бы на несколько минут, полностью загруженный погружной резервуар AI будет быстро наращивать давление паров, пока предохранительные клапаны сброса давления не выпустят дорогую жидкость в помещение.

4. Двухфазное и однофазное жидкостное охлаждение

Выбор между однофазной и двухфазной архитектурой определяет всю стратегию трубопроводов, насосов и технического обслуживания вашего предприятия на следующее десятилетие.

4.1 Тепловая производительность и аппаратные ограничения

Однофазное охлаждение в настоящее время является отраслевым стандартом, способным обеспечить охлаждение примерно до 1200–1500 Вт на упаковку с использованием усовершенствованной конструкции микроканалов и высоких скоростей потока. Однако, когда жидкость проходит через массивную ASIC мощностью 1500 Вт, она значительно нагревается от входа к выходу, создавая температурный градиент на кремнии.

Двухфазное охлаждение устраняет этот градиент. Поскольку фазовый переход происходит при постоянной температуре, передняя и задняя кромки кремниевого кристалла остаются при почти одинаковых температурах. Этот изотермический профиль снижает тепловую нагрузку на корпус и позволяет процессору более агрессивно повышать тактовую частоту.

4.2 Давление в системе и риски утечек

Однофазные водяные контуры работают при умеренном давлении и требуют массивных блоков распределения охлаждающей жидкости (CDU), чтобы проталкивать тяжелую жидкость через ограничительные холодные пластины. Чтобы понять, как охлажденная вода на объекте взаимодействует с этими вторичными контурами, просмотрите нашу разбивку холодных пластин теплообменника центра обработки данных . экосистема

Двухфазные контуры требуют значительно меньшей мощности накачки. Поскольку скрытое тепло поглощает так много энергии, вам нужно перекачивать лишь часть массового расхода по сравнению с водой. Чипу мощностью 1000 Вт может потребоваться 1 литр воды в минуту (л/мин), но всего 0,15 л/мин диэлектрической жидкости в двухфазном контуре.

 

5. Требования к инфраструктуре и обслуживанию

Развертывание проточного кипящего охлаждения или погружных резервуаров создает уникальные эксплуатационные проблемы, для решения которых должны быть обучены технические специалисты центров обработки данных.

5.1 Изменения в объекте

Диэлектрические хладагенты часто имеют рейтинги потенциала глобального потепления (GWP) или подвергаются все более тщательному контролю со стороны регулирующих органов (например, ограничения PFAS). Вы должны убедиться, что выбранная жидкость соответствует местным экологическим нормам в течение 10-летнего срока службы объекта. Кроме того, двухфазные погружные резервуары требуют усиленного пола, чтобы выдержать огромный вес корпусов, заполненных жидкостью, а также мостовых кранов или подъемников для физического подъема блейд-серверов из бассейна.

5.2 Проблемы с эксплуатацией

Обслуживание двухфазного контура с накачкой требует специального оборудования. В отличие от однофазного водяного контура, из двухфазной диэлектрической системы нельзя просто открыть кран и стравить воздух.

Загрязнение воздуха и влаги серьезно ухудшает характеристики кипения хладагентов. Перед работой двухфазный контур необходимо полностью откачать с помощью вакуумного насоса и герметично закрыть. Если техническому специалисту необходимо заменить серверный узел, он должен использовать специальные быстроразъемные соединения с сухим разрывом, которые гарантируют отсутствие попадания воздуха. Если неконденсирующиеся газы (например, комнатный воздух) попадают в контур, они мигрируют в конденсатор, блокируют поверхность теплообмена и вызывают катастрофический скачок давления в системе.

6. Схема выбора: когда выбирать двухфазное охлаждение

Не выбирайте двухфазное охлаждение по умолчанию просто из-за его производительности. Инженерная сложность и стоимость жидкости диктуют, что его следует использовать строго тогда, когда этого требуют физика.

Используйте однофазное жидкостное охлаждение, если:

·  TDP вашего кремния ниже 1200 Вт.

·  Бюджет вашего учреждения предусматривает использование стандартных водно-гликолевых контуров.

·  Ваши технические специалисты не обучены обращению с хладагентом и процедурам вакуумной дегазации.

Используйте двухфазные холодные пластины с накачкой, когда:

·  TDP вашего чипа превышает 1500 Вт, а однофазные охлаждающие пластины создают неприемлемые перепады давления в коллекторе вашей стойки.

·  Ваш кремниевый корпус массивен, а температурные градиенты на кристалле вызывают локальное дросселирование.

·  Вы хотите использовать теплую воду (35°C+) для естественного охлаждения, сохраняя при этом безопасную температуру перехода на графических процессорах с предельной плотностью размещения.

Используйте двухфазное погружное охлаждение, если:

·  Вы создаете новый кластер искусственного интеллекта высокой плотности и хотите полностью исключить все серверные вентиляторы.

·  Ваше оборудование содержит сотни небольших, мощных компонентов (таких как модули памяти и массивы электропитания), которые слишком сложны, чтобы их можно было закрыть отдельными охлаждающими пластинами.

 

7. Заключение

Двухфазное охлаждение представляет собой идеальный тепловой потолок для современных центров обработки данных. Используя кипение в потоке и скрытое тепло, операторы искусственного интеллекта могут поддерживать кремниевые архитектуры, работающие с мощностью более 1500 Вт, не страдая от серьезных температурных градиентов или непомерно высоких требований к мощности насоса. Однако такая экстремальная производительность требует соблюдения требований по локализации летучих жидкостей, сложных вакуумных трубопроводов и строгих протоколов технического обслуживания. Прежде чем переводить свой объект на архитектуру с фазовым переходом, вы должны сопоставить тепловую необходимость вашей ASIC с реальными условиями эксплуатации контуров хладагента.

Переход от воздушного к однофазному или от однофазного к двухфазному требует точного моделирования точной геометрии вашего оборудования и ограничений объекта. Свяжитесь с нашей командой теплотехников  , чтобы оценить, является ли двухфазный контур с накачкой или высокооптимизированная однофазная охлаждающая пластина правильным архитектурным выбором для вашего следующего развертывания с высокой плотностью размещения.

 

Часто задаваемые вопросы

Что произойдет, если двухфазная холодная пластина протечет внутри сервера?

В отличие от воды, специальные диэлектрические жидкости не проводят электричество. Если двухфазная линия разрывается внутри корпуса, жидкость немедленно выкипает в безвредный пар при попадании на компоненты комнатной температуры, не вызывая короткого замыкания на материнской плате.

Двухфазная система охлаждения громче или тише однофазной?

Двухфазные системы с холодными пластинами исключительно тихие, поскольку требуют гораздо более низких скоростей насоса и расхода. Двухфазные погружные системы практически бесшумны, поскольку в них полностью отсутствуют вентиляторы серверного корпуса.

Требуются ли для двухфазных систем специальные конденсаторы?

Да. Теплообменник (конденсатор) в двухфазной системе должен быть специально рассчитан на смену фаз. Требуется большая площадь поверхности и особая внутренняя геометрия, чтобы пар эффективно конденсировался обратно в жидкость перед возвращением в насос.

Почему температура кипения важна при выборе диэлектрической жидкости?

Точка кипения устанавливает базовую температуру вашего контура охлаждения. Если температура кипения слишком высока, чип перегреется до того, как начнется теплообмен с фазовым переходом. Если оно слишком низкое, конденсатору будет сложно отводить тепло в стандартную воду объекта, что потребует энергоемких чиллеров.

Могу ли я использовать двухфазное охлаждение в стандартной 19-дюймовой стойке?

Да, двухфазные холодные плиты с накачкой легко помещаются в стандартные 19-дюймовые стойки. Основными отличиями являются стоечные коллекторы и блок распределения охлаждающей жидкости (CDU), который должен быть спроектирован для управления хладагентами, паровыми линиями и определенным давлением в контуре.

Как деградация жидкости влияет на двухфазные системы?

Диэлектрические жидкости, как правило, стабильны, но они могут разрушаться под воздействием экстремально горячих точек, влаги или несовместимых эластомеров в трубках и уплотнениях. Со временем деградация изменяет температуру кипения и снижает термический КПД, что требует периодического анализа и замены жидкости.