تبريد مركز البيانات عالي الكثافة: الخيارات والحدود وقواعد الاختيار

إن تجميع ثمانية مسرعات عالية الأداء تعمل بالذكاء الاصطناعي في هيكل خادم قياسي يحطم افتراضات المنشأة التقليدية. عندما تسحب عقدة واحدة 10 كيلوواط، تفشل وحدات احتواء الممر الساخن القياسية وتكييف هواء غرفة الكمبيوتر (CRAC) ببساطة في استخراج الحرارة. إن تبريد مركز البيانات الحديث عالي الكثافة لا يتعلق بتدوير المراوح بشكل أسرع؛ يتعلق الأمر بتحريك وسط رفض الحرارة بالقرب من قالب السيليكون قدر الإمكان. إذا كنت تقوم بتقييم عملية إصلاح شاملة للمنشأة، فابدأ بالأساسيات لدينا التبريد السائل لخادم الذكاء الاصطناعي: الدليل الكامل.

تتناول هذه المقالة مشكلة عتبة الكثافة. نحن نتخلص من ادعاءات التسويق لتحديد كيلوواط دقيق لكل حدود تبريد حامل للهواء القديم، والمبادلات الحرارية للأبواب الخلفية، والتبريد السائل المباشر إلى الشريحة، والغمر الكامل. سوف تتعلم كيفية مطابقة بنية التبريد الخاصة بك مع كثافة الحامل المحددة لديك، وما هي ترقيات المنشأة الإلزامية، وكيفية تجنب تقطع طاقة الحوسبة المكلفة بسبب الاختناقات الحرارية المحلية. لإلقاء نظرة واسعة على التقنيات التي تشكل الصناعة، تفضل بزيارة موقعنا نظرة عامة على التبريد السائل بالذكاء الاصطناعي.

1. عتبة الكثافة: لماذا يفشل نظام تبريد الهواء القديم

يمتلك الهواء قدرة حرارية محددة منخفضة بطبيعتها. لإزالة كميات كبيرة من الطاقة الحرارية باستخدام الهواء، يجب عليك دفع كميات هائلة منه عبر مصدر الحرارة. وفي مركز البيانات التقليدي، يعتمد ذلك على الأرضيات المرتفعة والبلاط المثقوب ووحدات CRAC التي تعمل في محيط الغرفة.

1.1 الحدود المادية للCFM

يتطلب تبريد رف AI عالي الكثافة بالكامل بالهواء معدل تدفق كبير للقدم المكعبة في الدقيقة (CFM). رفوف 42U القياسية المجهزة بأجهزة تكنولوجيا المعلومات القديمة يتراوح متوسط ​​الحمل الحراري فيها بين 5 كيلو وات و10 كيلو وات. عند هذا المستوى، تدور مراوح الخادم بسرعات معتدلة، ويظل Delta T (الفرق في درجة الحرارة بين الهواء الداخل البارد وهواء العادم الساخن) قابلاً للإدارة.

عندما ترتفع كثافة الحامل إلى 25 كيلو وات أو 30 كيلو وات، تنهار الفيزياء. يجب أن تقوم الخوادم بسحب الهواء بسرعات هائلة. يؤدي هذا إلى إنشاء أحمال طاقة طفيلية شديدة، حيث تستهلك مراوح الخادم نفسها ما يصل إلى 20% من إجمالي ميزانية الطاقة للحامل فقط للدوران. علاوة على ذلك، تصل الضوضاء الصوتية إلى مستويات خطيرة، غالبًا ما تتجاوز 90 ديسيبل، مما يضر بسمع الإنسان ويحدث اهتزازات خطيرة في محركات الأقراص الثابتة القريبة.

1.2 التجاوز الحراري والنقاط الساخنة

عند الكثافات الحرارية العالية، يعاني تبريد الهواء من تدفق الهواء الالتفافي وإعادة تدويره. قد يتدفق الهواء البارد الذي يتم ضخه من الأرضية عبر الخوادم العلوية في الحامل، بينما يلتف هواء العادم الساخن مرة أخرى فوق الخزانة ويدخل مرة أخرى إلى الممر البارد. حتى مع الاحتواء المثالي للممر الساخن/البارد، يصل تبريد الهواء التقليدي على مستوى الغرفة إلى حد مادي صارم يبلغ حوالي 30 كيلووات لكل رف. أبعد من ذلك، فإنك تخاطر بالاختناق الحراري، ودرجات حرارة الوصلات غير المتوقعة، والفشل الكارثي للمكونات.

2. 30 كيلو واط إلى 50 كيلو واط: المبادلات الحرارية للباب الخلفي (RDHx)

عندما يتعين على مديري المنشأة دعم تبريد الحامل عالي الكثافة ولكن لا يمكنهم تعديل هيكل الخادم الداخلي، فإن المبادل الحراري للباب الخلفي (RDHx) هو تقنية التحول الأكثر قابلية للتطبيق.

يستبدل RDHx الباب الخلفي المثقوب القياسي لرف الخادم بملف مبادل حراري ضخم من السائل إلى الهواء. يتدفق الماء البارد من خلال الملفات الموجودة داخل الباب. عندما يغادر هواء العادم الساخن الخوادم، فإنه يمر عبر الملف، وينقل حرارته إلى السائل، ويدخل إلى غرفة مركز البيانات عند درجة حرارة محايدة.

2.1 RDHx السلبي مقابل RDHx النشط

·  RDHx السلبي:  يعتمد بشكل كامل على مراوح الخادم الداخلية لدفع الهواء عبر الملف السميك. وهذا يضيف ضغطًا رجعيًا كبيرًا على الخوادم.

·  RDHx النشط:  يشتمل على مجموعة من المراوح ذات السرعة المتغيرة داخل الباب نفسه لسحب الهواء عبر الملف. وهذا يخفف من عبء الضغط الخلفي على مراوح الخادم ولكنه يقدم نقطة إضافية تتمثل في الفشل الميكانيكي واستهلاك الطاقة.

2.2 الحدود والعيوب الهيكلية

في حين أن RDHx يعمل على تحييد عادم الحامل بشكل فعال، إلا أنه لا يحل عنق الزجاجة الحراري على مستوى الشريحة. يجب أن يتم تبريد المعالجات الموجودة داخل الخادم عن طريق الهواء. إذا أنتجت وحدة معالجة الرسومات المدعمة بالذكاء الاصطناعي حرارة تبلغ 700 واط، فمن المحتمل أن يفشل المشتت الحراري للهواء الداخلي في إبقائها أقل من درجة حرارة الوصلة القصوى، بغض النظر عن مدى برودة هواء الغرفة.

بالإضافة إلى ذلك، فإن RDHx المملوء بالماء ثقيل بشكل استثنائي. يمكن للوحدة النشطة إضافة أكثر من 350 رطلاً إلى الجزء الخلفي من الحامل.

توجيه القرار:

·  اختر RDHx عندما:  تقوم بترقية منشأة قديمة إلى حوامل بقدرة 40 كيلو وات، وتقوم بنشر وحدات المعالجة المركزية (CPU) القياسية أو وحدات معالجة الرسومات ذات المستوى الأدنى، ولا يمكنك إبطال ضمانات الخادم عن طريق فتح الهيكل.

·  تجنب RDHx عندما:  تتجاوز شرائحك الفردية 400 وات TDP، أو تفتقر إطارات الرف لديك إلى السلامة الهيكلية لدعم الأبواب الخلفية الثقيلة المملوءة بالمياه.

3. 50 كيلو واط إلى 120 كيلو واط: ألواح باردة مباشرة إلى الرقاقة

بالنسبة لكثافة التبريد العنقودية الحديثة التي تعمل بتقنية الذكاء الاصطناعي، يعد التبريد السائل المباشر إلى الشريحة (D2C) هو المعيار الفعلي. بدلاً من تبريد الهواء حول الخادم، يقوم تبريد D2C بتوجيه سائل نقل الحرارة السائل مباشرة إلى لوحة معدنية مثبتة بمسامير فوق قالب السيليكون.

3.1 التقاط الحرارة من المصدر

يتمتع الماء بسعة حرارية حجمية أكبر بحوالي 4000 مرة من الهواء. ومن خلال توجيهها عبر قنوات دقيقة داخل لوح بارد نحاسي عالي التوصيل، يمكنك استخلاص تدفقات حرارية هائلة. تلتقط أنظمة D2C عادةً ما بين 70% و85% من إجمالي الحمل الحراري للحامل. أما النسبة المتبقية البالغة 15% إلى 30% — التي يتم توليدها عن طريق مصادر الطاقة، ومكونات اللوحة الأم الصغيرة، والتخزين — يتم طردها إلى الغرفة ويتم التعامل معها بواسطة وحدات CRAC التقليدية أو RDHx.

تتطلب هذه الهندسة المعمارية سباكة داخلية معقدة. يجب على مصنعي المعدات الأصلية للخادم دمج أنابيب الفلوروبوليمر المرنة، وقطع الاتصال السريع للزميل الأعمى، ومشعبات توزيع السوائل داخل الهيكل. لفهم المتطلبات الميكانيكية الدقيقة لهذه الحلقات الفرعية، راجع موقعنا دليل اللوحة الباردة لرف الخادم AI.

3.2 حل تحدي الحامل بقدرة 100 كيلو واط+

عند 100 كيلو وات لكل رف، فإن D2C ليس اختياريًا؛ إنه إلزامي.

لدعم هذه الحالات المتطرفة، يجب على مصممي المنشأة تحديد مشعبات حامل رأسية ضخمة لتوزيع السائل. يصبح موازنة التدفق هو التحدي الهندسي الأساسي. إذا كان المشعب ضيقًا جدًا، فإن سرعة السائل تتجاوز الحدود الآمنة، مما يتسبب في التآكل الداخلي وانخفاض الضغط الذي يؤدي إلى حرمان الخوادم العلوية من سائل التبريد. يتطلب تصميم بنية D2C لحامل بقدرة 120 كيلو وات الابتعاد عن السباكة القياسية مقاس 1 بوصة واعتماد مشعبات من الفولاذ المقاوم للصدأ مقاس 2 بوصة مع فتحات صارمة لموازنة الضغط.

توجيه القرار:

·  اختر Direct-to-Chip عندما:  تنخفض كثافة الحامل لديك بين 50 كيلو وات و120 كيلو وات، وتستخدم مسرعات الذكاء الاصطناعي >700 وات، وترغب في الحفاظ على عوامل شكل الحامل التقليدية وإمكانية الخدمة.

·  تجنب الاتصال المباشر بالرقاقة عندما:  لا تمتلك وحدة توزيع سائل التبريد الثانوية (CDU) لعزل حلقة تكنولوجيا المعلومات عن مياه المنشأة ذات الضغط العالي والمعالجة كيميائيًا.

4. ما بعد 120 كيلو واط: الغمر والكثافة الحرارية القصوى

عندما تتجاوز كثافة التبريد العنقودية المدعومة بالذكاء الاصطناعي 120 كيلوواط لكل حامل، يصبح توجيه الآلاف من خطوط السوائل الصغيرة إلى مئات الألواح الباردة الفردية هشًا ميكانيكيًا. في هذه الحالات القصوى، تركز مراكز البيانات على خيارات التبريد ذات الكثافة الحرارية العالية التي تقضي على الهواء تمامًا: التبريد الغمر.

4.1 معماريات الخزانات أحادية الطور والمرحلتين

يعمل التبريد الغاطس على غمر حمولة تكنولوجيا المعلومات بالكامل في خزان أفقي مملوء بسائل عازل مصمم هندسيًا وغير موصل للكهرباء.

·  الغمر أحادي الطور:  يبقى السائل في حالة سائلة. تقوم مضخات التدوير بنقل السائل الساخن إلى مبادل حراري، حيث يقوم بطرد الحرارة إلى مياه المنشأة قبل العودة إلى الخزان.

·  الغمر على مرحلتين:  يتمتع السائل بنقطة غليان منخفضة. ومع ارتفاع درجة حرارة وحدات معالجة الرسومات، يغلي السائل بعنف على سطح الرقائق، ويمتص حرارة كامنة هائلة. ويرتفع البخار، ويصطدم بملفات المكثف المبردة بالماء الموجودة في الجزء العلوي من الخزان، ثم يهطل مرة أخرى على شكل سائل.

4.2 حقائق التحميل على الأرضية وقابلية الخدمة

يتيح التبريد الغمر أعلى حدود كيلووات مطلقة، والتي غالبًا ما تتجاوز 250 كيلووات لكل خزان. إنه يزيل جميع مراوح تكنولوجيا المعلومات، مما يقلل من استهلاك طاقة الحامل بنسبة تصل إلى 20%. كما أنه يلتقط الحرارة بنسبة 100%، مما يعني أن المنشأة لا تحتاج إلى تكييف هواء على مستوى الغرفة.

ومع ذلك، فإن تأثير المنشأة هائل. يمكن أن يزن خزان الغمر المحمل بالكامل أكثر من 4000 رطل. سوف تنهار معظم الأرضيات المرتفعة القياسية تحت هذا الوزن، مما يتطلب نشر ألواح خرسانية مسلحة. تعد خدمة الخوادم أيضًا مزعجة للغاية. يجب أن يستخدم الفنيون رافعات آلية علوية لسحب شفرات الخادم الثقيلة والمقطرة من السائل لتبديل وحدة الذاكرة الفاشلة.

توجيه القرار:

·  اختر الانغماس عندما:  تقوم ببناء منشأة جديدة من الصفر، وتتجاوز حدود التحميل الأرضية 300 رطل/قدم مربع، وتتطلب الحد الأقصى المطلق من كفاءة PUE دون دوران المراوح.

·  تجنب الغمر عندما:  تحتاج إلى وصول مادي متكرر إلى أجهزة تكنولوجيا المعلومات، أو عندما لا تستطيع منشأتك دعم الوزن الهيكلي وبروتوكولات احتواء السوائل.

5. وصلات المرافق وقيود درجة حرارة الماء

يعد نشر التبريد عالي الكثافة داخل الحامل أمرًا غير مجدي إذا لم تتمكن محطة المياه التابعة للمنشأة من امتصاص الحمل الحراري ورفضه. تحدد الواجهة بين معدات تكنولوجيا المعلومات والبنية التحتية للمبنى الحد الأقصى للكثافة لديك.

5.1 الحلقات الثانوية ووحدات CDU

يجب ألا تقوم مطلقًا بضخ المياه المبردة في المنشأة الخام من خلال ألواح الخادم الباردة الحساسة. تجري مياه المنشأة عند ضغوط عالية، وتحتوي على جسيمات ثقيلة، وتعزز النمو البيولوجي.

لسد الفجوة، يجب عليك نشر وحدة توزيع سائل التبريد (CDU). تستخدم وحدة CDU مبادلًا حراريًا من لوحة سائلة إلى سائلة لفصل حلقة المنشأة عن حلقة تكنولوجيا المعلومات النظيفة. فهو يدير معدلات التدفق، ويقوم بتصفية الجزيئات الدقيقة، وينظم درجة حرارة الاقتراب. للتعمق في تحديد حجم حواجز العزل المهمة هذه واختيارها، راجع دليلنا حول النظام البيئي للوحة الباردة للمبادل الحراري لمركز البيانات  .

5.2 إرشادات التبريد السائل ASHRAE

تحدد درجة حرارة مياه المنشأة مقدار الطاقة التي تنفقها على المبردات. تحدد الجمعية الأمريكية لمهندسي التدفئة والتبريد وتكييف الهواء (ASHRAE) فئات التبريد السائلة القياسية لتوجيه تصميم المنشأة.

الماء الدافئ أمر مرغوب فيه للغاية. إذا كانت ألواح التبريد الخاصة بك ذات كفاءة عالية، فيمكنك تزويدها بماء بدرجة حرارة 35 درجة مئوية (95 درجة فهرنهايت) مع الاحتفاظ بالسيليكون بأمان تحت TjMax. يسمح ذلك للمنشأة برفض الحرارة باستخدام المبردات الجافة الموجودة على السطح، مما يؤدي إلى تجاوز المبردات الميكانيكية المتعطشة للطاقة تمامًا معظم أيام العام (وهي عملية تُعرف باسم التبريد الحر).

 

6. مصفوفة الاختيار: قواعد اتخاذ القرار بالكيلوواط لكل رف

استخدم إطار العمل هذا لمواءمة مشترياتك من تكنولوجيا المعلومات مع استراتيجية هندسة المنشأة الخاصة بك. تتطلب محاولة تبريد حامل بقدرة 60 كيلو وات بهواء قديم انتهاك الديناميكا الحرارية الأساسية، في حين أن نشر الغمر لحامل بقدرة 20 كيلو وات يهدر رأس مال هائل.

 

7. الاستنتاج

إن عبور عتبة الكثافة العالية يفرض تحولًا لا رجعة فيه في تصميم المنشأة. يصل الحد الأقصى للكيلووات لكل رف تبريد لحركة الهواء التقليدية إلى ما يقرب من 30 كيلووات، وهي عتبة تخترقها خوادم الذكاء الاصطناعي الحديثة بربع الحامل. بالنسبة لمعظم المشغلين الذين ينشرون بنيات H100 أو GB200 القياسية، يوفر التبريد السائل المباشر إلى الشريحة أفضل توازن لالتقاط الحرارة القصوى وإمكانية الخدمة والإلمام بالحامل. ومع ذلك، مع ارتفاع الكثافة إلى ما يزيد عن 120 كيلووات، يصبح تقييم الغمر والتقنيات ثنائية المرحلتين أمرًا إلزاميًا.

يحدد اختيار التبريد الخاص بك مساحة منشأتك، وسعة المبرد، وإجمالي استخدامك للطاقة على مدار العقد القادم. يتطلب النجاح مواءمة قوة التصميم الحراري للسيليكون مباشرة مع السعة الحرارية المحددة للبنية الأساسية لديك. لا تصمم هذه الوصلات البينية في الفراغ. اتصل بفريق الهندسة الحرارية لدينا  لتحليل تخطيط الحامل الخاص بك، وتقييم متطلبات معدل التدفق لديك، وتحديد ألواح التبريد والمشعبات الدقيقة المطلوبة لتوصيل مجموعتك عالية الكثافة عبر الإنترنت بأمان.

الأسئلة المتداولة

هل يمكنني تحديث نظام التبريد المباشر إلى الشريحة في حامل مبرد بالهواء موجود؟

نعم، ولكن مع التحذيرات. يجب عليك استبدال المشتتات الحرارية الداخلية للخادم بألواح باردة، وتركيب الأنابيب الداخلية، وتركيب مشعب الحامل. والأهم من ذلك، يجب عليك أيضًا تأمين مساحة أرضية لوحدة CDU الموجودة في الحامل أو في الصف لتوفير حلقة السوائل الثانوية ومرفق أنابيب المياه إلى هذا الصف.

كيف يؤثر التبريد السائل عالي الكثافة على فعالية استخدام الطاقة (PUE)؟

يعمل التبريد السائل على تحسين PUE بشكل كبير. من خلال التخلص من وحدات CRAC المتعطشة للطاقة وإزالة المراوح عالية السرعة من الخوادم نفسها، تحقق منشآت السوائل عالية الكثافة بشكل روتيني تصنيفات PUE بين 1.05 و1.15، مقارنة بمتوسط ​​1.4 إلى 1.6 للمواقع التقليدية المبردة بالهواء.

ماذا يحدث للـ 20% المتبقية من الحرارة في نظام التوصيل المباشر بالرقاقة؟

تلتقط الألواح الباردة الجزء الأكبر من الحرارة من وحدات المعالجة المركزية ووحدات معالجة الرسومات. يتم طرد الحرارة المتبقية من الذاكرة والتخزين ومفاتيح الشبكة إلى هواء مركز البيانات. يجب عليك الاحتفاظ بتبريد الغرفة التقليدي، أو توصيل RDHx بالجزء الخلفي من الحامل، لإدارة هذا الحمل المتبقي.

هل هناك قيود على الوزن عند الانتقال إلى تبريد مركز البيانات عالي الكثافة؟

نعم. يمكن أن يزن حامل AI بقدرة 100 كيلو وات المحمل بالكامل والمزود بمشعبات سائلة وهيكل GPU الكثيف أكثر من 3000 رطل. تم تصنيف العديد من الأرضيات المرتفعة القديمة بـ 250 رطلاً / قدم مربع وستتطلب تعزيزًا هيكليًا للفولاذ أو التحول إلى عمليات نشر الألواح على الأرض لدعم الكثافة بأمان.

هل يشكل التكثيف خطرًا عند توصيل الماء البارد إلى رف الخادم؟

نعم، إذا انخفض الماء إلى ما دون نقطة الندى في الغرفة. تمنع وحدات CDU ذلك من خلال المراقبة النشطة للرطوبة المحيطة وخلط المياه العائدة في خط الإمداد للحفاظ على مبرد تكنولوجيا المعلومات الثانوي أعلى من نقطة الندى، مما يضمن عدم تشكل التكثيف أبدًا على ألواح التبريد أو الأنابيب.

لماذا لا نستخدم الغمر على مرحلتين في كل شيء؟

التكلفة وتعقيد الصيانة واللوائح الكيميائية. تعتبر المبردات العازلة ثنائية الطور باهظة الثمن للغاية، وتتطلب خزانات محكمة الغلق لمنع التبخر، وتواجه لوائح بيئية عالمية صارمة (مثل قيود PFAS). يجب أن يتم حجزه بشكل صارم للكثافات التي يفشل فيها السائل أحادي الطور.