Прямое жидкостное охлаждение в центре обработки данных: технология, эксплуатация и экономическая эффективность

Что такое прямое жидкостное охлаждение

При прямом жидкостном охлаждении (DLC) жидкость непосредственно отводит тепло от определенных компонентов сервера. В широко распространённой версии «Direct-to-Chip» используется Охлаждающая пластина например, на процессоре или ускорителе. Охлаждающая жидкость протекает по каналам в пластине, нагревается и отводит энергию по подключенным трубопроводам.

В однофазной системе рабочая среда остается в жидком состоянии в течение всего предусмотренного срока эксплуатации. Двухфазные процессы, напротив, используют фазовый переход охлаждающей среды; их конструкцию и эксплуатационные требования нельзя просто вывести из однофазного цикла. Иммерсионное охлаждение также представляет собой иную концепцию: при этом компоненты находятся в подходящей охлаждающей среде, а не просто подключены к ней через охлаждающие пластины.

Система охлаждения отводит тепло, но не предотвращает его образование. Процессор по-прежнему нуждается в электроэнергии для выполнения вычислительных операций, которая в основном выделяется в виде тепла. Технология DLC может повлиять на энергопотребление систем охлаждения; однако установка охлаждающих пластин не приводит ни к снижению энергопотребления ИТ-оборудования, ни к автоматической экономии энергии для всего центра обработки данных.

Технология Direct-to-Chip становится особенно интересной при высоких Плотность размещения в стойке: Когда на ограниченном пространстве работает большое количество мощных процессоров, необходимо отводить значительное количество тепла из небольшой зоны. Жидкость поглощает часть этого тепла непосредственно у компонентов, вместо того чтобы сначала полностью отдавать его в воздух помещения. Окупаемость такой модернизации зависит также от системы охлаждения здания, профиля нагрузки и режима эксплуатации.

Обзор других подходов и областей их применения представлен в статье, посвящённой Жидкостное охлаждение серверов в центре обработки данных. Кроме того, при проектировании конкретной системы DLC решающее значение имеет то, как контур циркуляции жидкости подключается к системе отвода тепла здания.

Путь тепла

Тепловой контур начинается на поверхности соприкосновения между компонентом и охлаждающей пластиной. Нагретая среда поступает по шлангам и соединениям к распределительному устройству, которое соединяет несколько серверов или тепловых контуров с круговым контуром. Оттуда она, как правило, поступает в блок распределения охлаждения (Cooling Distribution Unit, сокращённо CDU), который питает и регулирует контур со стороны ИТ-оборудования.

В CDU типа «жидкость-жидкость» один Теплообменник энергию из контура ИТ в контур здания. При этом обе среды не должны смешиваться. Насосы, датчики и система регулирования обеспечивают заданный расход и поддержание температуры; в зависимости от архитектуры одна CDU может быть установлена в стойке или обслуживать несколько стоек.

Задача не заканчивается на теплообменнике: здание должно далее отводить полученное тепло. Для этого, в зависимости от установки и условий эксплуатации, могут использоваться, например, обратные охладители, градирни или холодильные машины. Выбор подходящей комбинации зависит, в частности, от требуемых температур, внешних климатических условий и режимов эксплуатации в течение года.

Альтернативой исключительному отводу тепла в окружающую среду является его использование соответствующим потребителем. Для этого предложение и спрос должны совпадать по времени; также важны уровень температуры и расстояние. Если имеющейся температуры недостаточно, может потребоваться тепловой насос. Наличие одного лишь трубопровода для жидкости ещё не означает фактического использования тепла.

Многие серверы с жидкостным охлаждением остаются Гибридные системы. Охлаждающие пластины не всегда охватывают все компоненты; оставшиеся компоненты продолжают отдавать тепло в воздух. Компания NVIDIA описывает такие остаточные компоненты с воздушным охлаждением для конфигураций GB200. Поэтому циркуляция воздуха в помещении и доступное воздушное охлаждение должны соответствовать остаточной нагрузке даже в том случае, если большая часть тепла отводится с помощью жидкости.

Правильная классификация температур и интерфейсов

Для подключения сервера одной пометки „с жидкостным охлаждением“ недостаточно. Проектировщикам необходимы эксплуатационные данные, утвержденные для конкретной конфигурации, которые они должны сопоставить с данными центрального блока охлаждения (CDU), распределительной системы и инженерных систем здания. Подходящее подключение можно обеспечить только в том случае, если все задействованные компоненты совместимы в предусмотренных условиях нагрузки и эксплуатации.

Die Температура подачи обозначает температуру среды на пути к охлаждаемому устройству. Она должна находиться в пределах, указанных в технических характеристиках устройства; в то же время она влияет на условия, при которых система здания может отводить тепло. Более высокая температура может способствовать реализации определенных схем охлаждения, однако не должна превышать допустимый предел для конкретного сервера.

Требуемый расход определяет, какой объем хладагента должен пройти по контуру охлаждения за определённое время. Этот Потеря давления возникает, в частности, на охлаждающих пластинах, шлангах и соединениях. Проектирование насосов и трубопроводов должно обеспечивать необходимый расход с учётом этих сопротивлений и одновременно соблюдать допустимые пределы давления компонентов.

Не менее важны качество охлаждающей жидкости и совместимость материалов. Требования производителя могут касаться, например, состава рабочей среды и мер по предотвращению загрязнений. Сертифицированные шланги, муфты и уплотнения должны соответствовать рабочей среде и конкретному соединению; наличие механической совместимости детали не означает автоматического разрешения на её использование в предусмотренных условиях эксплуатации.

ASHRAE выделяет классы W для систем водоснабжения зданий. Такой класс помогает классифицировать систему водоснабжения, но не заменяет разрешение на эксплуатацию оборудования и не определяет автоматически условия в отдельном ИТ-контуре. Поэтому значения, указанные производителем или для одной стороны контура, не следует без проверки применять к другим устройствам, соединениям или средам.

Сравнение четырёх методов охлаждения

При выборе системы охлаждения важно не только то, используется ли в ней жидкость. Решающим фактором является, где поглощается тепло а также какая инфраструктура для этого необходима на сервере и в здании. Эти четыре подхода также различаются тем, продолжается ли циркуляция воздуха через ИТ-оборудование.

При умеренной и пространственно распределенной нагрузке существующей системы воздушного охлаждения может оказаться достаточно, если траектория потока воздуха и температурные резервы соответствуют условиям реальной эксплуатации. Теплообменник с задним выходом, напротив, устанавливается непосредственно на стойке, не требуя при этом полного перехода на охлаждение с помощью охлаждающих пластин в сервере. Тем не менее необходимо заранее спланировать подачу жидкости и доступ к задней части стойки.

При высокой тепловой плотности технология Direct-to-Chip может упростить отвод тепла непосредственно от процессоров и ускорителей. Технология Immersion переносит отвод тепла в жидкостную ванну, но при этом в большей степени влияет на интеграцию и техническое обслуживание. Поэтому выбор оптимального решения для конкретного объекта зависит не только от плотности размещения в стойке, но и от совместимости оборудования, затрат на переоборудование и доступных средств отвода тепла.

Планирование установки стоек высокой плотности в имеющемся парке оборудования

Конкретным примером высокой плотности установки в стойке является модель GB200 NVL72 от NVIDIA: производитель указывает, что для данной конструкции стойки требуется охлаждающая мощность 120 кВт на каждую стойку. Это значение отражает требования данной конфигурации, а не является общим пределом мощности для Прямое жидкостное охлаждение и никаких гарантий в отношении других систем.

Даже в этой системе охлаждение не ограничивается только жидкостным: компания NVIDIA предоставляет документацию по остальным компонентам с воздушным охлаждением. Поэтому при планировании размещения необходимо учитывать как подачу жидкости, так и оставшуюся нагрузку на систему воздухообеспечения конкретно поставляемой системы. Обязательными являются данные о подключении, специфичные для данного проекта, а не условные значения, взятые из примера.

При планировании существующего парка оборудования следует начать с анализа фактического и ожидаемого распределения нагрузки: какие стойки останутся с воздушным охлаждением, какие будут оснащены охлаждающими панелями и где они расположены? На основе этого можно Зоны охлаждения и определить соответствующие требования к воздушному и жидкостному охлаждению. Не следует путать единичную высокую нагрузку на стойку с равномерной нагрузкой по всему залу.

Затем необходимо проверить маршруты прокладки кабелей, наличие места для распределительных щитов и CDU, а также доступность для технического обслуживания. Существующая система охлаждения здания должна быть способна отводить дополнительное тепло даже в предусмотренных условиях эксплуатации. Сам по себе факт возможности установки CDU в помещении ещё ничего не говорит о доступной мощности обратного охлаждения.

В заключение следует подобрать подходящий концепция избыточности: Эксплуататоры должны определить, какая нагрузка должна продолжать получать питание в случае выхода из строя одного из контуров охлаждения, а также как техническое обслуживание влияет на оставшуюся мощность. Только с учетом этих требований и данных производителя можно надежно рассчитать параметры реконструкции, расширения и эксплуатации.

Тепловой баланс и возможные способы использования

Отводимая тепловая мощность характеризует скорость переноса тепла. При постоянной мощности количество тепловой энергии, перенесенной за определенный промежуток времени, равняется произведению мощности на время. Это различие важно при расчете мощности системы охлаждения или при оценке возможного количества тепла, перенесенного за определенный период времени.

Наглядный расчетный пример: если предположить, что в течение часа отводится постоянное количество тепла, равное 40 кВт, то умножение 40 кВт на час дает 40 кВт·ч перенесенной тепловой энергии. Это не является результатом измерения. Из этого результата не следует ни экономия электроэнергии, ни то, что весь объём тепла доступен или может быть использован потребителем.

Для реального Утилизация отработанного тепла Уровень температуры должен соответствовать потребностям потребителя. Если он слишком низкий, тепловой насос может повысить температуру; в этом случае его потребление электроэнергии учитывается в общем балансе. Более высокие температуры жидкости могут облегчить интеграцию, но не заменяют проверку конкретной установки.

При планировании операторам следует сопоставить объем доступного тепла и временные потребности потенциального потребителя. При этом необходимо также проверить, подходит ли для конкретного проекта решение с использованием накопителя тепла. Один лишь теоретический годовой объем тепла еще не гарантирует его круглогодичное использование.

При принятии инвестиционного решения операторы должны также проанализировать, с учетом конкретных условий данного объекта, связь с потребителем и затраты на дополнительное оборудование. Передаваемое тепло нельзя без дальнейших расчетов полностью учитывать в качестве реализованной выручки. Для проведения достоверной оценки необходимы конкретные данные о планируемом использовании.

Обеспечение эксплуатации и технического обслуживания

Для надежной работы системы жидкостного охлаждения недостаточно просто обеспечить доступ к серверам. Для каждого подключения должно быть четко определено, какие Быстроразъемные соединения производитель указывает, где можно перекрыть соответствующий участок и как безопасно отсоединить устройство от контура. Эти действия должны быть включены в процедуру технического обслуживания, разработанную с учетом конкретного объекта, которая также включает в себя повторный ввод в эксплуатацию и проверку соединений.

Перед заменой необходимо уточнить круг ответственности и последствия для остальных стоек. Общая распределительная схема может привести к тому, что отключение затронет более одного сервера. Поэтому на месте установки должны быть доступны схемы проводки, промаркированные разъёмы и рекомендации производителя оборудования; необходимые запасные части должны соответствовать установленной модели.

Качество охлаждающей жидкости также входит в круг обязанностей эксплуатационного персонала. Материалы, жидкость и процесс подготовки должны быть согласованы, чтобы, например, коррозия или отложения не ухудшали работоспособность системы. Какие проверки, предельные значения и интервалы замены следует применять, определяется требованиями к компонентам и конкретному контуру, а не общими рекомендациями по воде.

На Контроль утечек К ним относятся правильно размещенные датчики, надежная передача сигналов тревоги и задокументированные меры реагирования. Команда должна знать, кто принимает сигнал тревоги, оценивает ситуацию в затронутой зоне и принимает меры в соответствии с процедурами предприятия. Автоматическое отключение может быть предусмотрено в рамках конкретного проекта, однако оно не всегда присутствует в каждой системе и не является единственно возможной мерой реагирования.

Процедуры технического обслуживания и устранения неисправностей должны быть согласованы: если во время сервисных работ датчик оказывается закрытым или сигнал тревоги временно подавляется, необходимо также предусмотреть порядок их восстановления. Протоколы о проведенных работах и выявленных отклонениях помогают выявлять повторяющиеся проблемы и целенаправленно готовиться к следующим периодам технического обслуживания.

Систематическое сужение круга поиска неисправностей

Если температура какого-либо компонента повышается, это не обязательно означает, что причиной является охлаждающая пластина. Сначала проверьте ИТ-нагрузка и сравните динамику изменения температуры с утвержденными предельными значениями для конкретного оборудования. Увеличение нагрузки может повлиять на тепловыделение; решающим фактором является то, работает ли система в пределах своих технических характеристик при предусмотренных условиях эксплуатации.

После этого можно пошагово проследить работу системы охлаждения: находится ли температура подачи в предусмотренной точке измерения в допустимом диапазоне? Достигает ли расход значения, требуемого для данного устройства? Оба параметра должны соответствовать фактически используемой конфигурации. Наличие приемлемых показателей на входе в здание само по себе ещё не подтверждает, что сервер также получает надлежащее питание.

Измененный Потеря давления может свидетельствовать об изменении траектории потока, однако без дополнительной проверки не объясняет его причину. Сравните имеющиеся данные о давлении и расходе с номинальными значениями и предыдущим режимом работы. Затем необходимо проверить CDU, её сигналы и теплообмен со стороны здания; вмешательство в работу устройства должно осуществляться только обученным персоналом в соответствии с процедурами производителя и объекта.

Кроме того, в гибридной системе диагностика включает в себя проверку охлаждения остаточного воздуха. Если воздуховоды заблокированы или предусмотренная система подачи воздуха не работает должным образом, это может повлиять на компоненты, не оснащенные жидкостным охлаждением. Поэтому отсутствие нарушений в работе контура жидкостного охлаждения не исключает наличия тепловой проблемы в том же стоечном шкафу.

Сигнал утечки рассматривается отдельно от диагностики температуры в соответствии с местным планом действий в чрезвычайных ситуациях. В случае выхода из строя одного из контуров охлаждения в соответствии с задокументированным планом действий при отказе принимается решение о том, какую нагрузку перераспределить или какое оборудование контролируемо вывести из эксплуатации. Система оповещения и эскалации должна функционировать даже в том случае, если причина ещё не установлена; импровизированные работы на трубопроводах, находящихся под давлением, не могут заменить диагностику.

Оценка экономической эффективности и экологичности хостинга

Для сравнения экологических показателей в ней описывается PUE отношение общего годового потребления энергии в центре обработки данных к годовому энергопотреблению ИТ-оборудования. Показатель WUE представляет собой отношение годового потребления воды на объекте к годовому энергопотреблению ИТ-оборудования. Сравнивать эти два показателя имеет смысл только в том случае, если указаны период времени и границы измерения.

Низкий показатель PUE не означает автоматически низкий уровень абсолютных выбросов или низкое потребление воды. Для Зеленый хостинг Поэтому дополнительно важно учитывать общую потребность в энергии, баланс выбросов или структуру источников электроэнергии, а также абсолютное потребление воды. Растущая нагрузка на ИТ-системы может привести к увеличению энергопотребления на объекте, даже если соотношение между общим энергопотреблением и энергопотреблением ИТ-систем станет более благоприятным.

Даже замкнутый ИТ-контур не обязательно делает всю систему полностью безводной: на другом этапе отвода тепла вода может испаряться. Что касается отработанного тепла, то здесь важен не только теоретический объем, но и фактически использованное тепло. Для этого температура и временные потребности потребителя должны совпадать; тепловой насос может потребовать дополнительную энергию.

Экономическая эффективность зависит от местоположения. Сравните ожидаемый профиль нагрузки и планируемую плотность размещения в стойках с инвестициями в совместимое ИТ-оборудование, систему распределения питания, CDU и адаптацию здания. К этому следует добавить расходы на техническое обслуживание, электроэнергию, при необходимости — воду, а также затраты на резервирование и меры по предотвращению сбоев. Сравните эти статьи затрат за один и тот же период эксплуатации с альтернативным вариантом, реалистично рассчитанным для данного местоположения.

Клиентам хостинг-услуг целесообразно запрашивать у провайдеров информацию о периоде измерений, данных о местоположении и фактическом объеме использования отработанного тепла, а не делать выводы об экологическом воздействии, исходя исключительно из характеристик систем охлаждения. Дальнейшие тенденции в области инфраструктуры и устойчивого развития рассматриваются в статье, посвященной Тенденции в сфере хостинга в 2026 году в.