Жидкостное охлаждение для ИИ
Отвод тепла от процессоров и ускорителей
Жидкостное охлаждение отводит тепло непосредственно от нагретых компонентов сервера. Подбираем оборудование AIRSYS и параметры подключения для вашей ИИ- или HPC-платформы, согласуем их с системой холодоснабжения ЦОД.
Высокая вычислительная плотность без перегрузки воздушной системы
При росте мощности процессоров и ускорителей увеличение расхода воздуха не всегда решает задачу. Жидкость отводит тепло непосредственно от компонентов, когда возможности воздушного охлаждения ограничены конструкцией сервера или условиями размещения.
Способ охлаждения выбирают вместе с серверной платформой. Проверяем требования ИТ-производителя, нагрузку и очереди ввода. Единого порога мощности стойки для перехода на жидкость нет.
Где применяют жидкостное охлаждение
Решение применяют в новых вычислительных залах и отдельных зонах действующих ЦОД. Для подключения проверяют водяную инфраструктуру, размещение оборудования и доступ для обслуживания.
- ИИ и HPC
- Кластеры с процессорами и ускорителями, для которых производитель предусматривает жидкостный отвод тепла.
- Модернизация машзала
- Размещение новой вычислительной нагрузки с проверкой доступной мощности холодоснабжения, коммуникаций и воздушной системы.
- Поэтапное расширение
- Ввод стоек и контуров по очередям. Подбор учитывает как начальную загрузку, так и расчётную нагрузку после расширения.
От сервера до источника холода
В схеме с холодными пластинами жидкость циркулирует внутри теплообменников, установленных на процессорах и ускорителях. CDU отделяет серверный контур от системы холодоснабжения объекта и поддерживает согласованные параметры подачи.
CDU передаёт тепло, но не заменяет холодильную машину. Его мощность проверяют при фактических температурах и расходах с обеих сторон теплообменника. Источник холода подбирают с учётом необходимого температурного сближения в CDU.
Два контура, один теплообменник
В этом примере вода от источника холода поступает в CDU при 28 °C. Серверный контур получает жидкость при 32 °C и возвращает её при 45 °C. Контуры обмениваются теплом, их жидкости не смешиваются.
Точный контроль подачи
Точность регулирования температуры FluidCool-X — ±0,5 °C. Частотные насосы изменяют расход, а клапан первичного контура регулирует передачу тепла. Фильтрация серверного контура — 50 мкм, опционально 25 мкм.
Что даёт сближение 4 К
При подаче к серверам 32 °C первичному контуру в этом режиме достаточно 28 °C. Чем выше допустимая температура воды, тем больше возможностей использовать наружный воздух для охлаждения. Рабочую точку проверяем по нагрузке и расходам.
Охлаждение внутри серверной кассеты
Насос направляет диэлектрическую жидкость к нагретым компонентам. Собственный теплообменник кассеты передаёт тепло воде из системы холодоснабжения. Вода не поступает на электронные компоненты.
В кассете около 7 л диэлектрической жидкости. Независимые контуры позволяют обслуживать кассеты по отдельности. Внешний CDU не является обязательным узлом этой архитектуры.
Устройство и характеристики LiquidRackТемпература воды определяет мощность кассеты
Повышение температуры воды упрощает использование фрикулинга, но уменьшает теплоотвод одной кассеты. Поэтому максимальные 175 кВт на стойку нельзя переносить на любой температурный режим.
| Вода на входе | Мощность кассеты | Вариант источника холода |
|---|---|---|
| 15–30 °C | 14–17,5 кВт | Чиллерная система |
| 30–50 °C | 8,3–14 кВт | Адиабатическая или испарительная градирня |
| 50–60 °C | 5–8,3 кВт | Сухой охладитель |
Мощность кассеты уточняют для выбранной температуры внутри диапазона. Источник холода и возможность работы без компрессоров проверяют по климату площадки и требованиям серверов.
Мощность охлаждения и реальные энергозатраты
Энергозатраты оценивают для всей системы: CDU или насосов кассет, источника холода и оставшегося воздушного охлаждения. Экономию определяют сравнением вариантов при одинаковой ИТ-нагрузке; PUE дополнительно учитывает потери электропитания и другие инженерные системы.
Сколько потребляет сам CDU
FluidCool-X FCX.10V2 при номинальной нагрузке 1000 кВт потребляет 10,5 кВт. При непрерывной работе в этой точке это около 92 МВт·ч за год. Потребление чиллера, наружных насосов и оставшегося воздушного охлаждения рассчитывается отдельно.
Что означает pPUE около 1,03
Для LiquidRack заявлен частичный показатель эффективности охлаждения pPUE около 1,03. В его расчётной границе на 100 кВт ИТ-нагрузки приходится около 3 кВт дополнительных затрат. Для PUE всего ЦОД нужно также учесть внешнее холодоснабжение, потери электропитания и другие инженерные системы.
Снижение PUE на 0,10: что это даёт за год
При постоянной ИТ-нагрузке 1 МВт снижение годового PUE, например с 1,30 до 1,20, экономит 876 МВт·ч в год. При условном тарифе 10 ₽/кВт·ч это 8,76 млн ₽ ежегодно. Так можно оценить экономический эффект, когда рассчитано потребление всех систем. Эти значения иллюстрируют расчёт, а достижимый PUE определяем для конкретного объекта.
Что определяет состав и надёжность системы
Подбор начинается с требований серверов к жидкости, температуре, расходу и давлению. Эти параметры согласуют на всём пути от источника холода до подключения стойки.
Повышенная допустимая температура жидкости может расширить возможности фрикулинга. Его продолжительность зависит от климата, характеристик наружного оборудования и температурных перепадов в теплообменниках; эффект оценивают для всей системы.
- Совместимость контуров
- Проверяют состав жидкости, материалы, фильтрацию и соединения. Параметры объектового и серверного контуров задают отдельно.
- Резервирование и управление
- Согласуют резерв насосов, питания и источника холода, действия при потере циркуляции и протечке. Резервный насос в CDU не резервирует всю систему.
- Оставшаяся воздушная нагрузка
- По данным ИТ-производителя определяют, какая часть тепла поступает в воздух. Её учитывают при подборе кондиционеров и проверке температур на входах серверов.
- Монтаж и обслуживание
- Предусматривают доступ к подключениям, отключение участков, заполнение и промывку контуров. До запуска проверяют герметичность и согласованные сценарии автоматики.
Оборудование для решения
FluidCool-X и LiquidRack предназначены для разных архитектур жидкостного охлаждения. Состав системы и необходимость отдельного источника холода определяем после согласования серверной платформы.
FluidCool-X
CDU для разделения контуров и поддержания параметров циркуляции в совместимой жидкостной системе.
Характеристики и исполненияLiquidRack
Стойки с серверными кассетами и направленным охлаждением диэлектрической жидкостью.
Характеристики и исполнения
VectorCool-X
Чиллеры с фрикулингом для проектов, где требуются соответствующие мощность и температурный график.
Характеристики и исполненияПодберём состав системы под ваш объект
Исходные данные объекта
Для первого обсуждения подготовьте имеющиеся данные:
- Модели серверов, способ охлаждения и требования ИТ-производителя.
- Нагрузка по стойкам, доли жидкостного и воздушного теплоотвода, очереди ввода.
- Параметры существующего холодоснабжения и план размещения оборудования.
- Требования к резервированию, контролю протечек, мониторингу и обслуживанию.
Что подготовит ЮниКонд
Подготовим техническое предложение по согласованным исходным данным:
- Применимую архитектуру и состав оборудования AIRSYS.
- Расчётные параметры контуров и требования к источнику холода.
- Предложения по размещению, подключениям и сервисному доступу.
- Условия совместной работы жидкостной и воздушной частей системы.
Если часть параметров ещё не определена, начнём с плана помещения и описания задачи. Уточним, какие данные понадобятся для технического подбора.