Илья Глейкин: Жидкостное охлаждение без мифов. Тренды, барьеры и экономика внедрения

Как изменилась линейка серверных решений и топовых корпоративных рабочих станций вашей компании за последние три года?

За три года мы радикально обновили и расширили портфель. В серверной линейке ALKAZAR внедрены последние поколения Intel Xeon Scalable и добавлена поддержка AMD EPYC - это сразу дало больше ядер, линий ввода‑вывода и доступной памяти для высоконагруженных сценариев. Развиты серии Silex и Zeeger: Silex - компактные системы для малого и среднего бизнеса, где важны энергоэффективность и простая эксплуатация; Zeeger - масштабируемые двухпроцессорные платформы для задач уровня ЦОД и НРС, с возможностью конфигурации под конкретные профили нагрузки.

Флагманские графические станции CADStation мы адаптировали под современные САПР/CAE, ГИС и задачи AI/ML. В серии WS4xx появились конфигурации на AMD, а в старших моделях поддерживается установка до 4 ТБ ОЗУ и актуальные профессиональные GPU для ускорения рендеринга и вычислений. При этом мы сохранили наш давний фокус на акустическом комфорте: даже по мере роста производительности и TDP уровень шума удалось удержать на низких значениях, вплоть до внедрения жидкостного охлаждения в отдельных конфигурациях.

Показательный пример - двухпроцессорная CADStation WS652W с водяным контуром: по производительности она сопоставима с узлом кластера, но при этом достаточно тиха, чтобы работать в обычном офисе, без выделенной серверной. Итог трехлетних изменений - более широкая линейка с заметно выросшей производительностью, поддержкой отечественного ПО и вниманием к шуму и теплу, которое неизбежно сопутствует современным вычислениям.

Какие технологические тенденции в области охлаждения серверов сегодня наиболее актуальны?

Главная тенденция - отход от чисто воздушных схем к жидкостным. Рост тепловыделения процессоров и графических ускорителей делает классические вентиляторные контуры предельно сложными, шумными и энергозатратными. Наиболее динамично развивается прямое жидкостное охлаждение: охлаждающие пластины (водоблоки) устанавливаются непосредственно на CPU/GPU, тепло снимается водой или другим теплоносителем и уносится из корпуса к теплообменнику. Второе направление - погружное охлаждение: целые серверные узлы погружаются в диэлектрическую жидкость. Решение ещё недавно считалось экзотикой, но теперь применяется в ряде HPC‑и специфических сценариев. Третья важная ветка - двухфазные системы: хладагент кипит прямо на кристалле, унося тепло при фазовом переходе, далее конденсируется в радиаторе и возвращается в контур. Некоторые поставщики продвигают «безводные» решения на основе фреоноподобных диэлектриков, что дополнительно снижает опасения, связанные с водой.

Отдельный тренд - энергоэффективность охлаждения: фрикулинг, жидкостные теплообменники дверного типа, гибридные схемы «вода + воздух», а также «теплая вода» с температурами 30–50 °C, позволяющая шире использовать естественное рассеивание и утилизацию тепла. Плотность стойки растет: если 4–6 кВт на стойку недавно были нормой, то современные HPC‑нагрузки требуют 15–20+ кВт и выше - такие цифры устойчиво и тихо снимаются только жидкостными подходами.

Как давно компания занимается разработкой систем водяного охлаждения серверов, и что подтолкнуло вас выбрать именно это направление? Какие типы решений для водяного охлаждения серверов предлагает ТМ ARBYTE?

К жидкостному охлаждению мы пришли более десяти лет назад. В 2014 году вышла наша первая рабочая станция с водяным контуром - CADStation WS652W. Толчком стали два «вечных» фактора мощных систем - шум и тепло. Традиционные вентиляторные конфигурации на высоких TDP перегружали офисное пространство: было громко и горячо. Комбинированный контур для CPU и GPU, разработанный нашими инженерами, кардинально снизил шум и стабилизировал терморежим таким образом, что даже двухпроцессорная станция с парой ускорителей Tesla стала уместна прямо на рабочем месте.

Дальше мы последовательно наращивали экспертизу, поскольку тепловыделение компонентов год от года росло. Сейчас у нас три основных типа решений. Во‑первых, индивидуальные системы для высокопроизводительных рабочих станций: жидкость охлаждает процессоры и графические ускорители, приоритет - тишина и отсутствие троттлинга в длительных расчетах и рендере. Во‑вторых, серверы с интегрированными модулями: водоблоки на CPU/GPU, замкнутый контур с помпой, резервуаром и радиатором - такой «внутренний» контур мы адаптируем к конкретному шасси и профилю задач.

В‑третьих, стоечные системы для крупных внедрений: распределительные коллекторы, быстросъёмные соединения с «сухим» отсечением, подвод к каждому серверу в стойке, возврат в теплообменник. Мы используем индустриальные фитинги, рассчитанные на многократные циклы стыковки без пролива, и строим магистрали с учетом требований к герметичности и сервису. Такой комплексный подход - от снижения шума единичной станции до стоечной инфраструктуры - и сделал нас одним из пионеров жидкостного охлаждения серверов в России.

В чем основные преимущества водяного охлаждения по сравнению с традиционными воздушными системами?

Прежде всего - в физике. Жидкости имеют значительно более высокую теплоёмкость и плотность, чем воздух, а значит, способны отводить на порядок больше тепла при сопоставимых габаритах и расходах. На практике это означает, что контур с водой уверенно справляется с TDP, на которых воздушные радиаторы уже работают на пределе. Вторая группа преимуществ - акустика: благодаря выносу тепла на крупный радиатор или внешний теплообменник можно использовать тихие вентиляторы меньшей скорости. В наших проектах частое значение - менее 40 дБА даже у систем верхнего уровня.

Третье - стабильность производительности: жидкостное охлаждение удерживает процессоры и GPU в оптимальном температурном окне при длительной пиковый нагрузке, устраняя тепловой троттлинг и связанные с ним просадки. Четвёртое - надёжность и ресурс: более низкие и ровные температуры уменьшают термический стресс на VRM, память и другие узлы, что долгосрочно снижает вероятность отказов. Пятое - энергоэффективность: насосы и теплообменники при правильном проектировании потребляют заметно меньше энергии, чем массив вентиляторов и компрессоры кондиционеров, давая ощутимую экономию на охлаждении на уровне ЦОД.

Каковы основные технические сложности при разработке и внедрении систем водяного охлаждения серверов?

Первая сложность - интеграция в «мир стандартных серверов», где все привыкли решать воздухом. Универсальных отраслевых стандартов для жидкостных контуров пока нет: разные разъемы, разная обвязка, разные требования к датчикам. Это порождает риски несовместимости и зависимость от поставщика. Мы в каждом проекте заново решаем трассировку шлангов в корпусе, компоновку узлов, точки вывода соединений, обсуждаем ограничения по стойкам и источникам питания.

На втором месте - безопасность и герметичность на дистанции лет. Требуется верно подобрать материалы (коррозионно-стойкие металлы, шланги и уплотнения), провести циклы испытаний под давлением, предусмотреть дублирование критичных агрегатов (параллельные помпы, резервные контуры), насыщать систему датчиками влажности и протечки. Даже если современные «сухие» фитинги и статистика показывают крайне низкие риски, психологический барьер у заказчиков есть - его снимает и инженерная дисциплина, и прозрачное мониторирование.

Третья зона - обслуживание. Если «воздушный» сервер достаточно поставить в стойку и подключить, то жидкостный требует базовой квалификации: как грамотно расстыковать быстроразъем, как выполнить профилактику насоса, как и когда менять теплоноситель. Мы берём на себя обучение ИТ‑персонала заказчика на этапе сдачи комплекса — без этой части внедрение идет тяжелее. Четвертая тема - стоимость и габариты: водоблоки, радиаторы, насосы, датчики занимают место и увеличивают CapEx. В плотных шасси иногда приходится жертвовать одним‑двумя слотами - это часть технического компромисса, которую важно заранее обсудить.

Наконец, кадры и междисциплинарность. Разработчикам и интеграторам нужны навыки теплотехники, механики, электроники и эксплуатации ЦОД одновременно. Мы сформировали собственную команду и шли по пути преодоления перечисленных барьеров шаг за шагом. Но в отраслевом масштабе именно отсутствие стандартов, вопросы безопасности, обслуживания и стоимости пока сдерживают тотальный переход на жидкостные схемы.

Каким образом обеспечивается безопасность и предотвращается риск протечек воды в серверных помещениях?

Мы строим защиту по нескольким уровням. Во‑первых, только замкнутые контуры - никакой открытой воды вокруг электроники. Во всех магистралях применяются быстроразъемные соединения с «сухим» отсечением: при расстыковке они блокируют поток и не проливают жидкость. Эти коннекторы рассчитаны на многократные циклы и проходят фабричный контроль герметичности.

Во‑вторых, в каждом сервере с жидкостным охлаждением устанавливаются датчики протечки и влажности в ключевых точках - под водоблоками, в днище корпуса, в нишах соединений. При малейшем событии система сигнализирует и может интегрироваться с мониторингом заказчика. В‑третьих, конструктив: трассы шлангов прокладываются ниже критичных электронных узлов, добавляются дренажные поддоны и направляющие - даже гипотетическая капля уйдет в ловушку, а не на плату.

В‑четвертых, используем правильный теплоноситель: чаще это не чистая вода, а диэлектрическая жидкость или дистиллят с присадками против коррозии. Такой состав минимизирует риск короткого замыкания при контакте с электроникой. В‑пятых, регламентное обслуживание: периодическая проверка затяжки, визуальный осмотр шлангов, плановая замена уплотнений и контроль помп. Плюс закладываем запас прочности по ресурсам ключевых компонентов выше расчетного срока службы сервера. Мы также внимательно следим решениями на основе хладагентов - они потенциально ещё сильнее снижают риски. За годы эксплуатации серьезных инцидентов протечек у нас не было, и такая статистика - лучший аргумент в пользу подхода.

Как использование водяного охлаждения влияет на экономию электроэнергии и эксплуатационных затрат дата-центров?

Меньше энергии на отвод тепла: сами контуры эффективнее, поэтому климатические установки работают мягче. Снижается нагрузка на чиллеры и кондиционеры: чаще удается обходиться теплообменниками и градирнями без включения компрессоров, особенно при «теплой воде». Из отраслевых примеров: у систем прямого водяного охлаждения отмечается экономия на охлаждении до десятков процентов, в отдельных решениях - вплоть до ~40% по сравнению с традиционным воздухом.

Есть и косвенные плюсы. Во‑первых, уменьшается потребление вентиляторами: их меньше, они вращаются медленнее, а в машинном зале можно поднять целевую температуру на пару градусов - каждый градус экономит около 4% энергии кондиционирования. Во‑вторых, растет плотность вычислений на квадратный метр: это позволяет откладывать расширение площадей или строить более компактные зоны высокой плотности, что выгодно и по CapEx, и по Opex. В‑третьих, появляется возможность утилизации тепла: вода, выходящая из серверов при 50–60 °C, может быть направлена на отопление помещений или технологические нужды здания. В терминах метрик это отражается в PUE: при грамотной реализации показатель может приближаться к ~1.1 против типичных для «воздуха» 1.3–1.5. Да, стартовые инвестиции в жидкостную инфраструктуру выше, но снижение ежемесячных счетов за электричество и обслуживание кондиционеров постепенно перекрывает CapEx. Дополнительная экономия - меньше замены компонентов, «умерших» от перегрева, и меньше незапланированных простоев из‑за перегрева узлов.

Существуют ли экологические преимущества у водяного охлаждения серверов, и если да, то какие?

Преимущества напрямую следуют из энергоэффективности. Меньше потребление электричества - ниже углеродный след ЦОД: компаниям проще достигать целей по сокращению выбросов CO2. Второй аспект - вода как ресурс. Парадоксально, но замкнутые жидкостные контуры, особенно в режиме «тёплой воды», зачастую сокращают именно расход воды, потому что уходят испарительные башни, которые ежедневно выбрасывают тысячи литров в атмосферу. Здесь жидкость циркулирует без потерь, требуется лишь редкая подпитка.

Третье - утилизация тепла и снижение теплового загрязнения: вместо выброса горячего воздуха за пределы здания тепло собирается в воде и используется повторно - для обогрева или технологических нужд. Четвёртое - тише и внутри, и снаружи: меньше «рева» вентиляторов и компрессоров - лучше акустическая обстановка вблизи жилых районов. Пятое - продление срока службы аппаратуры: реже замены - меньше электронных отходов и воздействие на окружающую среду. В контурах мы применяем безопасные теплоносители (например, пропиленгликолевые смеси вместо токсичного этиленгликоля) и исключаем материалы с тяжёлыми металлами - это также часть «зеленой» повестки.

Кто является вашим основным потребителем? Какие компании чаще всего используют ваши решения?

Базовый профиль - корпоративные заказчики с высокими требованиями к производительности, отказоустойчивости и локальной поддержке. Инженерные и научные организации - машиностроение, авиакосмическая отрасль, конструкторские бюро, НИИ - активно используют наши CADStation под САПР/CAE, расчет и визуализацию. Промышленность (нефтегаз, энергетика) разворачивает серверные платформы в собственных ЦОД для систем управления, моделирования и хранения данных.

Существенная доля - госсектор и оборонно‑промышленный комплекс, для которых критичны безопасность и импортонезависимость. У нас есть реализованные проекты по поставке суперкомпьютеров и специализированных расчетных станций, позволившие кратно ускорить параллельные вычисления и заменить целые «островки» кластеров одним мощным узлом. Отдельная категория - коммерческие ЦОД и облачные провайдеры: здесь в ходу серии Silex и ALKAZAR, ценятся надежность и сервис. Банковский и финансовый сектор используют наши серверы для критичных приложений, где важна предсказуемость и отказоустойчивость. Наконец, образовательные и научные учреждения берут GPU‑серверы для ИИ и работы с большими данными. В сухом остатке «костяк» - промышленность, наука и государство.

Как вы оцениваете текущее состояние рынка систем жидкостного охлаждения серверов и перспективы его развития?

Рынок на глобальном уровне проходит фазу активного роста и перехода от ниши к мейнстриму. По оценкам аналитиков, в 2023 году мировой объем сегмента жидкостного охлаждения для ЦОД превысил 3,2 млрд долларов, при ожидаемых темпах роста свыше 19% в год. Всё больше новых проектов высокой плотности как минимум рассматривают «воду» на этапе дизайна. Практически все крупные вендоры серверов предлагают модификации с прямым жидкостным охлаждением или готовы их поставить по запросу - экосистема формируется.

При этом рынок ещё молод: отсутствуют единые отраслевые стандарты по разъемам, жидкостям, датчикам, конкурируют однофазные и двухфазные подходы. Из‑за этого многие заказчики идут через пилоты и поэтапные внедрения. Но перспектива очевидна: без жидкостных технологий не обеспечить дальнейший рост плотности и энергоэффективности, особенно для ИИ‑нагрузок и HPC. В горизонте 3–5 лет ожидаем переход от отдельных «островков» к заметной доле стоек, спроектированных под жидкость, и движение к стандартизации.

Российский рынок движется в общем русле с временным лагом. Интерес со стороны оборонки, науки и крупных коммерческих ЦОД растет, но массовость сдерживают консерватизм и вопросы бюджета. Пока доля внедрений - считанные проценты, однако по мере накопления локальной практики и появления стандартных компонентов эта доля будет увеличиваться. Если смотреть шире, суммарные затраты на охлаждение ЦОД к 2032 году могут достичь 46 млрд долларов, и значимая часть капитала пойдёт именно в жидкостные технологии. Это главный драйвер появления новых игроков и удешевления решений по мере зрелости рынка.

Какие тенденции и инновации вы видите в ближайшие годы в области охлаждения дата-центров?

Во‑первых, широкомасштабное внедрение прямого жидкостного охлаждения как «де‑факто» стандарта для стоек высокой плотности. Параллельно рынок будет вырабатывать единообразные блоки: типовые разъёмы с «сухим» отсечением, насосно‑распределительные модули, унифицированные требования к мониторингу - это снизит стоимость владения и облегчит мультивендорные внедрения.

Во‑вторых, коммерциализация двухфазных решений: мини‑испарители над CPU/GPU с диэлектрическими хладагентами, кипящими при 50–60 °C, позволят уносить большие тепловые потоки без воды. В‑третьих, эволюция погружного охлаждения: появятся более экологичные, огнебезопасные жидкости, в том числе под прямое кипение, что расширит область применения за пределами нишевых сценариев. В‑четвёртых, утилизация тепла станет нормой: интеграция ЦОД с системами отопления зданий и городскими теплосетями потребует новых теплообменников и организационных практик.

В‑пятых, миниатюризация и локальное охлаждение «на кристалле»: микроканалы и микрофлюидные решения на уровне крышки/подложки процессора упростят жизнь интеграторам и повысят эффективность. В‑шестых, «умные» системы управления контурами: алгоритмы машинного обучения будут предсказывать нагрузку и адаптировать работу насосов, клапанов и смешение потоков под целевой КПД. В‑седьмых, развитие «сухих» диэлектрических теплоносителей как альтернативы воде: они не проводят ток, не вызывают коррозии и в случае утечки безопаснее, но при этом близки к воде по теплофизике. И, наконец, гибридные конфигурации - чипы на жидкости, остальная база на воздухе - и «водяные двери» станут модульными, более компактными с возможностью горячей заменой. В целом охлаждение будет проектироваться вместе с архитектурой ЦОД с самого начала, а не «прикручиваться» после выбора серверов - это, пожалуй, главный сдвиг ближайших лет.