Кейс: Supermicro с двумя RTX PRO 6000 Blackwell и жидкостным охлаждением

Две серверные GPU по 96 ГБ и 32-ядерный EPYC можно разместить в рабочей станции рядом с инженером. Но задача охлаждения при этом не исчезает: тепло нужно передать от кристаллов жидкости, затем радиаторам и воздуху помещения. В этом кейсе разбираем проект на Supermicro с AMD EPYC 9354 и двумя RTX PRO 6000 Blackwell Server Edition, а также считаем расход жидкости, тепловой бюджет и требования к приёмке.

Практическая основа — сборка ServerFlow с платой семейства H13SSL, водоблоками Alphacool/Bykski, радиаторами, помпой, резервуаром и термоинтерфейсом Honeywell PTM7950. В проекте показаны сборка, заполнение и проверка контура. Подтверждённых чисел температуры и акустики, достаточных для независимого сравнения с воздушным вариантом, в нашем наборе данных нет. Поэтому статья не обещает определённых градусов или децибел.

Главный вывод: жидкостное охлаждение помогает организовать отвод большого теплового потока и подобрать акустический режим, но требует совместимых водоблоков, продуманного обслуживания и сохранения обдува остальных компонентов. Для новой повторяемой спецификации недостаточно фразы «сервер на водянке».

Когда серверные GPU действительно нужны у рабочего места

Причиной может быть большой локальный рабочий набор: сложная 3D-сцена, инженерные вычисления, обработка видео или несколько GPU-задач. Пользователь хочет контролировать оборудование рядом, не отдавать данные внешнему сервису и иметь доступ к периферии. В такой ситуации обычная рабочая станция может упереться в память ускорителя или число доступных линий расширения.

Но близость к человеку создаёт требования, которых не было бы в серверной. Слышимость, температура воздуха, доступ к обслуживанию и место под радиаторы становятся частью технического задания. Нельзя выбирать конфигурацию только по вычислительным характеристикам, а вопрос «где она будет работать» оставлять на день доставки.

Если узел можно вынести в серверную и пользоваться удалённым рабочим местом, это нужно сравнить с индивидуальным контуром. Сложная система рядом со столом оправдана при понятных преимуществах, а не только из-за эффектного внешнего вида. Этот кейс посвящён отдельной станции; проект стойки с CDU и внешним водяным контуром решает другие задачи.

Какие компоненты определяют архитектуру

Компонент	Подтверждённая основа	Инженерный смысл
CPU	AMD EPYC 9354, 32 ядра / 64 потока, SP5	CPU-нагрузка и периферийная база станции
Плата	Семейство Supermicro H13SSL	Серверная память, несколько PCIe-подключений, BMC
Ускорители	2 × RTX PRO 6000 Blackwell Server Edition	По 96 ГБ GDDR7 ECC на устройство
Отвод тепла	CPU/GPU-водоблоки, радиаторы, помпа, резервуар	Общий жидкостный тракт с обслуживаемыми соединениями
Термоинтерфейс	Honeywell PTM7950 в сборке	Передача тепла в предусмотренном месте контакта
Управление	Датчики платы и отдельный контроль контура	Наблюдение за CPU/GPU, потоком и аварийными режимами

 

Для новой повторяемой спецификации нужно зафиксировать точную плату и ревизию. В семействе можно рассмотреть H13SSL-N, с проверкой CPU, памяти, расширения и механики под весь состав станции.

EPYC 9354 имеет базовый TDP 280 Вт и настраиваемый диапазон cTDP 240–300 Вт. RTX PRO 6000 Blackwell Server Edition допускает мощность до 600 Вт на карту с настройкой режима. Это паспортные границы для расчёта, а не утверждение, что авторская станция постоянно потребляла именно столько.

Что дают две карты по 96 ГБ

Физическая сумма видеопамяти — 192 ГБ. Но это не автоматический единый объём одной задачи. Некоторые приложения распределяют данные между устройствами, другие держат копию рабочего набора на каждой GPU. Перед покупкой нужно проверить поддержку нужного режима, а не только сложить числа в спецификациях.

Для независимых задач можно выделить по карте на процесс, для одной большой — использовать поддерживаемое распараллеливание. В обоих случаях остаются расходы на контекст, промежуточные результаты и обмен. Если приложение загружает сцену целиком на каждое устройство, лимит по размеру определяется памятью отдельной карты.

Объём RAM также не заменяет VRAM с той же скоростью. Данные между CPU и GPU передаются через PCIe и программный стек. Возможность разместить большую задачу и скорость её выполнения — два разных критерия приёмки.

Как посчитать тепловой бюджет контура

Для верхнего сценария возьмём две GPU по 600 Вт и CPU 280 Вт: 2 × 600 + 280 = 1480 Вт. Если cTDP процессора выставлен 300 Вт, сумма возрастёт до 1500 Вт. Такой расчёт показывает порядок отвода от основных водоблоков, но не включает автоматически всю остальную электронику и потери БП.

Фактическое тепло в жидкости зависит от того, какие компоненты покрывают блоки и сколько мощности они потребляют в выбранной нагрузке. Часть тепла остаётся в воздухе корпуса. Например, RAM, VRM, накопители и сам БП обычно продолжают нуждаться в отдельном воздушном тракте.

Проектный режим	Две GPU	CPU	Сумма основных источников
Ограниченный пример	2 × 400 Вт	280 Вт	1080 Вт
Высокий режим	2 × 600 Вт	280 Вт	1480 Вт
Верхний CPU cTDP в примере	2 × 600 Вт	300 Вт	1500 Вт

 

400 Вт здесь — условный выбранный лимит для сравнения, не измеренная настройка кейса. Ограничение мощности можно испытывать как способ улучшить акустический режим, но выигрыш и потерю производительности измеряют на приложении. Уменьшить лимит на треть не означает потерять ровно треть скорости.

Какой расход жидкости нужен

Для воды в первом приближении действует Q = m × c × ΔT, где Q — переносимая мощность, m — массовый расход, c ≈ 4180 Дж/(кг·К), а ΔT — нагрев жидкости на участке. При плотности около 1 кг/л расход удобно переводить из литров в минуту в килограммы в секунду.

Расчётный расход	Массовый расход	Нагрев при 1480 Вт	Что означает
1 л/мин	≈ 0,0167 кг/с	≈ 21,2 °C	Большой перепад при таком тепловом потоке
3 л/мин	≈ 0,0500 кг/с	≈ 7,1 °C	Меньший перепад при увеличении расхода
5 л/мин	≈ 0,0833 кг/с	≈ 4,25 °C	Требует достаточного напора на реальном контуре

 

Это идеализированная оценка для воды, не измерение станции и не температура кристалла GPU. Для смеси охлаждающей жидкости теплоёмкость и вязкость отличаются. Температура кристалла дополнительно зависит от контакта, водоблока и внутреннего сопротивления теплопередаче.

Паспортный максимальный расход помпы обычно относится к условиям, которые не совпадают с собранным контуром. Три водоблока, радиаторы, фитинги и повороты создают гидравлическое сопротивление. Нужна рабочая точка по кривой напор/расход, а затем фактическое измерение. Купить насос с большим числом «литров в час» недостаточно.

Почему нельзя выбирать радиаторы только по длине

Универсального правила «360-миллиметровый радиатор отводит столько-то ватт» нет. Влияют площадь и толщина, плотность оребрения, расход воздуха, обороты вентиляторов, температура жидкости относительно комнаты и сопротивление фильтров. Один и тот же радиатор при разных акустических требованиях работает по-разному.

Для расчётного режима 1480 Вт и средней температуры жидкости 40 °C при воздухе 25 °C перепад составит 15 К. Требуемое суммарное тепловое сопротивление радиаторного тракта по этой упрощённой модели — не выше 15 / 1480 ≈ 0,0101 К/Вт. Это целевая точка для проверки по данным выбранных радиаторов, а не заявленная характеристика показанной станции.

Если допустимы только небольшие обороты, потребуется больше эффективной площади или другой температурный режим. При увеличении температуры комнаты запас уменьшается. Поэтому испытание в прохладном помещении нельзя автоматически переносить на летний офис без кондиционирования.

Радиаторы могут стоять последовательно по жидкости и по-разному по воздуху. Радиатор на выдуве, получающий уже нагретый воздух корпуса, не работает в тех же условиях, что радиатор на входе. Приёмка оценивает реальную компоновку, а не сумму размеров коробок.

Куда уходит тепло после установки водоблоков

Оно остаётся в помещении, если радиаторы находятся там же. Водяной контур меняет путь теплопередачи, но не отменяет закон сохранения энергии. Рабочая станция с входной мощностью 1,7 кВт в установившемся режиме создаёт сопоставимую тепловую нагрузку на комнату, независимо от того, насколько тихо вращаются её вентиляторы.

Для ориентира 1,7 кВт за восьмичасовой день — 13,6 кВт·ч электрической энергии. Стоимость зависит от тарифа, а тепловой комфорт — от вентиляции, кондиционирования и других источников. Значение 1,7 кВт здесь расчётное, не показание ваттметра авторской сборки.

Если радиатор выносится из комнаты, меняются длина контура, напор, фитинги и обслуживание. Такое решение нужно проектировать отдельно. Отдельная станция не превращается в систему охлаждения ЦОД только из-за наличия шлангов и внешнего радиатора.

Как проверить совместимость водоблоков

GPU-водоблок подбирают по точному PCB и исполнению карты. Одинаковое название графического процессора не гарантирует одинаковое расположение памяти, силовых элементов и отверстий. Workstation Edition, Server Edition и другие исполнения нельзя смешивать по внешнему сходству.

Полноразмерный блок должен обеспечивать предусмотренный контакт с памятью и силовой частью. Неправильная толщина термопрокладок может ухудшить контакт кристалла или создать механическое напряжение. Для CPU важны площадь основания, совместимость SP5, порядок и момент затяжки, а не только совпадение резьбы.

PTM7950 в исходной сборке — конкретный выбранный термоинтерфейс. Его нельзя без проверки считать заменой всех термопрокладок памяти и VRM: у разных участков различаются зазоры и механические условия. Способ применения определяется контактным узлом и водоблоком.

Также проверяют материалы: сочетание меди, никеля, алюминия и выбранной жидкости требует оценки коррозионной совместимости. Цвет жидкости не говорит о наличии нужных присадок. Правильный комплект — это согласованные материалы и регламент, а не набор красивых деталей разных серий.

Один контур или несколько

Общий контур упрощает распределение радиаторной площади между CPU и GPU, но делает помпу и часть соединений общей точкой отказа. Раздельные контуры позволяют иначе организовать обслуживание и режимы, но добавляют насосы, ёмкости, фитинги и места возможной утечки.

Выбор зависит от сценария обслуживания. Если нужно часто заменять GPU, доступность быстросъёмных соединений и возможность изолировать участок могут быть важнее небольшой разницы температуры в обычном режиме. Но каждое дополнительное соединение имеет сопротивление и требования к совместимости.

Нельзя оценивать порядок блоков по принципу «вторая карта обязательно получит непригодную горячую воду». При достаточном расходе перепад в контуре рассчитывается и проверяется. При слишком малом расходе он действительно становится существенным — это и показывает приведённая таблица.

Что всё равно нужно охлаждать воздухом

После снятия штатного кожуха GPU часть компонентов может лишиться предусмотренного потока. Даже если основной блок закрывает кристалл и память, остаются RAM платы, VRM CPU, сетевой контроллер, M.2, кабели и окружающие зоны. Помпа и жидкость не создают для них вентиляцию.

Тихие корпусные вентиляторы должны подавать поток в эти зоны. Проверка только температуры CPU и GPU недостаточна: станция может иметь хорошие значения на кристаллах и перегревающийся SSD, который снижает скорость после нескольких минут записи.

Для семейства H13SSL важны штатные датчики BMC и доступ к управлению при отказе ОС. Датчик жидкости и расходомер дополняют их, но не заменяют. Панель с красивой температурой теплоносителя не подтверждает исправность каждого контактного узла.

Как связать контур с питанием и аварийным отключением

Питание двух мощных GPU требует подходящего БП, штатных кабелей и корректной установки коннекторов. Нельзя выводить достаточность БП только из мощности водоблоков: помпы и вентиляторы тоже потребляют энергию, а кратковременные режимы отличаются от усреднённой нагрузки.

Нужно определить, что происходит при остановке помпы, потере показаний расхода или перегреве жидкости. Реакция должна завершать нагрузку или безопасно останавливать систему, а не только менять цвет подсветки. Испытание аварии проводят контролируемым способом на тестовой системе; отключать охлаждение работающих дорогих компонентов наугад нельзя.

Отдельно оценивают возврат после перебоя питания. Помпа должна запускаться предсказуемо, контроллер — восстанавливать настройки, а BIOS — не включать тяжёлую нагрузку раньше готовности охлаждения. Сохранённые профили и проверка после обновлений здесь так же важны, как в обычном сервере.

Как организовать заполнение и проверку герметичности

Сначала проверяют механический монтаж, длину трубок и отсутствие боковой нагрузки на штуцеры. Дренаж и точка заполнения должны быть доступны без разборки половины корпуса. Резервуар размещают так, чтобы помпа не работала всухую в предусмотренном режиме заполнения.

Проверку давлением выполняют подходящим инструментом в пределах самого слабого компонента и требований его изготовителя. Произвольное высокое давление опасно и не доказывает качество. При жидкостной проверке основные вычислительные компоненты не должны получать питание; помпа питается предусмотренным отдельным способом.

Воздух удаляют контролируемо, наблюдая уровень и соединения. После первичного заполнения проверяют не только крупные течи, но и медленные следы на фитингах. Время проверки и допустимые критерии определяют регламентом выбранных компонентов. Единого безопасного срока «погоняли пять минут — можно работать» нет.

Как проверить температуру, шум и реальную производительность

После безопасной первичной проверки начинают с малой нагрузки, подтверждают поток и телеметрию, затем переходят к длительной совместной нагрузке CPU и обеих GPU. Измерения продолжаются до установившегося режима, а не заканчиваются сразу после красивого краткого пика.

Записывают температуру комнаты, жидкости на входе/выходе выбранного участка, CPU/GPU, доступных VRM/SSD, обороты, мощность и частоты. Для акустики фиксируют прибор, расстояние, фон и положение корпуса. Без этих условий сравнение с воздушным вариантом остаётся впечатлением.

Скорость приложения проверяют отдельно. Более низкая температура полезна, если она сохраняет нужные частоты и стабильность, но сама по себе не обещает ускорения. Если исходная система уже не троттлила, выигрыш в секундах может оказаться небольшим при заметном изменении акустики.

Проверяемый режим	Обязательные данные	Практический вопрос
Простой	Шум, температура комнаты/жидкости, обороты помпы	Комфортно ли работать рядом
Одна GPU	Мощность, частоты, температура и скорость задачи	Работает ли отдельный тракт
Две GPU + CPU	Установившиеся температуры и расход	Хватает ли общего контура
Тёплое помещение	Рост температур при заданной окружающей среде	Сохраняется ли запас летом
Перезапуск	Старт помпы, профили, уведомления	Возвращается ли система без ручной настройки
Обслуживание	Доступ к дренажу и заменяемым узлам	Можно ли поддерживать конфигурацию весь срок эксплуатации

 

Что входит в обслуживание такой станции

Нужен журнал уровня жидкости, осмотра соединений, состояния фильтров и поведения помпы. Интервал замены теплоносителя определяется его составом и компонентами, а не универсальным советом из чужой сборки. Подливать воду в неизвестную смесь без понимания состава неправильно.

До покупки полезно оценить, кто выполняет обслуживание и где есть подходящие детали. Отсутствие возможности быстро заменить помпу или фитинг может остановить дорогую вычислительную систему. Поэтому запас расходных элементов и понятная спецификация важнее необычного цвета контура.

Замена водоблока или вскрытие узла может влиять на условия гарантии конкретного изделия. Эти условия фиксируют в предложении для готовой станции заранее, без обещания, что любая самостоятельная переделка автоматически сохраняет весь исходный сервис.

Какие датчики действительно помогают управлять контуром

Температура жидкости отражает медленно меняющееся состояние теплоотвода, а температура кристалла быстро реагирует на нагрузку и качество контакта. Для настройки вентиляторов радиаторов часто полезна информация о жидкости, но защиту CPU/GPU нельзя строить только на ней. Плохой контакт блока может перегреть кристалл при ещё прохладной воде.

Расходомер должен показывать понятные единицы. 3 л/мин — это 180 л/ч, а 5 л/мин — 300 л/ч. Перепутанные единицы дают шестидесятикратную ошибку в оценке. Кроме единиц проверяют корректность установки датчика, диапазон, наличие воздуха и воспроизводимость показаний.

Датчики до и после нагруженного участка позволяют оценить перепад, но к нему чувствительны точность и калибровка. Разность двух показаний по 0,5 °C при небольшом истинном перепаде нельзя считать безупречно точным измерением мощности. Для инженерного отчёта указывают используемые датчики и ожидаемую погрешность.

Уведомления требуют проверенного получателя и понятной реакции. Если порог превышен, нужно знать, кто увидит тревогу, остановится ли нагрузка и как вернуться к работе после устранения причины. Наличие одного датчика на панели не означает, что аварийный сценарий организован.

Как выбирать помпу и резервуар без лишних деталей

Помпа подбирается по рабочему контуру, а не только по максимальному расходу без сопротивления. Увеличение числа блоков и быстросъёмных соединений меняет рабочую точку. Две помпы тоже не дают автоматически двукратного расхода: итог зависит от схемы и гидравлики.

Резервуар помогает заполнению, удалению воздуха и наблюдению уровня. Больший объём жидкости увеличивает тепловую инерцию, но сам по себе не повышает установившуюся способность радиаторов отдавать тепло. После прогрева решающими остаются теплопередача и условия воздуха.

На акустику влияет механическое крепление помпы. Вибрация может передаваться на панели корпуса и создавать заметный тон даже при тихих вентиляторах. Поэтому проверяют не только обороты, но и расположение, крепёж и отсутствие напряжения от жёстких трубок. Изоляция не должна ухудшать необходимую фиксацию и обслуживание.

Как спроектировать разборку до первой заливки

Нужно представить несколько обычных операций: заменить GPU, вынуть SSD, очистить фильтр, заменить помпу и полностью слить жидкость. Если доступ к одному винту требует снятия платы и всех трубок, каждое обслуживание становится дорогим. Такой недостаток лучше обнаружить на сухой сборке.

Нижняя точка слива, возможность подставить ёмкость и путь остаточной жидкости должны быть предусмотрены. Быстросъёмные соединения могут облегчить замену узла, но добавляют сопротивление и требования к надёжности. Ставить их во все места подряд без задачи не обязательно.

Трубки не должны передавать боковую нагрузку на плату, карту и фитинги. После нагрева и транспортировки механические условия могут меняться, поэтому перед вводом на новом месте выполняют осмотр и предусмотренную повторную проверку. Заполненная система требует отдельного согласованного порядка перевозки.

Схема контура и состав деталей сохраняются вместе с сервисной документацией. В ней нужны тип жидкости, материалы, размеры соединений, модель помпы, водоблоки и крепёж. Фотография красивой готовой станции не заменяет перечень, по которому можно заказать совместимую замену через год.

Когда ограничение мощности лучше увеличения оборотов

Если приложение не использует весь доступный энергетический бюджет с одинаковой эффективностью, можно исследовать поддерживаемые лимиты мощности. Для каждого допустимого режима измеряют время задачи, входную мощность, температуры и акустику. Выбор делают по результату приложения, а не по самому низкому значению ватт.

Например, небольшое увеличение времени расчёта может быть приемлемо ради более тихой дневной работы, а ночью нужен максимальный режим. Но конкретные проценты выигрыша для этой станции без измерений неизвестны. Приведённые ранее 400 и 600 Вт — сценарные точки расчёта, а не универсальная настройка всех GPU.

Режим должен сохраняться после перезапуска либо восстанавливаться предусмотренным способом с контролем. Если после обновления драйвера лимит сбросится, контур обязан безопасно выдержать согласованный возможный режим или система должна ограничить запуск нагрузки. Нельзя строить тепловую безопасность на незадокументированной временной команде.

Что должно быть в акте приёмки готовой станции

Кроме производительности фиксируют конфигурацию на дату теста: CPU, точные GPU, плата и ревизия, BIOS/BMC, ОС, драйверы, водоблоки, жидкость и профили управления. Отдельно записывают температуру помещения и установившиеся измерения. Тогда через полгода можно отличить изменение условий от деградации охлаждения.

Приёмка должна включать обычную рабочую задачу и совместный тяжёлый режим, предусмотренный спецификацией. Только синтетический GPU-тест не проверяет одновременно CPU, память и накопители, а только тест приложения может не охватить допустимый худший случай. Оба профиля имеют своё назначение.

Владелец получает порядок осмотра, обслуживания и действий при тревоге, а также условия сервиса после модификации компонентов. Если обслуживание выполняет поставщик, должны быть понятны сроки, границы работ и способ безопасно передать станцию. Если обслуживает собственный инженер, ему нужны схема и доступные расходные части.

Именно такой комплект делает индивидуальную жидкостную станцию предсказуемым инструментом. Два мощных ускорителя и серверная плата обеспечивают вычислительную основу, но длительная работа определяется тем, насколько тщательно согласованы питание, теплоотвод, помещение и обслуживание.

Частые вопросы о сервере на водяном охлаждении

Будет ли такая станция бесшумной?

Нет основания обещать бесшумность: остаются помпа, вентиляторы радиаторов, БП и другие источники. Акустическую цель задают числом и методикой, затем подтверждают на готовой системе. Для исходного кейса сопоставимых проверенных дБ здесь нет.

Хватит ли одного большого радиатора?

Размер без условий ничего не гарантирует. Нужны характеристики при выбранном потоке воздуха и перепаде температур, после чего проверяется совместная нагрузка. Условные 1480 Вт основных источников требуют серьёзного расчёта.

Можно ли повторить контур на любой H13SSL?

Плату выбирают по точному артикулу, ревизии, CPU, памяти и расширению, а водоблоки — по конкретным компонентам. Для повторяемой сборки нужны размеры корпуса, крепления и полный состав контура. Одинаковое семейство не заменяет проверку совместимости.

Когда лучше выбрать готовую серверную платформу?

Когда важнее предсказуемый сервис, стандартное обслуживание и подтверждённая совместимость, чем индивидуальная компоновка рядом со столом. Сравнивают серверы Supermicro, доступные GPU и условия размещения. Выбор жидкостной станции должен опираться на задачу, тепловой расчёт и программу приёмки.