GPU-серверы xFusion для ИИ и HPC: модели G5200 V7, CG2200, CG6620

Сервер под ускорители отличается от обычного стойкового сервера тремя вещами: райзерными модулями с полноразмерными слотами x16, запасом по питанию и продувкой, рассчитанной на карты без собственных вентиляторов. Сама карта это только один парт-номер из трёх: к ней подбирается райзерный модуль под конкретную зону ввода-вывода и шасси, которое такую конфигурацию поддерживает.

Ниже парт-номера ускорителей, райзерных модулей и шасси из каталога. Дальше расчёт, сколько карт помещается в машину и чем задан этот потолок, разбор названия райзерного модуля и объяснение, почему пассивная карта живёт только в закрытом серверном корпусе.

Ускорители в каталоге: парт-номера и характеристики

Разница в подробности описания не случайна. У линейки L строка вендора раскрывает карту целиком, вплоть до числа слотов и типа охлаждения, а у Tesla A в каталожной строке стоят только объём памяти и поколение шины. Мощность и полосу памяти по A100, A800, A16 и A10 берут из документации NVIDIA на конкретное исполнение, а не из каталожной строки. Отдельно смотрим на приписки: один и тот же ускоритель идёт под разными артикулами, привязанными к платформе или к числу карт в конфигурации, и подставить вместо такого артикула соседний не выйдет.

Сколько ускорителей помещается в шасси

Четыре карты в стандартном 2U-шасси это не ограничение задней панели, а сумма четырёх независимых потолков. Каждый из них считается отдельно, и упереться можно в любой:

• Механика. Двухслотовая карта вроде L20 занимает два посадочных места, поэтому четыре таких карты съедают восемь слотовых окон. Однослотовая L2 половинной высоты в тот же объём укладывается плотнее.
• Питание. Четыре L20 по 350 Вт это 1 400 Вт только на ускорителях, без процессоров, памяти, дисков и вентиляторов. Четыре L2 по 72 Вт дают 288 Вт, разница почти пятикратная.
• Линии PCIe. Четыре слота x16 это 64 линии, и эти линии не достаются NVMe-накопителям и сетевым картам. В конфигурации 0231YBGC с восемью дисками NVMe бюджет линий распределяется между дисковой корзиной и райзерами.
• Тепло. 1 400 Вт с карт нужно вынести воздухом через глубину шасси. Именно здесь конфигурация с ускорителями чаще всего и упирается, а не в число разъёмов.

Полоса шины при этом остаётся с запасом: слот PCIe 4.0 x16 отдаёт около 31 500 МБ/с в одну сторону, четыре карты при одновременной загрузке запрашивают 126 000 МБ/с, и это нагрузка на корневой комплекс процессора, а не на отдельный слот. Когда карт нужно больше, чем держит основное шасси, ставится отдельный корпус расширения: CG6620 GPU BOX (H60GM-07-S8NM01) как раз такой, у него собственный интерфейс управления и своя продувка.

Райзерный модуль под двухслотовую карту

Райзер это переходная плата, которая выносит слоты PCIe с материнской платы в съёмный модуль и разворачивает их параллельно днищу корпуса. Полноразмерная карта в стойковом шасси высотой 2U вертикально не встаёт по высоте, поэтому её кладут вдоль корпуса, а весь блок с картами вынимается целиком. Название модуля у вендора устроено одинаково и читается по частям.

Из таблицы видно два практических следствия. Первое: модуль привязан к номеру зоны ввода-вывода, поэтому райзер под IO3 не заменяется райзером под IO5, даже если электрически они одинаковы. Второе: часть модулей несёт слоты PCIe 5.0, а все ускорители из каталога заявлены под PCIe 4.0 x16. Поколение 5.0 в таком слоте карте ничего не добавит, её потолок остаётся на уровне 31 500 МБ/с, зато освободившийся запас пригодится соседней карте расширения в той же зоне. Подробнее о том, как устроены обозначения таких модулей, есть в разборе про райзер-карты xFusion.

Почему пассивная карта требует серверной продувки

У L20 и L2 в строке вендора стоит passive: на карте нет ни одного вентилятора, только радиатор со сквозными каналами. Воздух через него гонят вентиляторы шасси, поток идёт спереди назад и проходит радиатор насквозь. Ускоритель в такой схеме не имеет собственной защиты от перегрева, кроме снижения частот, поэтому вся ответственность за 350 Вт лежит на корпусе. Отсюда набор условий, которые нарушаются чаще всего:

• Крышка закрыта. Со снятой крышкой напор пропадает, воздух уходит вверх мимо радиатора, и карта начинает сбрасывать частоты через минуты работы под нагрузкой.
• Заглушки на месте. Пустые отсеки дисков, свободные слоты и снятый блок питания это дыры, через которые воздух идёт по короткому пути, а не через карты.
• Профиль вентиляторов поднят. Конфигурация с ускорителями требует своего набора вентиляторных модулей и своего порога оборотов, тот же корпус с обычной картой расширения работает на другом профиле.
• Стойка разделена на коридоры. Если горячий выхлоп соседа попадает на вход сервера, температура на входе радиатора растёт, и запаса по тепловому пакету не остаётся.

Практический вывод для сборки на столе: пассивную карту в настольном корпусе проверять бесполезно, там нет направленного потока. Тестовый стенд собирается в том же шасси, в котором машина поедет к заказчику. Подбор вентиляторных модулей под конфигурацию разобран в статье про модули вентиляторов xFusion.

Что передать в спецификацию

• Модель шасси и вариант дисковой корзины. От него зависит, сколько зон ввода-вывода свободно под райзеры и сколько линий PCIe уже занято дисками.
• Артикул райзерного модуля под каждую зону. Номер зоны (IO1, IO3, IO5) или номер райзера указывается явно, иначе модуль приедет не в то место.
• Суммарная мощность карт. Четыре L20 это 1 400 Вт сверх остальной начинки, и под этот запас подбираются блоки питания CRPS нужного номинала.
• Сеть между узлами. Двухпортовая карта 200 Гбит/с (0231YDEF) стоит в слоте PCIe 5.0 x16 не для красоты: два порта дают 50 000 МБ/с, а PCIe 4.0 x16 отдаёт около 31 500 МБ/с. Остальные варианты собраны в обзоре про сетевые карты xFusion.
• Лицензии на ПО. Подписки NVIDIA AI Enterprise Essentials считаются на каждый ускоритель отдельно (артикулы 0505Y290, 0505Y291, 0505Y292 на 5, 3 и 1 год), и в спецификации их число совпадает с числом карт.

Частые вопросы