Сетевые карты xFusion: от 1GbE до 25GbE, парт-номера и характеристики

Сетевая карта в сервере xFusion выбирается не по одной цифре скорости. Кроме скорости и числа портов у карты есть форм-фактор: плата в слот PCI Express или модуль OCP 3.0. От контроллера зависят драйверы и разгрузка процессора, а слот должен подойти по поколению и ширине.

• В каталоге 14 парт-номеров сетевых карт xFusion: две позиции на 1 Гбит/с, четыре на 10 Гбит/с и восемь на 25 Гбит/с.
• Семь позиций вендор прямо помечает как OCP 3.0, у 0231Y821 в описании стоит «Half-height Half-length», у 0257Y106 и 0257Y107 форм-фактор не назван.
• Пометка «without Optical Transceiver» или «without Optical Module» стоит у восьми позиций: модули к ним считаются отдельно, по два на каждый линк.
• Три карты работают по меди с разъёмом RJ45: 0231Y803, 0302Y044 и 0302Y237. Трансиверы им не нужны.
• Два порта по 25 Гбит/с запрашивают 6 250 МБ/с, слот PCIe 3.0 x8 отдаёт около 7 880 МБ/с.

Сетевые карты xFusion: парт-номера и характеристики

Скоростей в каталоге три: 1, 10 и 25 Гбит/с. Разъёмов тоже три: RJ45 на 1 Гбит/с и на одной карте 10 Гбит/с, SFP+ на 10 Гбит/с, SFP28 на 25 Гбит/с. Портов у всех позиций два, четыре только у XP212. Шина идёт от PCIe 2.0 x4 у гигабитных карт до PCIe 4.0 x8 у четырёх карт на 25 Гбит/с.

OCP 3.0 вендор пишет прямо, и таких позиций семь. У 0231Y821 стоит «Half-height Half-length», то есть плата половинной высоты и длины. У XP210, XP212, SP310 и XP330 пометки OCP в описании нет, эти карты идут платами в слот. У 0257Y106 и 0257Y107 форм-фактора в описании нет вовсе. У 0257Y107 на OCP 3.0 указывает пометка ocp3 в адресе карточки каталога, а у 0257Y106 признаков формы нет никаких, поэтому обе позиции подтверждаем по спецификации перед отгрузкой.

Оптические модули считаются отдельно

У восьми позиций из четырнадцати вендор прямо пишет, что карта идёт без трансиверов. В описаниях каталога это записано двумя разными фразами: «without Optical Transceiver» и «without Optical Module». Смысл у них один, вендор просто пишет по-разному, поэтому искать по точной фразе бесполезно. Модули к таким картам считаются отдельной строкой спецификации, по два на каждый линк.

Пара модулей подбирается под тип волокна и длину трассы, карта задаёт только скорость и тип разъёма. Парт-номера трансиверов на 10, 25 и 100 Гбит/с с дальностями разобраны в статье про оптические трансиверы xFusion.

Сколько линий PCIe нужно карте

Полосу задаёт слот, а не только контроллер. Линия PCIe 3.0 даёт около 985 МБ/с, линия PCIe 4.0 около 1 970 МБ/с. Порт Ethernet на 25 Гбит/с в одну сторону это 3 125 МБ/с, порт на 10 Гбит/с запрашивает 1 250 МБ/с. Если полосы слота не хватает, карта отдаёт меньше своей номинальной скорости, и по индикации линка это никак не видно.

• Два порта по 10 Гбит/с запрашивают 2 500 МБ/с. PCIe 2.0 x8 даёт около 4 000 МБ/с, запас есть, поэтому SP310 отдаёт полную скорость на шине второго поколения.
• Два порта по 25 Гбит/с запрашивают 6 250 МБ/с. PCIe 3.0 x8 даёт около 7 880 МБ/с, этого хватает. Карты на PCIe 4.0 x8 держат вдвое больше, и такой запас пригодится в слоте, разведённом на половину линий.
• Два порта по 100 Гбит/с запрашивают 25 000 МБ/с, а PCIe 4.0 x8 отдаёт около 15 750 МБ/с, поэтому двухпортовой карте нужен слот x16 с его 31 500 МБ/с. Однопортовая карта на 100 Гбит/с укладывается в x8. Позиций на 100 Гбит/с в каталоге сетевых карт xFusion сейчас нет, расчёт приведён как общее правило.
• Число линий важнее поколения. Карта x8 в разъёме с четырьмя рабочими линиями потеряет половину полосы, и в спецификации сервера это видно только по сноске к слоту.

OCP 3.0 или плата в слот

OCP 3.0 это форм-фактор сетевого модуля, который ставится в отдельный отсек шасси и не занимает слот PCI Express. Такой модуль берут под основную сеть сервера, чтобы слоты остались под графические ускорители и адаптеры хранения. Плату берут под вторую и третью сеть либо под скорость, которой в OCP-исполнении нет. В каталоге семь позиций из четырнадцати идут модулями OCP 3.0.

Сколько в платформе слотов, какой они ширины и есть ли отсек OCP, зависит от модели сервера, поэтому подбор карты начинается с неё. Как это устроено в конкретной модели, видно в разборе сервера FusionServer 2288H V7: там расписаны райзеры и то, какие слоты доступны в каждой конфигурации.

Контроллеры: Intel, Broadcom и Mellanox

Контроллер определяет драйвер, набор разгрузок и то, сколько работы карта снимает с процессора. В четырнадцати позициях каталога встречаются шесть семейств: Intel I350, Intel 82599, Intel X710 и E810, Broadcom BCM574xx, Mellanox CX5 и CX6. Разница между ними видна не в цифре скорости порта, а в списке того, что обрабатывается на самой карте.

RoCE это удалённый доступ к памяти поверх Ethernet: данные перекладываются между узлами без участия процессора. Нужен он вычислительным кластерам и трафику хранения по NVMe over Fabrics, веб-серверу и файловым сервисам выигрыша не даёт. Если сервер подключается к дисковому массиву по Fibre Channel, сетевая карта эту задачу не закрывает совсем, нужны HBA-адаптеры.

Как опознать карту в сервере

Модель читается двумя путями: по составу оборудования в iBMC, встроенном контроллере управления сервером, и по идентификаторам PCI в операционной системе. Идентификатор вендора у всех карт одного производителя одинаковый: 8086 это Intel, 14e4 это Broadcom, 15b3 это Mellanox. Идентификатор устройства указывает уже на контроллер, например 159b у Intel E810 и 16d7 у Broadcom BCM57414.

В описаниях каталога идентификаторы стоят не у всех позиций. Они есть у восьми: 0302Y237, 0302Y435, 0257Y106, 0257Y107, 0257Y108, 0302Y238, 0302Y239 и 0302Y434. У 0231Y803, 0302Y044, 02310YHP, 0302Y046, 0231Y821 и 03027VTB их в описании нет, и такая карта опознаётся уже в сервере: командой lspci в Linux или списком плат в iBMC. Оба способа работают до установки драйвера.

Частые вопросы