HBA-адаптер Fibre Channel это плата расширения, которая подключает сервер к сети хранения. Сервер видит тома СХД как локальные диски, а обмен с хранилищем идёт по отдельной оптической сети и не занимает полосу локальной сети. В каталоге xFusion девять позиций на контроллерах Emulex и QLogic: скорости 16, 32 и 64 Гбит/с, исполнения на один и на два порта. Выбирают по скорости порта, числу портов и поколению шины PCI Express. Шина ограничивает сильнее двух первых параметров: двухпортовая плата на 64 Гбит/с в слоте PCIe 3.0 x8 полной полосы не получит, поэтому в описании вендора у неё стоит PCIe 4.0 x8.
Семь позиций каталога собраны на контроллере Emulex и разложены по четырём линейкам. LPe31000 и LPe31002 работают на 16 Гбит/с, LPe32000 и LPe32002 на 32 Гбит/с при шине третьего поколения, LPe35000-AP и LPe35002-AP дают те же 32 Гбит/с уже на четвёртом поколении. Отдельно стоят две платы QLogic на 32 Гбит/с и LPe36002-AP на 64 Гбит/с. Однопортовое и двухпортовое исполнение есть у линеек на 16 и 32 Гбит/с, а на 64 Гбит/с в каталоге только двухпортовая плата.
| Артикул | Модель | Контроллер | Скорость | Портов | Шина | Разъём по описанию вендора | Трансиверы по описанию вендора |
|---|---|---|---|---|---|---|---|
| 0257Y109 | LPe31000 | Emulex | 16 Гбит/с | 1 | PCIe 3.0 x8 | SFP+ | 1 многомодовый |
| 0257Y110 | LPe31002 | Emulex | 16 Гбит/с | 2 | PCIe 3.0 x8 | SFP+ | 2 многомодовых |
| 0257Y111 | LPe32000 | Emulex | 32 Гбит/с | 1 | PCIe 3.0 x8 | SFP+ | 1 многомодовый |
| 0257Y112 | LPe32002 | Emulex | 32 Гбит/с | 2 | PCIe 3.0 x8 | SFP+ | 2 многомодовых |
| 0257Y122 | LPe35000-AP | Emulex | 32 Гбит/с | 1 | PCIe 4.0 x8 | SFP28+ | 1 многомодовый |
| 0257Y123 | LPe35002-AP | Emulex | 32 Гбит/с | 2 | PCIe 4.0 x8 | SFP28+ | 2 многомодовых |
| 0257Y124 | QLE2770-CEM-BK | QLogic | 32 Гбит/с | 1 | PCIe 4.0 x8 | не указан | не заявлены |
| 0257Y125 | QLE2772-CEM-BK | QLogic | 32 Гбит/с | 2 | PCIe 4.0 x8 | не указан | не заявлены |
| 0257Y302 | LPe36002-AP | Emulex | 64 Гбит/с | 2 | PCIe 4.0 x8 | не указан | не заявлены |
Одна и та же скорость 32 Гбит/с стоит у шести позиций, и это главная развилка внутри таблицы: LPe32000 и LPe32002 рассчитаны на PCIe 3.0, остальные четыре на PCIe 4.0. Если в сервере свободен только слот третьего поколения, в описании вендора под него заявлены четыре позиции: LPe31000, LPe31002, LPe32000 и LPe32002. Остальные платы на 32 Гбит/с заявлены как PCIe 4.0 x8, но по полосе в слот третьего поколения тоже укладываются, а LPe36002-AP на 64 Гбит/с нет.
Полезная пропускная способность порта Fibre Channel считается по стандарту, а не по цифре в названии. Порт 32 Гбит/с отдаёт около 3 200 МБ/с в одну сторону, порт 64 Гбит/с около 6 400 МБ/с. Полоса слота PCI Express зависит от поколения и числа линий, и дальше достаточно сравнить два числа: сколько плата запрашивает и сколько слот отдаёт.
Перед заказом платы на 64 Гбит/с смотрим в спецификацию сервера, какое поколение PCI Express у свободных слотов. Число линий важно не меньше: слот x16 примет плату x8 без потерь, слот x4 срежет полосу вдвое. Какие слоты и с каким числом линий выведены на конкретный райзер, разобрано в статье про райзер-карты xFusion.
Механически LPe36002-AP встаёт в слот PCIe 3.0 x8 и работает, но шина отдаёт около 60 % требуемой полосы. Ошибки при этом нигде не видно, скорость просто не достигается, и вскрывается это уже после монтажа, когда свободного слота PCIe 4.0 в сервере не осталось.
Emulex и QLogic отличаются комплектацией и обозначением исполнения, а по скорости, числу портов и шине двухпортовые платы на 32 Гбит/с совпадают. Драйверы у контроллеров разные, утилиты диагностики тоже. Поэтому по характеристикам выбор не сделать: смотрят в списки совместимости массива и коммутаторов SAN.
| Что сравниваем | Emulex LPe35002-AP (0257Y123) | QLogic QLE2772-CEM-BK (0257Y125) |
|---|---|---|
| Скорость и порты | 32 Гбит/с, 2 порта | 32 Гбит/с, 2 порта |
| Шина | PCIe 4.0 x8 | PCIe 4.0 x8 |
| Разъём по описанию вендора | SFP28+ | не указан |
| Трансиверы по описанию вендора | 2 многомодовых | не заявлены |
| Когда берут | в парке уже стоят платы Emulex и нужен один комплект драйверов на всё | в списках совместимости массива и коммутаторов SAN есть платы QLogic |
Выбирают по тому, что уже стоит в инфраструктуре. Смешивать контроллеры разных производителей в одной фабрике можно, но это два комплекта драйверов, две утилиты диагностики и две прошивки, которые обновляются по разным графикам. На складе запчастей это тоже сказывается: подменная плата должна быть на том же контроллере, иначе замена превращается в установку драйверов на работающем сервере.
Порт Fibre Channel закрывается оптическим модулем, и модуль этот протокольный: 16GFC и 32GFC это не Ethernet на 16 и 32 Гбит/с. Форм-фактор по описаниям вендора известен у шести позиций: SFP+ у LPe31000, LPe31002, LPe32000 и LPe32002, SFP28+ у LPe35000-AP и LPe35002-AP. У QLE2770-CEM-BK, QLE2772-CEM-BK и LPe36002-AP разъём в описании не указан.
Там, где модули заявлены, их число совпадает с числом портов: один на однопортовую плату, два на двухпортовую. У QLE2770-CEM-BK, QLE2772-CEM-BK и LPe36002-AP модули в описании вендора не заявлены, поэтому их закладывают отдельными позициями под требуемую скорость, тип волокна и дальность. Такие модули подбираем под конкретный проект. Модули для портов Ethernet это другая номенклатура, они собраны в статье про оптические трансиверы xFusion.
Модуль SFP28 на 25 Гбит/с и модуль 32GFC внешне одинаковы и встают в один разъём. Линейные скорости у них разные, и порт адаптера чужой модуль либо не примет, либо не поднимет на нём линк. В строке спецификации должно стоять обозначение FC под скорость порта: 16GFC, 32GFC или 64GFC, а не 10GBase-SR и не 25GBase-SR.
Скорость порта и число портов это половина спецификации. Остальное задаёт то, к чему адаптер подключается: скорость фабрики SAN, длина трассы, требования массива к прошивке и схема зонирования на коммутаторе. Пять пунктов ниже собраны из того, что чаще всего выясняется уже на монтаже, когда менять позиции поздно.
Адаптер, оптические модули и патчкорды собирают под конкретную пару сервер плюс массив, поэтому спецификацию считают целиком, а не по одной строке. Чем различаются массивы, к которым подключается сервер, разобрано в статье про OceanStor Dorado 3000, 5000 и 6000 V6. Самая быстрая позиция списка, LPe36002-AP на 64 Гбит/с, есть в каталоге отдельной карточкой.
Протоколом и назначением. Сетевая карта работает с Ethernet и передаёт сетевой трафик, HBA работает с Fibre Channel и передаёт блочные команды к дискам. Сервер видит подключённый через HBA том как локальный диск. Протокол при этом обрабатывает процессор самой платы, а не процессор сервера. Задачи Ethernet закрывают сетевые карты xFusion.
Механически плата встанет и заработает, но упрётся в шину: полосы третьего поколения на восьми линиях двум портам не хватит. Полную скорость такая связка не даст. LPe36002-AP (0257Y302) в описании вендора заявлен как PCIe 4.0 x8, и в слот прошлого поколения его ставят разве что ради портов, а не ради скорости.
Нет. Модуль подбирают под протокол и скорость порта: для Fibre Channel это 16GFC, 32GFC или 64GFC. Форм-фактор по описанию вендора известен у шести плат Emulex, SFP+ или SFP28+, а у QLE2770-CEM-BK, QLE2772-CEM-BK и LPe36002-AP разъём не указан и уточняется у поставщика. Ethernet-модуль в таком порту линк не поднимет.
Для отказоустойчивого подключения к SAN берут две платы и разводят их по разным слотам и разным фабрикам. Двухпортовая плата резервирует линк, но не резервирует саму плату: при её отказе сервер теряет оба пути сразу. Переключением путей занимается драйвер multipath на стороне операционной системы.
Совместимость проверяют по списку протестированных адаптеров. Такой список производитель СХД ведёт для каждой модели массива и каждой версии микрокода, там же указаны допустимые прошивки платы. Со стороны массива за порты Fibre Channel отвечают модули SmartIO на 16, 32 и 64 Гбит/с, они разобраны в обзоре OceanStor Dorado.
По идентификатору вендора в списке устройств PCI: 10DF это Emulex, 1077 это QLogic. Модель и версия прошивки видны в iBMC на вкладке с составом системы, а в Linux их показывают вывод lspci и утилита производителя платы. Там же виден WWPN каждого порта.
