закрыть меню
Перейти в раздел
Перейти в раздел
закрыть меню
Перейти в раздел
Перейти в раздел
Отправить
спецификацию
на расчет
назад

Сервер xFusion 5288 V7: 4U на 40 дисков для архивов и видео

Время прочтения: 8 минут

Платформа под архивы и видеонаблюдение отличается от обычного сервера пропорцией: почти весь корпус занимают диски, а процессоры и память подбираются под то, чтобы этот поток записать и отдать. Корпус на 40 и более накопителей собирают вокруг 3,5-дюймовых корзин с загрузкой сверху, и внутри появляются два узла, которых нет в сервере общего назначения: экспандер на объединительной плате и RAID-контроллер с кэшем.

Ниже разобраны три решения, из которых складывается такая сборка. Почему берут форм-фактор 3,5 дюйма, зачем между контроллером и дисками ставят экспандер, что даёт кэш при записи в RAID 5 и RAID 6. Дальше таблица шасси с такими корзинами из каталога и перечень того, что считают до заказа.

Почему под архив берут 3,5-дюймовые корзины

Начинать стоит с геометрии, она объясняет и плотность, и способ загрузки. Диск 3,5 дюйма имеет ширину 101,6 мм и высоту 26,1 мм. Полезная ширина в 19-дюймовой стойке около 447 мм, поэтому в один ряд по фронту встают четыре диска. Высота 2U это 88,9 мм, туда помещаются три ряда лотков. Отсюда 12 дисков в двухюнитовом корпусе: ровно такие корзины стоят у шасси 2288H V7 и 2258 V7. В корпусе высотой 1U по той же арифметике остаётся один ряд, и это сервер 1258H V7 с четырьмя отсеками 3,5 дюйма.

Фронтальная загрузка упирается в потолок: даже четыре юнита по фронту дают 24 диска. Платформы на 40 и больше отсеков грузятся сверху, диск ставится на ребро, и по ширине корпуса их встаёт уже 17. Расплата за плотность это обслуживание: чтобы добраться до накопителя, корпус выдвигают из стойки, поэтому длина кабелей и организатор сзади перестают быть мелочью.

Второй довод это ёмкость на отсек. В корпус большего размера помещаются пластины большего диаметра, и при одинаковом поколении магнитной записи такой диск хранит больше. Скорости шпиндельного диска для архива и видеопотока хватает: нагрузка последовательная, головка не мечется между блоками.

Накопители 2,5 дюйма в такую корзину ставятся через переходную рамку, и у вендора это отдельная позиция. В каталоге xFusion один и тот же SATA SSD присутствует в двух артикулах, разница только в исполнении салазок:

ЁмкостьАртикул под корзину 3,5″Артикул под корзину 2,5″Ресурс перезаписи
480 ГБ0255YBMY0255YBMXRead Intensive
960 ГБ0255YBNB0255YBNARead Intensive
1920 ГБ0255YBSW0255YBSVRead Intensive
3840 ГБ0255YBSY0255YBSXRead Intensive

Электрически это один накопитель с интерфейсом SATA 6 Гбит/с, то есть 600 МБ/с на порт. Ошибка в артикуле означает, что диск приедет без рамки и в 3,5-дюймовый отсек не встанет. Под постоянную запись берут серию PM897a (0255YADA, 0255YACX, 0255YADH), у неё выше ресурс перезаписи. Разбор линейки лежит в статье про SSD xFusion в исполнениях NVMe и SATA.

Зачем платформе на 40 дисков экспандер

RAID-контроллер отдаёт фиксированное число линий. Индекс 16i означает 16 внутренних линий, собранных в четыре разъёма по четыре линии. Отсеков в такой платформе больше: у шасси 5298 V7 (0231YDAH) их 60 под диски 3,5 дюйма плюс 8 под 2,5 дюйма, а контроллер в описании вендора один. Разложить 68 накопителей по 16 линиям напрямую невозможно.

Экспандер это коммутатор SAS, распаянный на объединительной плате. Он принимает четыре линии со стороны контроллера и раздаёт их на десятки отсеков, выделяя полосу тому диску, который сейчас отвечает на команду. Устройство самих плат разобрано в материале про объединительные платы xFusion.

Полоса считается однозначно. Линия SAS 12 Гбит/с с кодированием 8b/10b даёт 1 200 МБ/с, разъём из четырёх линий 4 800 МБ/с. Если принять последовательную скорость шпиндельного диска за 250 МБ/с, то 20 накопителей за одним таким разъёмом в пике запросят 5 000 МБ/с и упрутся в линк.

Для видеонаблюдения этот потолок далёкий. Сто камер с потоком 4 Мбит/с дают 400 Мбит/с, то есть 50 МБ/с на запись, и полоса разъёма перекрывает такую нагрузку многократно. Ограничение вылезает в другом режиме: при перестроении массива и при фоновой проверке целостности контроллер читает все диски одновременно, и упор смещается на шину. Слот PCIe 3.0 x8 отдаёт около 7 880 МБ/с, слот PCIe 4.0 x8 около 15 750 МБ/с.

Тип корзины подписан в названии шасси. Метка EXP означает корзину с экспандером, метка Through прямое подключение отсеков к контроллеру. Сравните 0231YBFU (12*3.5inch HDD EXP Chassis) и 0231YBKU (12*3.5inch HDD Through Chassis): дисков поровну, но во втором случае каждый отсек занимает свою линию. Прямое подключение даёт предсказуемую полосу на диск и упирается в число линий контроллера.

Что меняет RAID-контроллер с кэшем

Кэш на плате принимает запись и подтверждает её хосту раньше, чем данные лягут на пластины. Для массивов с контрольной суммой это принципиально: чтобы изменить один блок в RAID 5 или RAID 6, контроллер обязан прочитать старые данные и старую контрольную сумму, пересчитать её и записать обе части. Кэш копит мелкие записи до полной полосы, и тогда пересчёт идёт один раз на полосу вместо четырёх обращений к дискам на каждый блок.

Обратная сторона в том, что подтверждённые хосту данные некоторое время живут только в микросхемах памяти контроллера. При пропадании питания они теряются, а массив получает несогласованные контрольные суммы. Поэтому режим отложенной записи включают вместе с модулем защиты: суперконденсатор держит плату ровно столько, чтобы сбросить кэш во флеш-память. Как устроен такой модуль, показано в статье про суперконденсатор xFusion 0817Y002, а сравнение самих плат по числу портов и объёму кэша лежит в разборе RAID-контроллеров xFusion.

Второй эффект виден на перестроении: пока массив восстанавливает данные отказавшего диска, он одновременно принимает новую запись, и без кэша эти потоки конкурируют за одни головки.

Шасси с 3,5-дюймовыми корзинами в каталоге

АртикулПлатформаДисковые отсекиКорзина по строке вендора
0231YDAH5298 V760 отсеков 3,5″ и 8 отсеков 2,5″кабельная карта, один RAID-контроллер 16i
0231YCXB2288H V712 отсеков 3,5″EXP, два RAID-контроллера
0231YBFV2288H V712 отсеков 3,5″ и модуль на 4 отсека 3,5″EXP
0231YBFU2288H V712 отсеков 3,5″EXP
0231YBKU2258 V7 (AMD Genoa)12 отсеков 3,5″Through
0231YBKV2258 V7 (AMD Genoa)12 отсеков 3,5″, 4 из них под NVMeThrough
0231YBJT1258H V7 (AMD Genoa)4 отсека 3,5″корпус 1U

Платформа на 40 и более отсеков в этом срезе каталога одна, это 5298 V7. Остальные позиции относятся к двухюнитовому классу на 12 дисков, где ёмкость набирают числом узлов, а не плотностью корпуса: конфигурации расписаны в обзоре сервера xFusion 2288H V7. Если ёмкость нужна отдельно от вычислительной части, её набирают дисковыми полками Huawei OceanStor.

Что посчитать до заказа

  • Поток на запись в мегабайтах. Для видеонаблюдения складываем битрейты камер и делим на 8, для резервного копирования делим объём копии на окно. Результат сравниваем с полосой разъёма x4, то есть с 4 800 МБ/с.
  • Разбивку на дисковые группы. Одна группа RAID 6 на все отсеки перестраивается тем дольше, чем больше в ней дисков. Несколько групп по 10 или 12 дисков восстанавливаются независимо.
  • Горячий резерв. Диск замены держат в самой платформе и назначают в конфигурации контроллера, иначе восстановление начнётся не в момент отказа, а в момент визита инженера.
  • Поколение слота PCI Express под контроллер. Плата встанет и в слот прошлого поколения, но разница между 7 880 и 15 750 МБ/с видна на перестроении.
  • Питание и раскрутку. Несколько десятков шпиндельных дисков дают пусковой ток выше рабочего, поэтому контроллер поднимает их группами. Режим последовательной раскрутки проверяют до ввода в работу.
  • Артикулы салазок для SSD. Накопители под 3,5-дюймовую корзину заказывают в исполнении с рамкой, номера приведены в таблице выше.

Частые вопросы

Сколько дисков 3,5 дюйма помещается в корпус высотой 2U?

Двенадцать при фронтальной загрузке. Ширина диска 101,6 мм, полезная ширина стойки около 447 мм, отсюда четыре диска в ряд. Высота корпуса 88,9 мм при высоте диска 26,1 мм даёт три ряда. Платформы на 40 и более отсеков переходят на загрузку сверху.

Зачем экспандер, если можно поставить несколько RAID-контроллеров?

Так тоже делают: у шасси 0231YCXB в описании вендора два контроллера. Но каждая плата занимает слот PCI Express и добавляет отдельный массив со своей конфигурацией. Экспандер закрывает подключение одной платой, взамен группа отсеков делит общую полосу.

Можно ли поставить SSD в 3,5-дюймовую корзину?

Да, накопитель 2,5 дюйма ставится в такой отсек через переходную рамку, и в каталоге это отдельный артикул. Например, SSD на 3840 ГБ идёт под номером 0255YBSY для корзины 3,5 дюйма и 0255YBSX для корзины 2,5 дюйма. Сам накопитель в обоих случаях одинаковый, с интерфейсом SATA 6 Гбит/с.

RAID 5 или RAID 6 на массиве из нескольких десятков дисков?

RAID 6 держит отказ двух дисков в группе, RAID 5 только одного. На перестроении контроллер читает все оставшиеся диски группы целиком, и нагрузка в этот момент выше штатной. Для архива из дисков большой ёмкости берут две контрольные суммы и добавляют горячий резерв.

Нужен ли кэш на контроллере, если запись последовательная?

На чистой последовательной записи полной полосой выигрыш небольшой. Он появляется там, где массив параллельно обновляет метаданные файловой системы, обслуживает чтение архива и перестраивается после замены диска. Такой режим для архива штатный, поэтому плату с памятью и защитой кэша закладывают сразу.


16 июня
Читайте также