Диски большого объёма под архив: HDD против SSD

Жёсткие диски на 12, 16, 20 и 24 ТБ это накопители формата 3,5 дюйма под архивы, резервные копии и видеозапись. Их ставят туда, где считают объём на юнит стойки и пишут длинными последовательными блоками, а время отклика вторично. Ниже разобрано, чем такой диск отличается от SATA SSD по ресурсу и по стоимости хранения единицы объёма, где проходит граница применимости и почему черепичная запись ломает перестройку RAID.

Материал справочный. В каталоге SSE Group ёмких жёстких дисков нет, из накопителей xFusion представлены SATA SSD объёмом до 3,84 ТБ, поэтому парт-номеров HDD в тексте не будет. Вместо них механика класса устройств и расчёты, которые прикладываются к любому паспорту накопителя.

Ёмкий HDD и SATA SSD: где проходит граница

Главное ограничение жёсткого диска механическое, и от объёма оно не зависит. При 7200 оборотах в минуту один оборот занимает 8,33 мс, среднее ожидание нужного сектора вдвое меньше, 4,17 мс, сверху добавляется перемещение головки. В сумме одиночный шпиндель отдаёт порядка сотни случайных операций в секунду, и величина эта одинакова для диска на 4 ТБ и для диска на 24 ТБ.

Отсюда следует правило, которое ломает подбор дисков по одной лишь ёмкости. Четыре накопителя по 24 ТБ и 16 накопителей по 6 ТБ дают одинаковые 96 ТБ, но во втором варианте шпинделей вчетверо больше, значит вчетверо больше случайных операций в секунду и вчетверо выше суммарная скорость сплошного чтения. Если массив не только принимает архив, но и раздаёт файлы наружу, считать надо число шпинделей, а сумма ёмкостей это только вторая половина расчёта.

SMR и CMR: почему черепичная запись плоха под RAID

CMR это классическая запись, при которой дорожки на пластине не перекрываются. SMR укладывает их внахлёст: головка записи шире головки чтения, и перекрытие позволяет разместить на той же пластине больше дорожек, то есть поднять ёмкость без изменения механики. Читается такой диск обычным образом, а вот перезапись одной дорожки в середине зоны задевает соседние, поэтому накопитель вынужден прочитать зону целиком, поменять нужный участок и записать зону обратно.

• Чтение у SMR не отличается от CMR. Разница вылезает только на перезаписи уже занятых зон, и на пустом диске её не видно.
• Drive-managed SMR прячет зонную структуру внутри накопителя. Хост видит обычный диск SATA и не знает, в какой момент начнётся фоновая перекладка зон.
• Во время перекладки задержка отдельной операции растёт с миллисекунд до секунд. RAID-контроллер ждёт ответа ограниченное время, не дожидается и выводит диск из массива как сбойный.
• Перестройка массива это сплошная запись на весь объём нового диска. Буфер быстрой записи внутри накопителя переполняется, и дальше скорость определяется перекладкой зон, а не скоростью пластины.
• Host-managed SMR отдаёт зоны наружу. Порядок записи контролирует файловая система или объектное хранилище, и такие диски ставят под программное обеспечение, которое умеет работать с зонами, а не в обычный массив с чётностью.

Тип записи не вычисляется ни по объёму, ни по интерфейсу. Он указан отдельной строкой в паспорте накопителя, и это первое, что проверяют при подборе дисков в массив с чётностью.

Сколько длится перестройка массива

Перестройка RAID 5 или RAID 6 читает данные с уцелевших дисков, пересчитывает недостающие блоки и пишет их на новый накопитель. Нижнюю границу времени задаёт то, как быстро новый диск примет свой полный объём.

Это именно нижняя граница. Массив в это время продолжает обслуживать обычные запросы, контроллер делит полосу между перестройкой и приложениями, и окно уязвимости растягивается на сутки и дольше. Пока оно открыто, RAID 5 не переживёт отказа второго диска, а RAID 6 остаётся без запаса.

Второй счёт касается невосстановимых ошибок чтения. Если в паспорте диска стоит показатель 1 ошибка на 10¹⁵ прочитанных бит, то одна такая ошибка приходится на 125 ТБ чтения. Перестройка массива из 8 дисков по 20 ТБ читает около 140 ТБ с семи уцелевших накопителей, то есть попадает в тот же порядок величин. По этой причине на ёмких дисках собирают массивы с двойной чётностью, а не с одинарной.

Ресурс: чем меряют выносливость накопителя

У жёсткого диска ресурс задают допустимой годовой нагрузкой, её пишут в терабайтах чтения и записи за год. Архивный накопитель рассчитан на сценарий, где данные пишутся один раз и читаются редко, и постоянная случайная запись выводит его за паспортный режим. Наработка на отказ это статистика по партии, а не срок службы конкретного экземпляра, планировать по ней замену отдельного диска бессмысленно.

У SSD ресурс считают по суммарному объёму записи за срок службы или по числу перезаписей полной ёмкости в сутки. Отсюда деление на два класса: накопители под преобладающее чтение и накопители под смешанную нагрузку. В линейке SATA SSD xFusion это серии PM893a и PM897a соответственно, различия разобраны в статье про SSD xFusion NVMe и SATA.

Отдельный пункт для плотных корзин это вибрация. В шасси на несколько десятков дисков 3,5 дюйма соседние шпиндели раскачивают конструкцию, головка промахивается мимо дорожки, и это видно как рост времени доступа и повторные попытки чтения. Серверные накопители несут датчики вращения и компенсируют вибрацию, потребительские этого не умеют, поэтому в плотную корзину их не ставят.

Что учитывать при проектировании архивного массива

• Тип магнитной записи каждой модели. CMR под массивы с чётностью, SMR только там, где перезаписи почти нет или где зонами управляет само хранилище.
• Схема чётности под фактическую ёмкость диска. Для накопителей в десятки терабайт одинарной чётности не хватает, расчёты по времени перестройки и по ошибкам чтения выше показывают почему.
• Число шпинделей под требуемые операции в секунду. Ёмкость набирается и малым числом крупных дисков, а операции в секунду нет.
• Типоразмер отсека в корзине. Накопитель 2,5 дюйма встаёт в отсек 3,5 дюйма только через переходную рамку, и в каталожных строках xFusion это вынесено в описание отдельной пометкой про типоразмер отсека.
• Контроллер и защита его кэша. Массивы с чётностью чувствительны к наличию кэша записи, сравнение моделей есть в статье про RAID-контроллеры xFusion.
• Правило перемещения между уровнями хранения. Горячие данные держат на SSD, холодные на ёмких дисках или на ленте, и порог перемещения задают до закупки, иначе архив расползётся по быстрому уровню.

Если архив строится не на дисках внутри сервера, а на готовой системе хранения, набор допустимых типоразмеров и правила смешивания накопителей диктует сама система, разбор есть в материале про накопители для СХД Huawei OceanStor. Для дисковых серверов ёмкость корзины смотрят по конкретной платформе, например по серверу xFusion 5288 V7.

Частые вопросы