Технология хранения данных SAS была бесспорным выбором для организации корпоративных хранилищ данных в течение двух десятилетий благодаря балансу производительности и стоимости, высокому уровню надежности и масштабируемости. Она использует расширители SAS как экономически эффективный способ наращивания и управления очень большими массивами данных.
Борьба за быстродействие
Если бы дело было только в объемах хранения. Требования критических к производительности приложений привели к появлению NVMe, скоростного протокола обмена данными с накопителями на флэш-памяти. Твердотельные NVMe SSD корпоративного уровня лучше носителей с интерфейсом SAS по уровню задержек и значительно производительнее в операциях, как с последовательным, так и произвольным доступом. Под интенсивными одновременными запросами им нет равных, так как в протоколе заложена параллелизация обработки ввода-вывода, а шина PCIe обеспечивает прямой доступ CPU к данным по нескольким полосам.
Технологии не сменяют друг друга мгновенно. К тому же у разных накопителей разные роли в инфраструктуре хранения данных. Cтандарты сосуществуют бок о бок на протяжении долгого времени. Со смесями дисков SAS и SATA проще – ими управляют те же контроллеры. Дисковые корзины, объединительные платы, кабельное хозяйство – все общее. Другое дело – NVMe SSD. По своей природе они не нуждаются в посредниках (контролерах на шине PCIe), пропускающих поток данных через себя. Хотя в массовых серверах прижился стандарт U.2 (2.5” NVMe SSD) – для совместимости с типичными дисковыми корзинами горячей замены, подсистема ввода-вывода серверов претерпела радикальные изменения. В серверах появились гибридные объединительные платы с двумя наборами коммутации, двумя сигнальными системами, двумя клоками кабелей: отдельно под SAS/SATA, отдельно под U.2.
Ложная тропа Tri - mode / U.3
С подачи и под влиянием разработчиков RAID-контролеров индустрия сделала шаг обманчивой дорожкой «универсальности». Новое поколение трехрежимных (Tri-mode) RAID-контроллеров способно обслуживать накопители SAS/SATA/NVMe. Предложенный впоследствии стандарт U.3 хранилища с универсальными отсеками 2.5” и автоопределением типа дисков усилил привязку дисковых подсистем к таким контроллерам. Трехрежимная платформа U.3 построена на однородной конструкции объединительной платы и едином типе разъема. Ее обязательные элементы: (1) трехрежимный контроллер; (2) универсальные разъемы; (3) универсальная структура управления (Universal Bus Management).
Кажущаяся полезность автоматического определения типа диска, единого кабельного подключения и направления трафика данных оказалась иллюзией. Даже совместное использование дисков SAS и SATA под одним контроллером - редкость. Добавление NVMe к этой комбинации имеет еще меньше смысла – подключение Tri-mode контроллера к шине PCIe максимум по 16 линиям убивает потенциал производительности (один NVMe требует четырех линий). О ее масштабируемости даже речь не идет. Такие контролеры значительно дороже предшественников SAS/SATA - что само по себе обесценивает аргументы об экономии на кабелях и комфорте пользователя.
Разграничение полномочий
В разъеме U.2 линии SAS/SATA отделены от линий NVMe, что позволяет разработчикам систем независимо масштабировать решения с помощью доступных расширителей SAS и коммутаторов PCIe. Например, серверные платформы ASUS 2U/24 x 2.5” – NVMe-ready, все посадочные места под диски принимают U.2 или U.3 SSD. Часть из них подключена к портам SATA на материнской плате. Добавив аппаратный HBA или RAID-контроллер, в 8 отсеков можно поставить SAS/SATA SSD (HDD).
Поскольку Tri-mode RAID-контроллеры ограничивают возможности NVMe, поиски производительных решений направлены на раскрытие потенциала флэш-накопителей за счет увеличения параллелизма, шинного и устройств обработки. Охота за производительностью исключает объединение миров SAS и NVMe общими элементами коммунальных хранилищ. За пределами вычислительного хоста все отдельное: схемотехника подключения, кабельное хозяйство, механизмы защиты данных с помощью RAID.
NVMe превыше всего
Все идет к тому, что серверы приложений с преимущественно горячими данными перейдут полностью на NVMe. Таких данных много не бывает, а набрать несколько десятков терабайт емкими NVMe SSD несложно (и не так уж дорого, учитывая назначение серверов). Платформы 1U/10-12 x 2.5” под U.2/U.3 SSD, одно- или двухпроцессорные, становятся основой серверов баз данных, высокоскоростных вычислителей, серверов аналитики, узлов гиперконвергентной инфраструктуры. Места для SAS/SATA SSD там нет, уж не говоря о HDD.
Судьба HDD
Высокоемкие механические диски остаются носителями холодных данных: фильмотек, систем видеонаблюдения, хранилищ резервных копий, архивов. Когда HDD составляют основную часть сметы, удельная стоимость хранения имеет решающее значение. Обычно в таких системах преобладают поточные операции с последовательным доступом к данным, где преимущества SSD почти неощутимы – поэтому их там нет.
При необходимости размещения сотен терабайт данных уместно модульное распределение: управляющий сервер по отдельности, механические диски по отдельности - в полке JBOD, подключенной к хосту по 12G SAS. Так достигается высокая плотность хранения и обеспечиваются комфортные условия для дисков. Анатомия JBOD противостоит двум основным врагам HDD – приведенной вибрации и перегреву. Современный JBOD содержит десятки дисков 3.5" с горячей заменой, имеет дублированные модули ввода/вывода и несколько портов SAS для подключений хостов и других полок. Масштабируется емкость хранилища их каскадным добавлением.
Примером является популярная линейка WD Ultrastar Data60 емкостью до полутора петабайт в 4U.
Разъезд
Распределение ролей и «жилища» между носителями разного типа является логичным при построении вместительного производительного ZFS-хранилища. В объемном хранении альтернативы механическим дискам нет. Но кроме основных пулов данных есть вспомогательные данные: кэш адаптивной замены второго уровня L2ARC, журнал намерений записи ZIL (SLOG), метаданные (таблицы, индексы, указатели, определяющие адресную структуру пулов). Обычно они замешиваются с основными данными на тех же медленных носителях. Просадку производительности от совместного размещения можно уменьшить, сохраняя вспомогательные данные на SATA SSD или NVMe. Такое обособление ускоряет адресацию, вычитку, способствует защите данных без потери быстродействия.
Разработчики наиболее распространенной (благодаря открытому коду) ОС хранения TrueNAS на файловой системе OpenZFS пример: «Оптимальным устройством SLOG является небольшое устройство на основе флэш-памяти, такое как SSD или карта NVMe, благодаря присущей им высокой производительности, низкой задержке и, конечно, устойчивости в случае потери питания. Вы можете отразить свои устройства SLOG как дополнительную меру пресечения и будете удивлены, какое повышение скорости можно получить всего за несколько гигабайт отдельного хранения журналов. Ваш пул накопителей будет иметь производительность записи как во флеш-массиве с емкостью традиционного массива на механических дисках. Вот почему мы поставляем каждую механическую дисковую систему TrueNAS с SLOG на высокопроизводительной флэш-памяти, это стандартная опция нашей линейки FreeNAS Certified.
Поэтому производим емкий JBOD «телом» хранения сотен терабайт данных. Подключаем его по 12G SAS к «голове» – 1U-серверу с CPU, RAM, сетевыми картами и наборами NVMe под вспомогательные данные. Настраиваем. Наслаждаемся производительностью.
Как мы можем помочь?
Компания Server Solutions занимается продажей серверов Dell PowerEdge R760 и Dell PowerEdge R760xs по всей Украине среди наших клиентов малый, средний и крупный бизнес. Если вам или вашему предприятию нужна консультация и покупка качественного серверного оборудования, вам следует обратиться к нам.