Серверная оптимизация ,

Системное администрирование ,

Хранение данных ,

Хранилища данных

В статьях про СХД из "конспекта админа" практически не рассматривались технологии софтовой организации дискового массива. Кроме того, за кадром остался целый пласт относительно дешевых сценариев ускорения хранилищ с помощью твердотельных дисков.

Поэтому в этой статье рассмотрю три неплохих варианта использования SSD-дисков для ускорения подсистемы хранения.

Почему просто не собрать массив из SSD – немного теории и рассуждений на тему

Чаще всего твердотельные накопители рассматривают просто как альтернативу HDD, с большей пропускной способностью и IOPS. Однако, такая замена "в лоб" часто стоит слишком дорого (брендовые диски HP, например, стоят от $2 000), и в проект возвращаются привычные накопители SAS. Как вариант, быстрые диски просто используются точечно.

В частности, удобным выглядит использование SSD для системного раздела или для раздела с базами данных – с конкретным выигрышем в производительности можно ознакомится в . Из этих же сравнений видно, что при использовании обычных HDD узким местом является производительность диска, а в случае SSD сдерживать будет уже интерфейс. Поэтому замена одного лишь диска не всегда даст такую же отдачу, как комплексный апгрейд.

В серверах используют SSD с интерфейсом SATA, либо более производительные SAS и PCI-E. Большинство представленных на рынке серверных SSD с интерфейсом SAS продаются под брендами HP, Dell и IBM. К слову, даже в брендовых серверах можно использовать диски OEM-производителей Toshiba, HGST (Hitachi) и других, которые позволяют сделать апгрейд максимально дешевым при схожих характеристиках.

С широким распространением SSD был разработан отдельный протокол доступа к дискам, подключенным к шине PCI-E – NVM Express (NVMe). Протокол разработан с нуля и значительно превосходит своими возможностями привычные SCSI и AHCI. С NVMe обычно работают твердотельные диски с интерфейсами PCI-E, U.2 (SFF-8639) и некоторые M.2, которые быстрее обычных SSD более чем вдвое . Технология относительно новая, но со временем она обязательно займет свое место в самых быстрых дисковых системах.

Немного про DWPD и влияние этой характеристики на выбор конкретной модели.

При выборе твердотельных дисков с интерфейсом SATA следует обращать внимание на параметр DWPD, который определяет долговечность диска. DWPD (Drive Writes Per Day) – это допустимое количество циклов перезаписи всего диска в сутки на протяжении гарантийного периода. Иногда встречается альтернативная характеристика TBW/PBW (TeraBytes Written, PetaBytes Written) – это заявленный объем записи на диск на протяжении гарантийного периода. В SSD для домашнего использования показатель DWPD может быть меньше единицы, в так называемых "серверных" SSD - 10 и более.

Такая разница возникает из-за разных типов памяти:

SLC NAND . Самый простой тип – в каждой ячейке памяти хранится один бит информации. Поэтому такие диски надежны и обладают хорошей производительностью. Но приходится использовать больше ячеек памяти, что негативно влияет на стоимость;

MLC NAND . В каждой ячейке хранится уже два бита информации – самый популярный тип памяти.

eMLC NAND . То же самое что и MLC, но повышена устойчивость к перезаписи благодаря более дорогим и качественным чипам.

• TLC NAND . В каждой ячейке хранится по три бита информации – диск максимально дешев в производстве, но обладает наименьшими производительностью и долговечностью. Чтобы компенсировать потери по скорости, для внутреннего кэша часто используется память SLC.

Таким образом, при точечной замене обычных дисков твердотельными логично использовать MLC-модели в RAID 1, что даст отличную скорость при том же уровне надежности.

Считается, что использование RAID совместно с SSD – не лучшая идея. Теория основывается на том, что SSD в RAID изнашиваются синхронно и в определенный момент могут выйти из строя все диски разом, особенно при ребилде массива. Однако, с HDD ситуация точно такая же. Разве что, испорченные блоки магнитной поверхности не дадут даже прочитать информацию, в отличие от SSD.

По-прежнему высокая стоимость твердотельных накопителей заставляет задуматься об альтернативном их использовании, помимо точечной замены или использования СХД на базе одних лишь SSD.

Расширяем кэш RAID-контроллера

От размера и скорости кэша RAID-контроллера зависит скорость работы массива в целом. Расширить этот кэш можно с помощью SSD. Технология напоминает решение от Intel.

При использовании подобного кэша данные, которые используются чаще, хранятся на кэширующих SSD, с которых производится чтение или дальнейшая запись на обычный HDD. Режимов работы обычно два, аналогично привычному RAID: write-back и write-through.

В случае write-through ускоряется только чтение, а при write-back – чтение и запись.

Подробнее об этих параметрах вы можете прочитать под спойлером.

При настройке кэша write-through запись проводится как в кэш, так и на основной массив. Это не влияет на операции записи, но ускоряет чтение. К тому же, перебои питания или всей системы для целостности данных уже не так страшны;

• Настройка write-back позволяет записывать данные сразу в кэш, что ускоряет операции чтения и записи. В RAID-контроллерах эту опцию можно включить только при использовании специальной страхующей энергонезависимую память батарейки, либо при использовании флэш-памяти. Если же применять в качестве кэша отдельный SSD, то проблема с питанием уже не стоит.

Для работы обычно требуется специальная лицензия или аппаратный ключ. Вот конкретные названия технологии у популярных на рынке производителей:

LSI (Broadcom) MegaRAID CacheCade. Позволяет использовать до 32 SSD под кэш, суммарным размером не более 512 ГБ, поддерживается RAID из кэширующих дисков. Есть несколько видов аппаратных и программных ключей, стоимость составляет около 20 000 р;

Microsemi Adaptec MaxCache. Позволяет использовать до 8 SSD в кэше в любой конфигурации RAID. Отдельно лицензию покупать не нужно, кэш поддерживается в адаптерах серии Q;

• HPE SmartCache в серверах ProLiant восьмого и девятого поколения. Актуальная стоимость доступна по запросу.

Схема работы SSD-кэша предельно проста – часто используемые данные перемещаются или копируются на SSD для оперативного доступа, а менее популярная информация остается на HDD. Как итог, скорость работы с повторяющимися данными значительно возрастает.

В качестве иллюстрации работы RAID-кэша на базе SSD можно привести следующие графики:

StorageReview – сравнение производительности разных массивов при работе с базой данных: использованы обычные диски и их альтернатива на базе LSI CacheCade.

Но если есть аппаратная реализация, то наверняка существует и программный аналог за меньшие деньги.

Быстрый кэш без контроллера

Помимо программного RAID существует и программный SSD-кэш. В Windows Server 2012 появилась интересная технология Storage Spaces, которая позволяет собирать RAID-массивы из любых доступных дисков. Накопители объединяются в пулы, на которых уже размещаются тома данных – схема напоминает большинство аппаратных систем хранения. Из полезных возможностей Storage Spaces можно выделить многоярусное хранение (Storage Tiers) и кэш записи (write-back cache).

Storage Tiers позволяет создавать один пул из HDD и SSD, где более востребованные данные хранятся на SSD. Рекомендованное соотношение количества SSD к HDD 1:4-1:6. При проектировании стоит учитывать и возможность зеркалирования или четности (аналоги RAID-1 и RAID-5), так как в каждой части зеркала должно быть одинаковое количество обычных дисков и SSD.

Кэш записи в Storage Spaces ничем не отличается от обычного write-back в RAID-массивах. Только здесь необходимый объем "откусывается" от SSD и по умолчанию составляет один гигабайт.

Традиционная система хранения подразумевает размещение данных на жестких дисках HDD и твердотельных дисках SSD. В последние годы емкости HDD растут стремительными темпами. Однако, скорость их при случайном доступе по-прежнему мала. Для некоторых приложений, таких как базы данных, облачные технологии или виртуализация, требуется как высокая скорость доступа, так и большой объем. Получается, что использование только HDD не приемлемо, а использование SSD неоправданно дорого. Использование SSD только в качестве кэша является лучшим соотношением цена/производительность для системы в целом. В этом случае сами данные будут располагаться на емких HDD, а дорогие SSD будут давать прирост производительности при случайном доступе к этим данным.

Чаще всего SSD-кэш будет полезен в следующих случаях:

1. Когда скорость работы HDD в IOPS при чтении является узким местом.
2. Когда операций ввода/вывода на чтение существенно больше, чем на запись.
3. Когда объем часто используемых данных меньше размера SSD.

Решение

SSD-кэширование – это дополнительный кэш для увеличения производительности. Один или несколько SSD должны быть назначены виртуальному диску (луну) для использования в качестве кэша. Обратите внимание, что эти SSD будут недоступны для хранения данных. В настоящее время размер SSD-кэша ограничен 2.4ТБ.

Когда производится операция чтения/записи, копия данных помещается на SSD. В следующий раз любая операция с этим блоком будет производиться напрямую с SSD. В итоге это уменьшит время реакции и, как следствие, увеличит общую производительность. Если, к несчастью, SSD откажет, то данные не потеряются, т.к. в кэше содержится копия данных с HDD.

SSD-кэш делится на группы – блоки, каждый блок делится на субблоки. Характер операций ввода/вывода для виртуального диска определяет выбор размера блока и субблока.

Заполнение кэша

Чтение данных с HDD и запись их на SSD называется заполнением кэша. Эта операция выполняется в фоновом режиме сразу же после того, как хост производит операции чтения или записи. Работа кэша ограничена двумя параметрами:

• Populate-on-read threshold
• Populate-on-write threshold

Эти значения больше нуля. Если они равны нулю, то кэш на чтение или запись не работает. В соответствии с этими значениями каждый блок соотносится с его счетчиком чтения или записи. Когда хост производит операцию чтения, и данные расположены в кэше, счетчик чтения увеличивается. Если в кэше нет данных и счетчик чтения больше или равен значению Populate-on-read threshold, то данные копируются в кэш. Если же значение счетчика меньше Populate-on-read threshold, то данные читаются мимо кэша. Для операций записи ситуация аналогична.

Сценарии работы SSD-кэша

Тип ввода/вывода

Тип ввода/вывода определяет конфигурацию SSD-кэша. Эта конфигурация выбирается администратором и определяет параметры блока, субблока, populate-on-read threshold и populate-on-write threshold. Имеются три заранее определенные конфигурации согласно типам ввода/вывода: базы данных, файловая система и web-сервисы. Администратору необходимо выбрать конфигурацию SSD-кэша для виртуального диска. В процессе работы можно сменить тип конфигурации, но в этом случае содержимое кэша будет сброшено. Если предопределенные конфигурации не подходят под используемый профиль нагрузки, то имеется возможность задать собственные значения параметров.

Размер блока влияет на время «прогрева» кэша, т.е. когда наиболее востребованные данные переместятся на SSD. Если данные расположены на HDD близко друг к другу, то лучше использовать блок большого размера. Если же данные расположены хаотично, то логичнее использовать блок малого размера.

Размер субблока также влияет на время прогрева кэша. Больший его размер уменьшает время заполнения кэша, но увеличивает время реакции на запрос с хоста. Помимо этого, размер субблока также влияет на загрузку процессора, пропускную способность памяти и канала.

Для расчета примерного времени прогрева кэша можно воспользоваться следующим методом.

• Т – время прогрева кэша в секундах
• I – значение IOPS для HDD при случайном доступе
• S – размер блока ввод/вывода
• D – количество HDD
• C – полный объем SSD
• P - populate-on-read threshold или populate-on-write threshold

Тогда T = (C*P) / (I*S*D)
Для примера: 16 дисков с 250 IOPS, один SSD 480ГБ в качестве кэша, характер нагрузки – web-сервисы (64КБ) и populate-on-read threshold = 2.
Тогда время прогрева будет Т = (480ГБ*2) / (250*64КБ*16) ≈ 3932 сек ≈ 65.5 мин

Тестирование

Для начала рассмотрим процесс создания SSD-кэша

1. После создания виртуального диска нажмите ↓, затем Set SSD Caching
2. Выберите Enable
3. Выберите конфигурацию из ниспадающего списка
4. Нажмите Select Disks и выберите SSD, которые будут использоваться в качестве кэша
5. Нажмите ОК

Ограничения

• Только SSD могут использоваться в качестве кэша
• SSD может быть назначен только одному виртуальному диску в каждый момент времени
• Поддерживается до 8 SSD на один виртуальный диск
• Поддерживается общий объем до 2.4ТБ SSD на систему
• Для SSD-кэширования требуется лицензия, которая приобретается отдельно от системы

Результаты

Тестовая конфигурация:

• HDD Seagate Constellation ES ST1000NM0011 1TB SATA 6Gb/s (x8)
• SSD Intel SSD DC3500, SSDSC2BB480G4, 480GB, SATA 6Gb/s (x5)
• RAID 5
• I/O Type Database Service (8KB)
• I/O pattern 8KB, random read 90% + write 10%
• Virtual disk 2TB

Согласно формуле время прогрева кэша T = (2ТБ*2) / (244*8КБ*8) ≈ 275036 сек ≈ 76.4 ч

Отличия дисковых подсистем SSD и HDD+SSD для виртуальных выделенных серверов, сравнение производительности.

Диски HDD+SSD-кэш

Принцип работы . Мы используем быстрые SSD-диски для кэширования запросов к медленным, но значительно более ёмким и недорогим HDD-дискам. В этом режиме каждое обращение к жесткому диску виртуальной машины проверяется на наличие в кэше, и при его наличии в кэше отдаётся оттуда, а не читается с медленного диска. Если же в кэше данные не найдены, то они читаются с HDD-диска и записываются в кэш.

Преимущества технологии HDD+SSD-кэш. Основной плюс технологии HDD+SSD-кэш в объеме предоставляемого дискового пространства. Также серверы на этой технологии дешевле, что немаловажно для размещения начинающих проектов, тестовых серверов и вспомогательных сервисов.

• Бекапы данных
• Объемные архивы с данными
• Любые сервисы и сайты, для которых не критична скорость чтения/записи с дисков

Диски SSD

Принцип работы . SSD (Solid-state drive) - это накопитель, в котором, в отличие от обычных жестких дисков, нет движущихся элементов. Для хранения в SSD используется флеш-память. Простыми словами, это большая флешка.

Преимущества технологии SSD. Основное преимущество SSD-накопителей - это скорость работы. В отличие от обычного жесткого диска, отсутствуют временные затраты на позиционирование считывающих головок - увеличивается скорость доступа к данным. Согласно тестам, скорость чтения/записи на SSD превышает показатели обычных HDD в несколько раз.

Кому будет полезен VDS или VPS на SSD ?

• Владельцам интернет магазинов: скорость работы с базами данных на SSD несоизмеримо выше, чем на HDD.
• Владельцам других сайтов: страницы вашего сайта будут открываться значительно быстрее, что немаловажно для ранжирования в поисковых системах.
• Для разработчиков: скорость компиляции кода на SSD-дисках выше, сэкономьте свое время.
• Для игровых серверов: скорость загрузки увеличивается, не заставляйте игроков ждать.

Диски NVMe

Принцип работы . NVM Express (NVMe, NVMHCI, Non-Volatile Memory Host Controller Interface Specification) - обновленная версия SSD-диска. Использует собственный, разработанный с нуля, протокол взаимодействия, и подключается через порт PCI Express.

Преимущества технологии NVMe. Чтение-запись с дисками NVMe в 2-3 раза быстрее, чем с обычными SSD. Шина PCI Express не ограничивает скорость диска - этим обеспечивается прирост производительности. Кроме этого, на NVMe быстрее обрабатываются параллельные операции, больше операций чтения-записи проводится в единицу времени.

Когда заказывать виртуальный сервер с диском NVMe ?

• В тех же случаях, что и SSD. Когда вашему проекту уже не хватает производительности SSD, либо планируете рост проекта и высокие нагрузки.

Сравниваем производительность

Мы сравнили производительность виртуальных машин на «боевых» физических серверах с различными дисковыми подсистемами.

Мы учитывали количество IOPS (количество операций ввода/вывода, Input/Output Operations Per Second) - это один из ключевых параметров при измерении производительности систем хранения данных, жестких дисков и твердотельных дисков (SSD).

Обратите внимание, что в работе сайтов чаще всего используются именно операции чтения данных, а не записи. Этот показатель SSD дисков в три раза выше, чем у технологии HDD+SSD-кэш.

Сравнение производительности технологий

Недавно я столкнулся с проблемой ускорения работы дисковой подсистемы, которая предусмотрена в ультра буке Lenovo U 530 (и других подобных моделей). А началось все с того, что выбор пал на этот ноутбук для замены более старого.

Данная серия имеет несколько конфигураций, которые можно посмотреть по этой ссылке: http ://shop .lenovo .com /ru /ru /laptops /lenovo /u -series /u 530-touch /index .html #tab -"5E =8G 5A :85_E 0@0:B 5@8AB 8:8

Я взял вариант с процессором Intel Core -I 7 4500U , 1Тб HDD + 16 Гб SSD кэша.

Примечание: в данном ультрабуке и аналогичных используется SSD в формате M2: http://en.wikipedia.org/wiki/M.2

В дальнейшем при работе с ним как то присутствие кэша не наблюдалось, начал разбираться как же все это работает?

В чипсетах Intel (в частности Intel Series 8) имеется такая технология как Intel rapid storage technology (подробнее о ней можно прочитать по этой ссылке: http ://www .intel .ru /content /www /ru /ru /architecture -and -technology /rapid -storage -technology .html ).

В этой технологии есть функция Intel ® Smart Response , которая и позволяет использовать вариант гибридного SSHD или же HDD + SDD для ускорения дисковой подсистемы.

Если вкратце - то она позволяет хранить часто используемые файлы на SSD диске и при последующих запусках файлов читать их с SSD диска, что заметно улучшает производительность всей системы в целом (подробнее о Smart Response по этой ссылке:

2)Использовать технологию Windows ReadyBoost (http://ru.wikipedia.org/wiki/ReadyBoost)

3)Использовать вариант ExpressCache

Примечание: многие наверняка видели инструкции в интернете по переносу файла гибридизации на SSD, так вот, на своем опыте проверил, это НЕ РАБОТАЕТ, так как даже в этом случае, когда Вы создаете раздел гибридизации, все равно используется технология Intel Rapid Storage . Другими словами, режим гибридизации уже невиндовый , а управляет им данная интеловская технология, а поскольку у нас она не работает, то кроме бесполезного раздела гибридизации на SSD Вы ничего не получите, соответственно работать это не будет.

А теперь опишу более подробно, как настроить каждый из трех вариантов.

1.Использовать стороннюю утилиту от SanDisk - ExpressCache

Распишу по пунктам действия:

Если Вы еще ни разу не пользовались этой утилитой, то делаем следующее:

1)Скачиваем ее, например отсюда: http ://support .lenovo .com /us /en /downloads /ds 035460

2)Заходим в “Управление дисками” и удаляем все разделы с SSD диска;

3)Устанавливаем программу Express Cache на компьютер, перезагружаемся и все готово) Программа сама сформирует нужный раздел и будет его использовать.

4)Чтобы проверить работу, вызываем командную строку в режиме администратора, и вводим eccmd.exe -info

5)В результате, должна быть похожая картинка:

Рисунок 6 - проверка работы кэша при запуске утилиты eccmd.exe -info

2.Использовать технологию Windows ReadyBoost

Для использования этой технологии необходимо:

2)Создаем один основной раздел на SSD ;

3)Новый раздел появится в виде нового диска со своей буквой. Заходим в Мой компьютер и жмем правой кнопкой на диске и в меню выбираем “свойства”, далее вкладку “Ready Boost ”.

4)Во вкладке выделяем опцию “Использовать это устройство” и ползунком выделяем все имеющееся пространство.

После этого SSD будет ускорять работу файловой системы используя технологию Microsoft Windows Ready Boost .

Не знаю, насколько она эффективна для работы с SSD , так как изначальное ее предназначение было - использование в качестве устройств хр анения обычные NAND Flash в виде брелоков, а скорость доступа к таким устройствам намного ниже, чем у mSATA SSD

3.Использовать вариант ExpressCache + перенос SWAP файла на отдельный раздел SSD .

На мой взгляд - это самый оптимальный для данного случая метод, так как, с одной стороны мы ускоряем работу со свопом, перенеся его на SSD , а так же обеспечиваем работу с кэшем. Данный метод скорее подходи для ультра буков с объемом SSD 16 и более Гб.

Как это сделать?

1)Заходим в “Управление дисками” и удаляем все разделы с SSD диска;

2)На SSD нужно два раздела, один делаем сами, второй делается программой Express Cache ;

3)Создаем раздел для свопа, например: 6 Гб вполне достаточно для ультра бука с 8Гб ОЗУ (RAM);

5)Теперь нам нужно перенести своп с диска C : на новый диск SSD . Для этого заходим в параметры Системы, далее “Дополнительные параметры системы”.

Рисунок 8- Дополнительные параметры системы

Во вкладке “Дополнительно” нажимаем на кнопку “Параметры* ”, вкладка “Дополнительно** ” и далее кнопку “Изменить** ”. Отключаем “Автоматический режим*** ”, затем из списка выбираем нужный для нас диск со свопом, а затем пробуем выбрать опцию “Размер по выбору системы*** ” и нажимаем кнопку “Задать*** ”. Если система ругнулась, то это, скорее всего из-за того, что диск в 6Гб. система считает слишком маленьким, но если Вы посмотрите снизу в окне рекомендуемый размер файла, то он будет колебаться в районе 4,5 Гб, что даже меньше нашего раздела, поэтому делаем следующее - выбираем опцию “Указать размер*** ” и в поле “Исходный размер*** ” записываем тот рекомендуемый снизу размер файла. В поле “Максимальный размер*** ” можно написать весь объем раздела, затем жмем кнопку “Задать*** ”.
Далее, нам нужно отключить уже имеющийся своп, для этого из списка дисков выбираем на том, где в данный момент располагается своп (например C :), и ниже в опциях выбираем - “Без файла подкачки*** ”, а затем “Задать*** ”.
Все -т еперь у Вас файл подкачки будет располагаться на SSD диске.
Ждем “Ок *** ” и перегружаем компьютер.

6)Можно проверить, есть ли файл на диске или нет, заходим на диск C : (в проводнике должна быть включена функция видимости скрытых файлов или с помощьюTotal Commander ).

Рисунок 12 - Видимость SWAP раздела SSD

Файл подкачки называется pagefile . sys , он должен быть на новом диске, а на старом его быть не должно.

7)Теперь нужно установить раздел для кэширования, для этого делаем все, что было описано в пункте 1.

В итоге после проделанных действий мы получаем ускорение всей системы в целом.

Рисунок 13 - Разделы на SSD для SWAP и SSD кэша

Желаю Вам быстрой производительности Вашей системы и долгой работы SSD J

Буду рад комментариям к моей статье и всяческим рецензиям) Спасибо!

• Сравнение производительности различных типов серверных накопителей (HDD, SSD, SATA DOM, eUSB)
• Сравнение производительности новейших серверных RAID-контроллеров Intel и Adaptec (24 SSD)
• Сравнение производительности серверных RAID-контроллеров
• Производительность дисковой подсистемы серверов Intel на базе Xeon E5-2600 и Xeon E5-2400
• Таблицы сравнительных характеристик: RAID-контроллеры , Серверные HDD , Серверные SSD
• Ссылки на разделы прайс-листа: RAID-контроллеры , Серверные HDD , Серверные SSD

Большинство серверных приложений работают с дисковой подсистемой сервера в режиме случайного доступа, когда данные читаются или записываются небольшими блоками размером несколько килобайт, а сами эти блоки могут располагаться в дисковом массиве случайным образом.

Жесткие диски имеют среднее время доступа к произвольному блоку данных порядка нескольких миллисекунд. Это время необходимо для позиционирования головки диска над нужными данными. За одну секунду жесткий диск может прочитать (или записать) несколько сотен таких блоков. Этот показатель отражает производительность жесткого диска на случайных операциях ввода-вывода и измеряется величиной IOPS (Input Output per Second, операций ввода-вывода в секунду). То есть производительность случайного доступа для жесткого диска составляет несколько сотен IOPS.

Как правило, в дисковой подсистеме сервера несколько жестких дисков объединяются в RAID-массив, в котором они работают параллельно. При этом скорость операций случайного чтения для RAID-массива любого типа возрастает пропорционально количеству дисков в массиве, а вот скорость операций записи зависит не только от количества дисков, но также и от способа объединения дисков в RAID-массив.

Довольно часто дисковая подсистема является фактором, который ограничивает быстродействие сервера. При большом количестве одновременных запросов дисковая подсистема может достичь предела своей производительности и увеличение объема оперативной памяти или частоты процессора не даст никакого эффекта.

Радикальным способом увеличения производительности дисковой подсистемы является использование твердотельных накопителей (SSD-накопителей), в которых информация записывается в энергонезависимую flash-память. У SSD-накопителей время доступа к произвольному блоку данных составляет несколько десятков микросекунд (то есть на два порядка меньше, чем у жестких дисков), благодаря чему производительность даже одного SSD-накопителя на случайных операциях достигает 60"000 IOPS.

На следующих графиках приведены сравнительные показатели производительности RAID-массивов из 8-ми жестких дисков и 8-ми SSD-накопителей. Приведены данные для четырех различных типов RAID-массивов: RAID 0, RAID 1, RAID 5 и RAID 6. Чтобы не перегружать текст техническими подробностями, информацию о методике тестирования мы поместили в конце статьи.

Из диаграмм видно, что применение SSD-накопителей повышает производительность дисковой подсистемы сервера на операциях произвольного доступа от 20 до 40 раз. Однако широкому использованию SSD-накопителей мешают следующие серьезные ограничения.

Во-первых, современные SSD-накопители имеют небольшую емкость. Максимальная емкость жестких дисков (3TB) превосходит максимальную емкость серверных SSD-накопителей (300GB) в 10 раз. Во-вторых, SSD-накопители примерно в 10 раз дороже жестких дисков, если сравнивать стоимость 1GB дискового пространства. Поэтому построение дисковой подсистемы из одних только SSD-накопителей в настоящее время применяется довольно редко.

Однако можно использовать SSD-накопители в качестве кэш-памяти RAID-контроллера. О том, как это работает и что дает, давайте поговорим подробнее.

Дело в том, что даже в довольно большой дисковой серверной подсистеме емкостью в десятки терабайт объем "активных" данных, то есть данных, которые используются наиболее часто, относительно невелик. Например, если Вы работаете с базой данных, которая хранит записи за длительный период времени, активно использоваться скорее всего будет только небольшая часть данных, которая относится к текущему временному интервалу. Или если сервер предназначен для хостинга Интернет-ресурсов, большая часть запросов будет относиться к небольшому числу наиболее посещаемых страниц.

Таким образом, если эти "активные" (или "горячие") данные будут находиться не на "медленных" жестких дисках, а в "быстрой" кэш-памяти на SSD-накопителях, производительность дисковой подсистемы возрастет на порядок. При этом Вам не нужно заботится о том, какие данные должны быть размещены в кэш-памяти. После того, как в первый раз контроллер прочитает данные с жесткого диска, он оставит эти данные в кэш-памяти SSD и повторное чтение будет выполняться уже оттуда.

Более того, кэширование работает не только при чтении, но и при записи. Любая операция записи будет записывать данные не на жесткий диск, а в кэш-память на SSD-накопителях, поэтому операции записи также будут выполняться на порядок быстрее.

Практически механизм кэширования на SSD-накопителях может быть реализован на любом шести-гигабитном RAID-модуле или RAID-контроллере Intel второго поколения на базе микроконтроллера LSI2208: RMS25CB040, RMS25CB080, RMT3CB080, RMS25PB040, RMS25PB080, RS25DB080, RS25AB080, RMT3PB080. Эти RAID-модули и контроллеры применяются в серверах Team на базе процессоров Intel E5-2600 и E5-2400 (платформа Intel Sandy Bridge).

Чтобы использовать режим SSD-кэширования, необходимо установить на RAID-контроллер аппаратный ключ AXXRPFKSSD2. Кроме поддержки SSD-кэширования, этот ключ также ускоряет работу контроллера с "чистыми" SSD-дисками, когда они используются не в качестве кэш-памяти, а как обычные накопители. В этом случае можно достичь производительности на операциях случайного чтения-записи в 465"000 IOPS (режим FastPath I/O).

Давайте посмотрим на результаты тестирования производительности все того же массива из восьми жестких дисков, но уже с использованием четырех SSD-накопителей в качестве кэш-памяти и сравним их с данными этого массива без кэширования.

Мы выполнили тестирование для двух вариантов организации SSD-кэш. В первом варианте 4 SSD-накопителя были объединены в RAID-массив нулевого уровня (R0), а во-втором случае из этих 4-х SSD-накопителей был образован зеркальный массив (R1). Второй вариант немного медленнее на операциях записи, зато он обеспечивает резервирование данных в SSD-кэш, поэтому предпочтительнее.

Интересно, что производительность чтения и записи практически не зависит от типа "основного" RAID-массива жестких дисков, а определяется только скоростью работы SSD-накопителей кэш-памяти и типом ее RAID-массива. Более того, "кэшированный" RAID 6 из жестких дисков на операциях записи оказывается быстрее, чем "чистый" RAID 6 из SSD-накопителей (29"300 или 24"900 IOPS против 15"320 IOPS). Объяснение простое - фактически мы измеряем производительность не RAID 6, а RAID 0 или RAID 1 кэш-памяти, а эти массивы быстрее на записи даже при меньшем числе дисков.

В качестве кэш-памяти можно использовать и один SSD-накопитель, однако мы рекомендуем этого не делать, поскольку не обеспечивается резервирование данных кэш-памяти. В случае выхода такого SSD-накопителя из строя, целостность данных будет нарушена. Для SSD-кэширования лучше использовать как минимум два SSD-накопителя, объединенный в RAID-массив первого уровня ("зеркало").

Надеемся, что информация, изложенная в данной статье, поможет Вам в выборе эффективной конфигурации дисковой подсистемы сервера. Кроме того, необходимую техническую консультацию всегда готовы оказать наши менеджеры и инженеры.

Конфигурация тестового стенда и методика тестирования

Серверная платформа — Team R2000GZ
Расширитель SAS-портов Intel RES2CV360 36 Port Expander Car
RAID-контроллер — Intel RS25DB080 с ключом AXXRPFKSSD2
HDD — 8 дисков SAS 2,5" Seagate Savvio 10K.5 300GB 6Gb/s 10000RPM 64MB Cache
SSD — 8 или 4 накопителя SSD SATA 2.5" Intel 520 Series 180GB 6Gb/s

Тестирование выполнялось при помощи программы Intel IO Meter.

Для каждого варианта аппаратной конфигурации выбирались оптимальные настройки кэш-памяти контроллера.

Объем виртуального диска для тестирования — 50GB. Такой объем был выбран для того, чтобы тестируемый диск мог полностью поместится в SSD-кэш.

Прочие параметры:
Strip Size — 256KB.
Размер блока данных для последовательных операций — 1MB.
Размер блока данных для операций случайного доступа — 4 KB.
Глубина очереди — 256.