Тяжке і невдячне це заняття - тестування RAID-контролерів. Звичайно, дещо рятує ситуацію те, що процес тестування досить непогано автоматизується, але все ж таки тимчасові витрати виходять вкрай високі. Причини прості: тестів багато і йдуть вони довго, плюс кількість циферок, що отримуються, м'яко кажучи, велика. Як би там не було, за минулі півроку через наші руки пройшли шість SAS RAID-контролерів останнього покоління, по одному від кожного великого виробника і ми не можемо утриматися від того, щоб не "зіштовхнути їх лобами" в одній зведеній статті. Тим більше, що зараз на ринку контролерів утворилося деяке затишшя: існуючі моделі досить успішно справляються з навантаженнями, шина PCI-Express витіснила з ринку PCI-X, а зміна інтерфейсів накопичувачів закінчилася повною та беззастережною перемогою послідовного SAS (і сумісного з ним SATA) над паралельними SCSI та PATA. Звичайно, на горизонті вже маячить SAS 2.0, зі збільшеною з 3 Гбіт/с до 6 Гбіт/с пропускною спроможністю, але поки що він тільки в перспективі, а у виробників контролерів видався час для деякого перепочинку. Звичайно, вони не витрачають його задарма - із завидною регулярністю усі вони випускають оновлення прошивок, прибираючи з них прикрі недоробки та збільшуючи продуктивність. Відразу обмовимося: ми порівнюватимемо контролери саме з тими прошивками, які були найсвіжішими на момент потрапляння контролерів до наших рук. Це, можливо, не дуже коректно, оскільки ставить останніх «гостей» у дещо вигідніше становище, але слово честі, у нас немає можливості одночасно протестувати одразу шість контролерів.

Перш ніж почати порівнювати контролери, хотілося б спершу пояснити, а яких, власне, результатів ми від них очікуємо. Насамперед, звичайно ж, стабільності роботи та максимальних результатів, бажано передбачуваних. На жаль, стабільність роботи відноситься до вкрай важко перевіряються - якщо на нашому тестовому стенді всі контролери працювали без проблем, то в мережі можна зустріти нарікання, в більшості випадків пов'язані з проблемністю деяких поєднань певних моделей контролерів і дисків. На жаль, ми не в змозі перевірити всі можливі варіанти - керуйтеся офіційними документами про сумісність або... чи дійте на свій страх та ризик. Звичайно, це буде слабкою втіхою тим, кому «не пощастить», але все ж таки: сучасні контролери схильні до незрозумілих «глюків» набагато меншою мірою, ніж їхні попередники. Що ж до продуктивності контролерів, то в даному випадку є кілька пунктів, які хочеться обговорити особливо, оскільки ми намагаємося з регулярністю звертати на них увагу.

Найпростіше говорити про масиви RAID0 - це найпростіший для контролерів варіант, у ньому необхідно лише коректно справлятися з навантаженням, і показувати максимальні швидкості в лінійному читанні та здійснювати якнайбільше операцій на секунду при випадковому характері звернень. Окремим рядком йдуть багатопотокові навантаження та операції з файлами. Як показує практика, всі контролери втрачають швидкість на кількох потоках, але має велике значення те, наскільки велике це зниження. Особливо складною для контролерів є ситуація, коли запити йдуть з мінімальною глибиною черги – більшість контролерів у таких, здавалося б, щадних умовах демонструє несподівано. низькі швидкості. Поруч стоїть проблема швидкостей, досягнутих на реальних файлах - як правило, вони помітно нижчі від тих, що ми бачимо в синтетичних тестах. Деколи доходить до абсурду - один і той же файл або набір файлів контролер може записати швидше, ніж рахувати. Звичайно, в цьому є певна заслуга буферної пам'яті контролерів, що виросла до значних обсягів в 256, а то й 512 МБ, але все ж таки - всі наші тестові навантаження розраховані за обсягом таким чином, що поміститися в кеш цілком вони не можуть. Так що відповідальними за такі екзерсиси з продуктивністю все ж таки варто вважати алгоритми прошивок.

Дещо складнішими для контролерів є масиви з використанням дзеркальних пар: RAID1, RAID10 та RAID1E. До речі, якщо ви не знайомі з останнім із них, то рекомендуємо заповнити цю прогалину. Для них залишаються в силі всі ті моменти, про які ми щойно говорили і додається кілька своїх, вкрай характерних саме для масивів із дзеркалюванням.

Насамперед це вміння контролера читати дані відразу з обох дисків у дзеркальних парах. На одному з дисків головка завжди буде трохи ближче до шуканого сектора, а значить дані з нього надійдуть трохи швидше. В результаті, контролер, який досконало володіє цією технологією, має помітну перевагу на випадковому читанні: його масив RAID10 з точки зору продуктивності, не вироджується в RAID0 з удвічі меншого числа дисків, а цілком здатний боротися з RAID0 з такого ж числа дисків (а часом і обганяти його).

Другий характерною особливістю, Яку ми завжди відзначаємо, є вміння (або відсутність такого) розпаралелювати лінійне навантаження читання на два диски дзеркальної пари. Якщо у разі досить тривалого послідовного читання не просто одночасно і «симетрично» читати з обох дисків, а кожен парний запит відправляти на один диск, а непарний - на інший, ми маємо чудову можливість отримати відчутну додаток у швидкості лінійного читання. Зазвичай, розмір цієї добавки дуже залежить не тільки від розміру файлу, але і від того, блоками якого розміру йдуть запити. Природно, що нам дуже хотілося б, щоб збільшення було більше, а необхідний розмір блоків - менше.

Нарешті, третьою характерною особливістю є вміння розпаралелювати багатопотокове навантаження на різні дискиу дзеркальних парах. Якщо контролер зумів розпізнати характер навантаження, тобто визначити, що з нього читають, скажімо, два лінійних потоки, то для нього вкрай бажано направити кожен потік на один окремий диск із дзеркальної пари. Думаю, не варто докладно розписувати, що це здатне дати значний приріст продуктивності.

Що ж у результаті? Масиви із дзеркалюванням не такі вже й прості - алгоритми контролера повинні ефективно вміти розпізнавати характер навантаження та застосовувати відповідні оптимізації, щоб цілком і повністю задовольнити наші запити. І не варто вважати, що ми хочемо занадто багато - всі ці алгоритми існують вже близько десяти років, з'явившись ще на ATA-контролерах з вкрай слабкими, за сучасними мірками, процесорами.

Нарешті, масиви з обертовою контрольною сумою RAID5 і RAID6. З одного боку, останньому поколінню контролерів стало значно простіше з ними справлятися - сучасні високопотужні процесори, що використовуються в них, досить легко справляються з розрахунком контрольних сумнавіть якщо їх не одна, як у RAID5, а дві як у RAID6. З іншого боку - набагато гостріше стали відчуватися недоліки алгоритмів - якщо раніше вони ховалися на тлі недостатньої швидкості розрахунку XOR, то тепер вийшли на перший план. Адже саме ці типи масивів стають все більш затребуваними - мало хто згоден втрачати половину дискової ємності на організацію масивів з дзеркалюванням, при цьому обсяги інформації, що вимагає захищеного від збоїв зберігання, зростають лавиноподібно. Популярність RAID6 викликана досить простими причинами. Сучасні масиви досягають просто приголомшливих обсягів - навіть якщо не брати зовсім нові диски, ніхто не заважає побудувати 30-ТБ масив з, припустимо, дисків Seagate ST31000640SS із SAS-інтерфейсом. І якщо один із дисків такого масиву приходить у несправність, то відновлення такого масиву займає зовсім не кілька годин, а кілька (а то й десятки) днів. І щоб не ризикувати в цей час інформацією (а ступінь ризику в такому випадку досить велика), застосовують не RAID5, а саме RAID6, здатний перенести вихід з ладу не одного, а одразу двох дисків. Так, швидкість падає катастрофічно, але все ж таки, часто це виявляється більш відповідним варіантом, ніж використання масивів з дзеркалюванням, оскільки їхня корисна ємність при тій же кількості дисків майже вдвічі менша.

І перш ніж закінчити цей вступ, хотілося б відповісти на досить популярне запитання: «А чи стоять ці контролери такої уваги, якщо можна піти і взяти твердотілі накопичувачі SSDна флеш-пам'яті, що демонструють приголомшливу продуктивність?» Так, стоять. Вартість зберігання інформації на дисках поки що в рази (точніше, на порядок) нижча, ніж на SSD. Знову ж таки, обсяги SSD поки ще дуже невеликі, так що брати їх для серйозної системи доведеться кілька, а в такому випадку їх краще підключати через ті ж RAID-контролери. Та й у питанні продуктивності не все так просто - якщо на читанні багатоканальні (так-так, саме час запитуючим замислитися про те, як утворюється ця сама багатоканальність) SSD свідомо краще за будь-який масив дисків, то ось на записі дискові масиви поки не збираються відступати на другий план. А у поєднанні з тим, що SSD мають обмежену кількість операцій перезапису, це призводить до того, що дискову підсистему, здатну впоратися з великою кількістю запитів на запис, будувати краще все ж таки на RAID-масиві з SAS-дисків. І дешевше, і надійніше.

Учасники тестування

Отже, зустрічайте героїв сьогоднішнього огляду:

3ware 9690SA-8I із єдиним пакетом 9.5.1
Adaptec RAID ASR-5805 з прошивкою 5.2.0 build 16116 та драйверами 5.2.0.15728
Areca ARC-1680ix-16 з прошивкою 1.46 та драйверами 20.0.14
HighPoint RocketRAID HPT4320 з прошивкою 1.2.12.11 та драйверами 1.2.19.4
LSI MegaRAID SAS 8708EM2 з прошивкою 9.1.1-0013 та драйверами 2.20.0.32
Promise SuperTrak EX8650 з прошивкою SR1 1.04 та драйверами SR1

За бажанням, за посиланнями ви можете побачити докладний огляд кожного контролера, тому тут ми обмежимося лише короткими загальними словами. Все більше помітне прагнення виробників до уніфікованості - вони намагаються випускати контролери великими серіями з єдиним дизайном, що відрізняються, за великим рахунком, лише кількістю портів, об'ємом пам'яті та частотою процесора. Втім, остання не відрізняється - чотири з представлених тут шести моделей використовують двоядерний процесор Intel IOP81348: у контролерах Areca, Adaptec і HighPoint стоїть версія з частотою 1,2 ГГц, а в Promise - 800-МГц варіант. Компанії 3Ware і LSI поки що дотримуються власних розробок: у контролері 3ware стоїть AMCC Power PC405CR з частотою 266 МГц, а LSI - LSISAS1078 (також з архітектурою PowerPC), що працює на 500 МГц.

Значне зниження вартості оперативної пам'ятівикликало закономірне зростання буферної пам'яті на контролерах. Так, 128 МБ у нас присутній лише у LSI, у HighPoint і Promise її вже 256 МБ, а в інших 512 МБ.

Більше того, у контролері Areca пам'ять не впаяна, а встановлена окремою планкою. Втратити такий шанс ми не могли – цей контролер двічі пройшов усі тести: з базовим об'ємом пам'яті 512 МБ та з встановленим 2-ГБ модулем. Право слово, результати вийшли вкрай несподівані.

Всі контролери підтримують переважну більшість найпопулярніших типів масивів, у тому числі і дворівневих, наприклад RAID50. Звичайно, можна ретельно пошукати різницю, і знайти, що хтось вміє RAID3, а хтось не знає про існування RAID1E, але це важко зарахувати за серйозні відмінності, оскільки цікаво лише вузькому колу користувачів. Також у всіх шести піддослідних у наявності по серйозному набору драйверів під різні операційні системи. Кожен з них може похвалитися і досить розвиненою системою управління, спостереження та налаштування з-під операційної системи. Всі ці системи використовують мережеві протоколи, забезпечуючи взаємодію не тільки з локальними, але і з віддаленими, тобто контролерами, що знаходяться на інших машинах. До речі, саме наявність інфраструктури, що вже існує, найчастіше визначає вибір марки контролера при створенні чергової підсистеми: набагато зручніше мати зручне і логічне централізоване управління, ніж підтримувати одночасно обладнання декількох марок.

Всі перелічені контролери підтримують установку батареї живлення кешу (BBU) - ми вам рекомендуємо завжди користуватися нею. Повірте, її вартість набагато нижча за вартість інформації, що зберігається на масиві, яку ви ризикуєте втратити у разі будь-якого перебою з харчуванням при включеному відкладеному записі. Що ж відбувається з продуктивністю при відключенні відкладеного запису, ви можете побачити на прикладі результатів Promise. У цьому контролері неможливо активувати відкладений запис, якщо немає батареї, а останній на наших задвірках всесвіту за півроку так і не з'явився. Так, це ставить контролер у свідомо програшне становище, але що вдієш.

Методика тестування

Під час тестування використовувалися такі програми:

IOMeter версії 2003.02.15;
WinBench версії 99 2.0;
FC-Test версії 1.0;

Тестова система була такою:

корпус Intel SC5200;
системна плата Intel SE7520BD2;
два процесори Intel Xeon 2,8 ГГц на 800-МГц системній шині;
2 х 512 МБ регістрової пам'яті DDR PC3200 ЕСС
жорсткий диск IBM DTLA-307015 об'ємом 15 ГБ як системний диск;
відеокарта - вбудоване відео ATI Rage XL
операційна система Microsoft Windows 2000 Professional SP4

Контролери під час тестів встановлювалися у слот PCI-Express x8 на материнській платі. Для тестування використовувалися жорсткі диски Fujitsu MBA3073RC, встановлені в штатні санки корпусу SC5200 та закріплені в них чотирма гвинтами за нижню грань. Усі контролери тестувалися з використанням восьми жорстких дисків у наступних режимах:

RAID0;
RAID10;
RAID5;
RAID6;

На жаль, нам довелося відкласти в бік результати на масивах з чотирьох дисків, а також показники масивів, що деградували, - даних і без того буде найчудовіше.

Розмір страйпу на масивах всіх типів задавався рівним 64 кБ.

IOMeter: Database

Як завжди, почнемо з, мабуть, найцікавішого з погляду навантаження на контролер, тесту – "Database", за допомогою якого ми з'ясовуємо здатність контролерів працювати з потоками запитів на читання та запис 8-кБ блоків даних із випадковою адресацією. У ході тестування відбувається послідовна зміна відсоткового співвідношення запитів на запис від нуля до ста відсотків (з кроком 10%) від загальної кількості запитів та збільшення глибини черги команд від 1 до 256.

Численні результати вимірів тут і далі ви можете, за бажання, знайти в попередніх статтях, присвячених докладним оглядамкожного контролера, ми ж працюватимемо лише з графіками та діаграмами.

Отже, мінімальне навантаження, тобто глибина черги запитів дорівнює одиниці.

Здавалося б, ну звідки може взятися різна різниця в RAID0, на найпростішому навантаженні? Відповідь проста - відкладений запис. Якщо на читанні всі масиви дуже схожі, то при великій кількості запитів на запис виграватиме той, хто зможе швидше і більше «заховати» в буферній пам'яті, а потім швидко «розкидати» це по дисках. У цій категорії абсолютним лідером стає Adaptec, а програвші йдуть LSI і Promise.

Схожу картину ми спостерігаємо і у випадку RAID10 - ті самі лідери і програли в зоні навантажень з великою часткою запитів на запис. Особливо погано почувається LSI - відверто пасуючи перед чистим записом.

Однак, з'явилася різниця і на читанні - причиною тому є та сама вибірка вдалого диска в дзеркальних парах. У даному випадку свідомо краще за інших виявився HighPoint. У разі чистого читання чудовий ще й LSI, але він гірше справляється зі змішаними навантаженнями.

А ось і пішли масиви з парністю, що обертається. Одна справа записати одиночний блок у разі масивів RAID0 і RAID10, і зовсім інша - при використанні RAID5, адже кожна операція запису насправді перетворюється на читання двох блоків, дві операції XOR і дві операції запису. Очевидно краще за інших це випробування проходить Adaptec. Непоганий і контролер 3ware у разі чистого запису, але на змішаних навантаженнях він помітно поступається конкурентам. А ось аутсайдерами стали HighPoint, у якого явні проблеми з кешуванням запитів і Promise, зовсім позбавлений відкладеного запису. Катастрофічне падіння продуктивності в останнього складно не помітити.

Точно таку ж ситуацію ми спостерігаємо і в RAID6, лише зменшилися абсолютні значення, але поведінка контролерів залишилася тим же, що і в RAID5. Додавання до алгоритму розрахунку другої контрольної суми та її запис знижує швидкість, але вже не вносить радикальних змін, оскільки потужності процесорів цілком вистачає.

Але ми змарнували поведінку контролера Areca з 2 ГБ встановленої пам'яті. Втім, це й не дивно – його результати практично точно у всіх випадках повторюють дані, отримані з 512 МБ пам'яті. То що ж рекордів швидкості не буде?

Але давайте збільшимо навантаження до 16 запитів у черзі.

У RAID0 контролери демонструють разючу одностайність - чотири графіки практично зливаються. Але Adaptec явно виділяється своїм ефективнішим відкладеним записом. І списати це на більший обсяг пам'яті неможливо - у 3ware і Areca її як мінімум не менше (так, додаткові 1,5 ГБ знову себе ніяк не виявляють), а в останньої ще й процесор такий самий.

У програли знову пішли LSI і Promise, але варто відзначити, що програш не такий вже й великий.

Ух ти, яке різноманіття характерів дають різноманітні поєднання алгоритмів відкладеного запису, переупорядкування запитів та вибірки кращого диска. На записі знову "попереду планети всієї" Adaptec - цей контролер явно намірився довести, що у нього найкращий відкладений запис. А ось LSI на записі відверто поганий – у нього явні проблеми із кешуванням. І навряд це можна виправдати мінімальним, серед присутніх, обсягом пам'яті.

Зате той самий LSI успішно бореться з HighPoint і 3ware за медаль «відмінне читання з дзеркальних масивів». Зверніть увагу наскільки великий відрив цих трьох масивів від конкурентів.

Одні контролери для запису, інші читання - планування підсистеми сервера вкрай непогано починати з визначення характеру майбутнього навантаження. Втім, універсалом у разі можна назвати 3ware - його результати стабільно хороші у всьому діапазоні.

Наявність черги дозволяє контролерам у тому мірою успішно кешувати запити чи виконувати кілька дій одночасно. Наскільки успішно? По-різному: Adaptec тримається молодцем, а ось HighPoint справляється із записом майже вдвічі гірше (зауважте, при такому самому процесорі), але хоча б вже не провально, як це було у разі мінімальної глибини черги. Ну і можна лише поспівчувати Promise – без відкладеного запису йому доводиться вкрай тяжко.

І знову схожу ситуацію ми бачимо у разі RAID6. Правда, з'явився один цікавий момент: при всьому своєму чудовому записі Adaptec у разі переважної переваги запитів на читання програє решті. Закономірність чи випадковість – подивимося на важких навантаженнях.

На жаль, практично нема чого говорити про 2-ГБ варіант Areca - збільшений обсяг пам'яті себе не виявляє взагалі ніяк. Дивна, вкрай дивна поведінка.

З тяжкими навантаженнями всі контролери успішно впоралися, але кожен по-своєму. Adaptec, як і раніше, успішно демонструє кращі здібності по запису, 3ware захопив лідерство на читанні, а Areca акуратно вліз між ними на змішаних навантаженнях, продемонструвавши, мабуть, найбільш урівноважену поведінку.

Смішно, але подібна розстановка сил склалася і у разі масивів RAID10. Стан лідерів залишився взагалі без змін, та якщо з інших виділився LSI. Причому, не на краще - його проблеми із записом на тяжкому навантаженні виявились у дуже серйозне падіння продуктивності на всіх навантаженнях, де є операції запису.

Величезна глибина черги стала рятівною для Promise - на таких глибинах черги частина сортування запитів відбувається ще в драйвері до вступу до контролера, що дозволило контролеру підтягнути свої результати до рівня HighPoint.

Adaptec, як і раніше, лідирує на записі... і знову, як у випадку RAID6 з глибиною в 16 запитів, не так вже й хороший при переважній перевагі читання. Мабуть, це справді особливість його роботи – всі сили кинуті на запис.

У випадку RAID6 лідери знову ті ж, а ось у явні аутсайдери спустився HighPoint - мабуть, щось з алгоритмами у нього все ж таки не в порядку, десь у них є серйозні і безпричинні витрати ресурсів.

IOMeter: Disk Response Time

Для вимірювання часу відгуку ми протягом десяти хвилин за допомогою IOMeter відправляємо на накопичувач потік запитів на читання або запис блоків даних по 512 байт при глибині черги вихідних запитів, що дорівнює одиниці. Кількість запитів, оброблених накопичувачем, перевищує шістдесят тисяч, так що ми отримуємо усталений час відгуку накопичувача, що не залежить від обсягу буферної пам'яті.

Час відгуку читанні - досить кумедна величина. З одного боку, вона дуже коротко характеризує продуктивність дискової підсистеми, винести лише на підставі неї будь-яке судження практично неможливо. А з іншого - саме ця величина характеризує швидкість реакції накопичувача, те, наскільки швидко він відгукнеться на запит і дозволить системі використати отримані дані. У разі RAID-масивів ця величина в першу чергу залежить від часу відгуку накопичувачів, що використовуються. Але, як не складно бачити, від контролера вона теж залежить: борються за звання кращих 3ware і Areca небагато, але все ж таки виграють у решти - їх відрив від гіршого (яким став Promise) складає близько половини мілісекунди. Здавалося б, які дрібниці, але як їх складно отримати, ці самі 0,5 мс виграшу, якщо час відгуку менше 7 мс. Як не крути, а 8% виграшу ці два контролери записали на свій рахунок.

Окремих слів заслуговують на успіхи HighPoint і LSI на масивах з використанням дзеркалювання. За рахунок вкрай ефективного вибору "вдалого" диска в парах ці контролери зуміли відіграти ще по одній мілісекунді. Чудовий результат, відмінні алгоритми - решті виробників явно варто звернути увагу на ці досягнення. Зазвичай, саме масиви RAID10 використовуються для зберігання баз даних і якщо ваша база не вміщується повністю в оперативну пам'ять сервера, то не варто нехтувати такою приємною можливістю покращити її продуктивність.

У разі часу відгуку при записі лідера було досить легко передбачити - ним закономірно став Adaptec, який протягом усього тесту IOMeter: Database демонстрував чудову продуктивність на записі. Потроху, але всіх масивах саме цей контролер виграє в рівних за класом конкурентів.
Відверто засмучують результати HighPoint і Promise на масивах RAID5 і RAID6 - проблеми з відкладеним записом у першого видно неозброєним поглядом, а її відсутність у другого вилилося в жахливе (більше, ніж на порядок!) збільшення часу відгуку.

Цікаво виглядають результати Areca з 2 ГБ пам'яті: у трьох випадках вони знову повторюють значення, отримані з 512 МБ, але в RAID6 2 ГБ виглядають вже помітно виграшніше. Можливо, контролеру просто не вистачає навантаження, щоб повноцінно використовувати ці самі 2 ГБ - з певної точки зору, контролери у нас працюють у режимі, що щадить, на кожен диск припадає по окремому каналу даних, експандери не використовуються. Можливо, що ми б побачили всю міць 2 ГБ пам'яті в тих випадках, коли на кожному каналі висить по кілька дисків і пропускної спроможності 3 Гбіт/с на всіх не вистачає (повірте, ситуація зовсім не умоглядна - саме таке і відбувається в тих випадках, коли на один зовнішній роз'єм вішається полиця із двома десятками дисків). Але на жаль, у нас немає можливості перевірити наше припущення, а поки що 2 ГБ себе ніяк не виявляють.

IOMeter: Random Read & Write

Оцінимо тепер залежності продуктивності контролерів у режимах читання та запису з довільною адресацією від розміру використовуваного блоку даних.

Результати, отримані під час роботи з випадковою адресацією даних, ми розглядаємо у двох варіантах. На блоках малого розміру будуються залежності кількості операцій за секунду від розміру використовуваного блоку. А на великих блоках замість кількості операцій як критерій продуктивності використовується швидкість, виміряна в Мегабайтах за секунду. Такий підхід дозволяє оцінити роботу масивів відразу у двох типових випадках навантаження: робота малими блоками характерна для баз даних і для неї більш важлива кількість операцій на секунду, ніж звична швидкість; а ось робота великими та дуже великими блоками близька до реальній роботіз файлами малих розмірів і тут вже на перший план виходить саме швидкість у звичних мегабайтах за секунду.

Почнемо із читання.

Добре йдуть, щільненько! Так, у RAID0 особливої різниці чекати і не доводиться. І все ж, Areca і 3ware справляються з невеликими запитами трохи краще за інших.

У RAID10 свою незаперечну перевагу демонструють LSI та HighPoint – чудові алгоритми читання з дзеркальних пар цих контролерів не залишають конкурентам жодних шансів. Серед інших трохи кращими результатами виділяється 3ware, причому його виграш зростає зі збільшенням розміру використовуваних блоків.

У разі масивів RAID5 і RAID6 всі контролери знову лягли щільною групою - оптимізувати взагалі нічого, знай вихоплюй інформацію по черзі з дисків, а про контрольні суми можна і не згадувати.

На великих блоках навіть у випадку RAID0 починає з'являтися помітна різниця - позначається вплив лінійних швидкостей та попереджувального читання. В результаті лідерство захоплює LSI, а трохи позаду тримається 3ware. З визначенням тих, хто програв все складніше - на блоках, розміром кілька мегабайт, невдало виступають HighPoint і Areca, але потім вони дуже бадьоро набирають швидкість, в результаті впевнено обганяючи Promise і Adaptec.

Areca знову робить сюрпризи: з 512 МБ пам'яті вона читає швидше, ніж з 2 ГБ. У нас є лише одне припущення: збільшений обсяг кешу збільшив затримки на пошук у ньому, що викликало цей ефект. Ми не претендуємо на істину, але інших пояснень ми просто не бачимо.

На масивах RAID10 під час читання порівняно великих блоків вибір вдалого диска не є виграшною стратегією й у результаті бачимо зміну лідерів. На перше місце вибрався 3ware, за яким прилаштувався LSI.

Відверто розчаровує Areca – в обох випадках вона показує відверто малозрозуміле зниження швидкості. Мабуть, і в її прошивці є недоробки, і ми їх зараз бачимо.

Розташування сил RAID5 повторює бачене RAID0, що, загалом, і не дивно.

Не сильно вона змінюється і в RAID6, хіба що Adaptec дещо випадає на великих блоках із загальної картини, недостатньо швидко набираючи швидкість.

Перейдемо до операцій запису із випадковою адресацією.

А тут уже у чистому вигляді працює запис. Причому, зважаючи на все, виграє той, хто тримає одночасно Велика кількістьліній кешування. У результаті перше місце за явною перевагою дістається Adaptec - він наполягає, що його запис найкращий ось уже не перший тест. У явні програли пішли LSI та Promise.

Цікаво, що Areca з 2 ГБ знову програє аналогу з меншою пам'яттю (який там виграш через більший обсяг, що ви). Невже і це викликано пошуком у пам'яті, що ускладнився?

Схоже, що про лідера на записі можна вже й не говорити. А ось про тих, хто програв - ще як варто. Якщо низький результат Promise можна пояснити відсутністю у нього відкладеного запису, то якими недоробками викликано настільки серйозне падіння продуктивності у LSI в RAID10 - нам невідомо.

У масивах RAID5 і RAID6 контролери поводяться дуже схоже. Відверто лідирує на малих блоках Adaptec, за яким з великим відставанням йде 3ware. В останнього ми бачимо цікаву особливість: на блоках по 512 байт його продуктивність нижча, ніж на 2-кБ блоках - мабуть, в даному випадку ми бачимо саме межу продуктивності своєрідної архітектури цього контролера. Втім, ці особливості не йдуть у жодне порівняння з проблемами HighPoint та Promise. HighPoint не може впоратися із записом дуже дрібних блоків - при зниженні розміру блоку нижче 32 кБ його продуктивність дуже помітно падає. Процесор у нього такий самий, як і в Adaptec – справа явно не в його потужності. Контролер Promise ще гірший - без відкладеного запису він просто захлинається під потоком дрібних запитів.

На записі великих блоків бачимо чудове розмаїтість характерів. Насамперед, хочеться відзначити проблеми Adaptec - наскільки чудово цей контролер справлявся з потоком дрібних блоків із випадковою адресацією, настільки ж погано йому дався запис великих блоків. Таке враження, що у нього обмежувач швидкості на 120 МБ/с. Повністю схожий з ним за параметрами Areca, навпаки, виривається на перше місце. При цьому той же Areca з 2 ГБ пам'яті вже помітно гірше, і, здається, теж знайшов свій обмежувач.

Нарешті, LSI і Promise демонструють малозрозуміле, проте синхронне зниження швидкості на 512-кБ блоках. При цьому якщо Promise потім, зі збільшенням блоку, прагне прагнути наздогнати лідерів, то LSI веде себе зайво скромно. Чому ці контролери мають проблеми із записом повних страйпів (на восьми дисках по 64 кБ ми якраз і набираємо 512 кБ) нам абсолютно незрозуміло.

На записі в RAID10 таких серйозних проблем немає вже ні в кого, хіба що Promise знову демонструє зниження швидкості в тій же області. Лідер знову Areca, причому цього разу - синхронно, в обох варіантах.

А на масивах із записом контрольних сум перед нами знову розбрід і хитання, хоч і не настільки сильні. Знову в незрозумілі бар'єри вперлися Adaptec і Areca з 2 ГБ пам'яті, а RAID6 до них приєднався ще й LSI. Помітно гірше за «успішних» контролерів (які, до речі, йдуть щільною групою) проходить тест Promise. Запис великих блоків дає йому можливість працювати повними страйпами, що дещо виправляє ситуацію з відсутністю у нього відкладеного запису (нагадаю, що при записуванні повного страйпу контрольна сума розраховується лише один раз на весь страйп, що різко знижує накладні витрати), але все ж таки не в силах дотягнути його продуктивність рівня інших.

IOMeter: Sequential Read & Write

Оцінимо можливості контролерів у послідовних операціях. У цьому тесті на накопичувачі подається потік запитів із глибиною черги команд, що дорівнює чотирьом. Раз на хвилину розмір блоку даних збільшується. У результаті ми отримуємо можливість простежити залежність лінійних швидкостей читання та запису масивів від розмірів використовуваних блоків даних та оцінити максимальні доступні швидкості.

Максимальну швидкість читання RAID0 всі контролери, крім 3ware (на результатах якого явно позначилися особливості архітектури), продемонстрували на одному рівні. Але досягли вони її на блоках різного розміру: Areca і HighPoint, що стали лідерами, вийшли на неї вже на 16-кБ блоках, LSI знадобився розмір вже 64 кБ, Adaptec - 128 кБ, а Promise і зовсім 512 кБ (повний страйп з восьми дисків по 64 кБ).

Лінійне читання з RAID10 наочно демонструє вміння контролерів розпаралелювати читання на два диски у дзеркальних парах. Ідеальна поведінка продемонструвати не зміг ніхто, але явно краще і швидше за інших у цьому тесті Areca (до речі, зауважте, що з 2 ГБ пам'яті, що з 512 МБ - ми знову бачимо однакові результати). Їй знову належить і лідерство за швидкістю читання блоками малих розмірів. Непогано поводяться ще й Adaptec і HighPoint, але останній занадто вимогливий до розміру блоку. А ось Promise, LSI та 3ware у цьому тесті відверто розчаровують.

Не змінюється розташування сил і при читанні з масивів RAID5 і RAID6 - наскільки добре Adaptec справлявся з випадковим записом, настільки Areca і HighPoint чудово поводяться на лінійному читанні.

Відверто розчаровує 3ware - у нього максимальна швидкістьнижче, ніж в інших, і малих блоках швидкість невисока. І на дуже великих – явні проблеми.

На записи RAID0 в лідери виходить HighPoint. Areca тримається близько, але все-таки трохи гірше. Причому тільки варіант з 512 МБ пам'яті - 2-ГБ варіант несподівано втратив швидкість взагалі. Що з ним трапилося і чому ми не можемо навіть припускати. Втім, такі ж проблеми спіткали Adaptec - він вкрай повільно пише, немов у нас не масив, а одиночний диск.

Ті ж проблеми у Areca з 2 ГБ пам'яті та на записі в RAID10. А ось Adaptec веде себе дивно - він найкращий із «середнячків» на малих блоках, при цьому найкращий в абсолютному заліку по максимальній швидкості, і при цьому страждає від малозрозумілого провалу швидкості на 128-кБ блоках. За сумою вражень краще за інших виглядає Areca c 512 МБ - у неї відмінні результати на малих блоках і дуже стабільна і досить висока швидкість на великих. А ось HighPoint від неї знову відстав – у нього проблеми на блоках великого розміру.

У RAID5 успішна лінійна запис далася небагатьом - радують око лише Areca (причому лише з базовим об'ємом пам'яті, у 2 ГБ знову значні проблеми) і HighPoint. LSI і 3ware просто помітно відстають від лідерів, у Adaptec знову якісь проблеми, ну а про Promise і говорити нема чого - хоч якась відчутна швидкість у нього з'являється лише на блоках 128 кБ і вище.

У RAID6 ситуація багато в чому нагадує RAID5, тому назвемо лише основні відмінності. Areca успішно працює вже в обох варіантах, HighPoint несподівано втрачає швидкість на великих блоках, там з'являються дуже серйозні проблеми у LSI. У Adaptec і Promise все як і раніше сумно. Але якщо вкрай низькі результати Promise точно пояснюються відсутнім відкладеним записом, те, що трапилося з Adaptec - загадка.

IOMeter: Multi-thread Read & Write

Цей тест дозволяє оцінити поведінку контролерів при багатопоточному навантаженні. У ході нього емулюється ситуація, коли з накопичувачем працює від одного до чотирьох додатків, причому кількість запитів від них змінюється від одного до восьми, а адресні простори кожного додатка, ролі яких виконують worker-и в "IOMeter", не перетинаються.

Як завжди, як найбільш показові та цікаві ми розглянемо діаграми запису та читання для ситуацій з глибиною черги в один запит. Саме така ситуація зазвичай і складається у реальних умовах. Особливу інтригу дає те, що, як свідчать наші спостереження, далеко не всі контролери здатні на мінімальній глибині черги продемонструвати максимальну швидкість.

У RAID0 явно краще за інших на читанні одного потоку виглядають Areca і HighPoint - їх втрати мінімальної глибини черги мінімальні, чого не скажеш про інші. Adaptec і LSI демонструють лише близько половини максимальної можливої на них швидкості, а Promise і 3ware і лише чверть.

Збільшення числа потоків до двох, трьох та чотирьох наочно показує, що на двох потоках всі контролери помітно втрачають у швидкості, а ось надалі разючих змін вже не відбувається. Загалом переможцем з цього тесту виходить Areca - на всіх навантаженнях цей контролер демонструє максимальні швидкості. А ось компаніям Promise та 3ware явно варто виправляти ситуацію – швидкості їх моделей надто малі.

На одиночному потоці RAID10 розстановка сил така ж, як і RAID0, тільки перевага Areca над іншими помітно набагато сильніше, оскільки він краще справляється з поперемінним читанням з дзеркальних пар. Цьому ж контролеру знову набагато краще за інших вдається читання кількох потоків. Причому зверніть увагу, наскільки контролер швидше читає два потоки – ось він, ефективний поділ потоків на різні диски у дзеркалах.

З інших пристойними результатами виділяються лише Adaptec (на жаль, лише за двох потоках) і HighPoint на трьох і чотирьох потоках читання.

Читання з масивів RAID5 і RAID6 проходить дуже схоже: з одним потоком краще за інших справляються Areca і HighPoint. З кількома потоками трохи краще за інших справляється HighPoint, але в цілому всі масиви поводяться непогано, за винятком Promise і 3ware, які знову демонструють не дуже високі швидкості.

Із записом на RAID0 картина не менш кумедна: з одного боку, мультипотоковий запис простіше, оскільки його помітно полегшують механізми відкладеного запису. З іншого, як не складно бачити, навіть запис одного потоку за мінімальної глибини черги не для всіх є простим навантаженням. Про справді високі швидкості можна говорити лише в Areca і HighPoint. Причому лише Areca зберігає таку ж високу швидкість (і навіть трохи більше) на кількох потоках. А ось засмучують низькими результатами нас уже три контролери: до Promise (причини його низьких результатів на записи вже зав'язли в зубах) приєдналися Adaptec та LSI.

Все в порядку у Areca зі швидкістю та у разі запису на RAID10. на цьому ж типі масивів виправився і Adaptec - за кількох потоків він успішно змагається з Areca за звання лідера. Серед тих, хто програв цей тест, знову LSI і Promise.

І знову ми бачимо подібну поведінку контролерів на масивах RAID5 та RAID6. При одному потоці на запис сильно краще за інших виглядають Areca і HighPoint, але при збільшенні числа потоків Areca залишається в лідерах у гордій самоті. Цікаво, що цього разу версія з 2 ГБ пам'яті дуже відрізняється. Шкода тільки, що не на краще - її швидкість на всіх навантаженнях більш ніж удвічі нижча. Тим не менш, дивна поведінка демонструє Areca при збільшенні набірної пам'яті, таке враження, що вона на такі її обсяги просто не розрахована.

Що ж до результатів Promise, позбавленого відкладеного запису, то вони на такому навантаженні смішно малі.

IOMeter: Webserver, Fileserver та Workstation

У цій групі тестів накопичувачі тестуються під навантаженнями, характерними для серверів та робочих станцій.

Нагадаю, що у "Webserver" та "Fileserver" емулюється робота накопичувача у відповідних серверах, тоді як у "Workstation" ми імітуємо роботу накопичувача в режимі типового навантаження для робочої станції, з обмеженням максимальної глибини черги в 32 запити. Природно, що "Webserver" та "Fileserver" - не більш як збірні назви; перший буде дуже схоже емулювати навантаження будь-якого сервера, що працює, власне, тільки з запитами на читання, а другий - сервера з переважанням запитів на читання, але при цьому з певною, помітно відмінною від нуля часткою запитів на запис.

Щоб не засмічувати статтю зовсім шаленою кількістю графіків, у цьому розділі ми їх усі виклали на окрему сторінку , а говоритимемо на основі діаграм.

З навантаженням, що складається виключно із запитів (переважно випадкових) на читання переважна більшість масивів справляється однаково добре – різниця становить лише 5 %. Причому тип масиву особливої ролі не грає – RAID6 працює так само швидко, як і RAID0. Але є один вагомий виняток: явно більшою продуктивністю відрізняються масиви RAID10 на тих контролерах, які вміють дуже ефективно шукати вдалий диск у дзеркальних парах, тобто на 3ware, HighPoint і LSI.

Поява в навантаженні запитів на запис призводить до помітного розмаїття результатів. По-перше, RAID5 і RAID6 починають помітно відставати від RAID0 та RAID10. По-друге, починають позначатися індивідуальні особливості контролерів. Так, у RAID10, як і раніше, найкращими є 3ware і HighPoint (причини «випадання з обойми» LSI прості, досить подивитися на графік - у цього контролера з певної глибини черги перестає зростати продуктивність). Як і слід було очікувати, Promise набагато гірше за інших справляється з масивами із записом контрольних сум. На цих масивах позначилося і відставання HighPoint від інших.

Схожа ситуація спостерігається і в «Workstation», але її ще більше загострює більшу кількість запитів на запис і картина запитів, що дуже різниться, в навантаженні. У результаті RAID0 лідерство захоплює Areca. У RAID10 як і раніше HighPoint і 3ware свідомо краще за інших. Ну а в RAID5 і RAID6 відставання HighPoint і Promise набуває дуже значних розмірів.

Те саме навантаження, але запущена на масивах, обмежених лише 32 Гб об'єму (використовуються лише найшвидші зони на дисках, час відгуку мінімально), відчутно змінює розстановку сил. Так, у RAID0 з'явилися явні відстаючі – ними стали LSI та Promise. У RAID10 зменшилася до мінімуму перевага 3ware та HighPoint - вибір вдалого диска вже практично не важливий, адже відгук скрізь мінімальний. Натомість з'явився відстаючий – ним знову став Promise. У випадку RAID5 та RAID6 загальна продуктивністьзросла, але відставання HighPoint і Promise нікуди не поділося.

FC-Test

Завершує нашу програму тестування FileCopy Test. На накопичувачі створюється два розділи по 32 ГБ, що розмічуються на двох етапах тестування спочатку в NTFS, а потім у FAT32, після чого на розділі створюється певний набір файлів, зчитується, копіюється в межах розділу та копіюється з розділу на розділ. Час усіх цих операцій фіксується. Нагадаємо, що набори "Windows" і "Programs" включають велику кількість дрібних файлів, а для решти трьох патернів ("MP3", "ISO" і "Install") характерно менша кількість файлів більше великого розміру, причому в "ISO" використовуються найбільші файли.

Не забувайте, що тест копіювання не тільки говорить про швидкість копіювання в межах одного накопичувача, але і дозволяє судити про його поведінку під складним навантаженням. Фактично, під час копіювання накопичувач одночасно працює з двома потоками, причому один із них на читання, а другий на запис.

Ми будемо докладно розглядати лише значення, досягнуті на наборах файлів "Install", "ISO" і "Programs" у NTFS, що є більш характерними для звичайного використання масивів. Інші результати, ви, при бажанні, як завжди, можете дізнатися в таблицях, що є в статтях по кожному окремому контролеру

Запис набору файлів Install можна чітко розділити на два випадки. На масивах RAID0 і RAID10 виграють Areca і Adaptec, а у проміжних, окрім цілком очікуваного, Promise виявляється LSI.

На масивах RAID5 та RAID6 пару Adaptec за лідерством складає вже 3ware. LSI вже не такий вже й поганий, зате Promise відверто безпорадний.

Зверніть увагу, з файлами Areca c 2 ГБ пам'яті справляється дуже гірше вихідного контролера. Чудеса та й годі.

З записом великих файлів Areca справляється явно краще за інших у RAID0 і RAID10, а ось на масивах з контрольною сумою з нею успішно сперечається HighPoint. У всіх випадках, крім RAID0, лише жаль викликають результати Adaptec і LSI - вони занадто малі. Ну а про Promise ми зовсім мовчимо - у тесті на запис у нього шансів немає.

А ось із записом файлів усі справляються приблизно однаково. Причому однаково повільно – зверніть увагу, наскільки помітно зменшується швидкість запису при зменшенні розмірів файлів.

Читання змішаного набору "Install" в переважній більшості випадків трохи краще вдається контролерам LSI та HighPoint. Що ж до відстаючих, то ними стали 3ware і Promise (і тут йому вже не виправдатися відсутнім відкладеним записом).

На великих файлах відверто "запалює" Areca - навіть HighPoint, що йде слідом за нею, складно назвати її конкурентом. Особливо примітними є результати в RAID10, де Areca наочно демонструє, навіщо треба вміти поперемінно читати з дисків.

А ось відстаючі ті самі - 3ware і Promise, та й LSI виглядає відверто слабким при читанні з RAID10 (розплата за відмінну вибірку вдалого диска?).

Ті ж, хто програв у нас і на дрібних файлах. А ось лідери нові: за перше місце борються LSI та HighPoint.

При копіюванні змішаного набору Install на трьох з типів масивів явно лідирує група з Adaptec, HighPoint і LSI. А ось у RAID10 LSI вибуває з лідерів, зате туди входить, вибиваючись одразу на перше місце, Areca. Програв у всіх випадках один - страждає від відкладеного запису Promise.

На великих файлах лідерів лише два: HighPoint і Areca. Остання набагато швидше RAID10, зате трохи відстає на інших масивах. Інші цим контролерам, чесно кажучи, слабкі конкуренти.

Копіювання дрібних файлів у «Programs» всім контролерам дається досить важко. Хоча трохи краще за інших виглядають, мабуть, LSI і Adaptec.

Підбиття підсумків

Мабуть, основним підсумком цього тестування буде задоволена банальна думка: ідеалу немає. У всіх контролерів є свої переваги і недоліки, тому найкраще виходити з того, що деякі контролери краще підходять під певні навантаження, ніж інші. Головне - не забувати, що прошивки здатні часом разюче змінити поведінку контролерів. Ми ж зараз роздамо нагороди та висловимо думку, керуючись виключно враженнями від того, що продемонстрували контролери на поточних прошивках.

Мабуть, найкращі відчуття про себе залишили Adaptec RAID ASR-5805 та Areca-1680x-16. Саме ці дві моделі найбільш стабільно проходили тести і у них найменше великих недоробок у прошивках. В цілому, Adaptec трохи краще підходить для організації баз даних, тоді як Areca найбільш успішно справляється з багатопотоковими операціями та роботою з файлами. У будь-якому випадку обидва вони є цілком гідними представниками сучасних контролерів. Цікаво, але побудовані вони, власне, на дуже подібних платформах - у них однаковий процесор і рівний обсяг оперативної пам'яті.

Так, Areca дозволяє змінити пам'ять і збільшити її об'єм, але наше тестування не показало жодного позитивного ефекту від цієї дії, швидше навпаки - версія з 2 ГБ часто виявлялася трохи гіршою. Втім, повторимося: можливо, що 2 ГБ продемонструють себе повною мірою, при підключенні контролер дисків через експандери, коли пропускну здатність інтерфейсу вже не повною мірою вистачатиме для всіх дисків.

Дещо неоднозначне враження залишили про себе 3ware 9690SA-8I і HighPoint RocketRAID HPT4320. Перший був би дуже непоганим контролером, але його неабияк псують низькі результати при роботі з файлами, так що на наш погляд його шлях - бази даних, де він відмінно проявить себе як збалансоване і потужний пристрій. У другого чудові алгоритми роботи з RAID10 і дуже непоганий запис, але він все ж таки має занадто багато проблем з масивами із записом контрольних сум. Хочеться сподіватися, що в наступних прошивках вони будуть вирішені, і в перспективі вибір добрих контролерів стане на одну модель більшою.

Що стосується LSI MegaRAID SAS 8708EM2 та Promise SuperTrak EX8650, то у своєму поточному вигляді вони розчаровують. Звичайно, Promise був у нас на тестах у дещо явно гірших умовах через непрацюючий відкладений запис, але все ж таки і на читанні у нього дуже низькі результати в порівнянні з конкурентами. А у LSI просто занадто багато недоробок, хоча робота з дрібними файлами і чудова вибірка вдалого диска в дзеркальних парах вражають. Але прошивки випускаються, а отже, шанси є у всіх. Знову ж таки, повторимося: у багатьох випадках наявність вже існуючої інфраструктури з працюючих контролерів будь-якої фірми має набагато більше значення, ніж продуктивність, якщо тільки остання не страждає зовсім непоправним чином.

Інші матеріали на цю тему

Тестування SAS RAID-контролера Areca ARC-1680ix-16
Тестування SAS RAID-контролера HighPoint RocketRAID HPT4320
Тестування SAS RAID-контролера LSI MegaRAID SAS 8708EM2
Тестування SAS RAID-контролера Adaptec RAID ASR-5805
Тестування SAS RAID-контролера 3ware 9690SA-8I
Тестування SAS RAID-контролера Promise SuperTrak EX8650

у комплект не входить.

Високопродуктивний 6-Гб/с апаратний RAID-контролер 9260-8i з 8-ю внутрішніми портами (2 роз'єми SFF8087) і об'ємом вбудованої пам'яті 512МБ, що дозволяє підключити до 128 накопичувачів SAS і SATA з технологією RAID-on-Chip.

Лінійка високопродуктивної продукції MegaRAID SATA+SAS 9260 дозволяє досягти найвищих швидкостей передачі даних до 2880МБ/с на читання, 1850МБ/с на запис і до 147000 операцій введення-виводу при довільному доступі до даних, що дозволяє забезпечувати роботу будь-яких навіть як бази даних та відеообробка.

Ці продукти дозволяють використовувати носії 3 Гб/с та 6 Гб/с із підтримкою внутрішнього підключення як SATA-, так і SAS-накопичувачів.

Внутрішнє підключення SATA- або SAS-накопичувачів сервера. Дозволяє працювати зі 128 пристроями за допомогою експандерів SAS. Технологія LSI RAID-on-Chip (ROC) та основний інтерфейс PCI Express для програм, що потребують широкої смуги пропускання.

Опціональний резервний акумулятор для запобігання втраті даних у разі відмови сервера.

Підтримка додаткового програмного забезпечення CacheCade, FastPath та Recovery/Snapshots.

Основні особливості

Максимально доступний рівень продуктивності: в режимі зчитування: 2.875Мбайт/с; в режимі запису: 1.850Мбайт/с
PCI Express 2.0 забезпечує вищу швидкість передачі сигналу для додатків, що працюють з широкою смугою пропускання
Максимальна гнучкість рішення за рахунок підтримки дискових накопичувачів SATA та SAS 3Гбіт/с та 6Гбіт/с
Технологія кодування SafeStore Encryption забезпечує більш надійний захист даних
Низькопрофільний дизайн MD2 зручний для розміщення в компактних архітектурах 1U та 2U

Технічні характеристики

Параметр	Опис
Процесор	LSISAS2108 RAID-on-Chip (ROC) 800МГц PowerPC®
Швидкодія	До 6Гбіт/с на порт
Інтерфейси	Вісім внутрішніх портів SATA+SAS Два внутрішні інтерфеси SFF-8087
Пам'ять	Кеш-пам'ять - 512Мб DDRII (800МГц)
Кількість підтримуваних пристроїв	до 32 дискових накопичувачів SATA та/або SAS
Підтримувані рівні RAID	RAID - рівень 0, 1, 5 та 6 Розширений RAID 10, 50 та 60
Інтерфейс хост-контролера	X8 PCI Express версії 2.0
Форм-фактор	Низькопрофільний формат MD2 (167.64 мм x 64.42 мм)
Функціональні можливості	Блок аварійного живлення (опція, пряме підключення) Автоматичне поновлення роботи після модернізації Автоматичне поновлення роботи після відновлення Онлайнове збільшення ємності (OCE) Онлайнова міграція з одного на інший рівень RAID (RLM) Система кодування даних SafeStore Функція негайного видалення даних SSD-підтримка з технологією SSD Guard™ Глобальне та спеціалізоване резервування, аварійне гаряче резервування з функцією відновлення даних Автоматичне відновлення Структурна цілісність для гарячого резервування Аварійне гаряче резервування SATA для масивів SAS Багатоканальна структура підтримки для одного контролера (перемикання при відмові) Розподіл завантаження Комплексне програмне забезпечення для керування RAID масивами

Шановні покупці
Звертаємо Вашу увагу, що довідкова інформація про товари, що розміщена на даному сайті, не є офертою, наявність та вартість обладнання необхідно уточнити у менеджерів ТОВ "НАГ", які із задоволенням допоможуть Вам у виборі обладнання та оформленні на нього замовлення.

Виробник залишає за собою право змінювати зовнішній вигляд, технічні характеристики та комплектацію без попередження.

Коротко про сучасні RAID-контролери

В даний час RAID-контролери як окреме рішення орієнтовані виключно на спеціалізований сервер сегмент ринку. Дійсно, всі сучасні материнські плати для ПК (не серверні плати) мають інтегровані програмно-апаратні SATA RAID-контролери, можливостей яких з надлишком вистачає для користувачів ПК. Правда, потрібно мати на увазі, що ці контролери орієнтовані виключно на використання операційної системи Windows. В операційних системах сімейства Linux RAID-масиви створюються програмним методом і всі розрахунки переносяться з RAID-контролера на центральний процесор.

У серверах зазвичай використовуються або програмно-апаратні, або чисто апаратні RAID-контролери. Апаратний RAID-контролер дозволяє створювати та обслуговувати RAID-масив без участі операційної системи та центрального процесора. Такі RAID-масиви є операційною системою як один диск (SCSI-диск). При цьому ніякого спеціалізованого драйвера не потрібно - використовується стандартний драйвер SCSI-диска, що входить до складу операційної системи. У цьому плані апаратні контролери є платформенно-незалежними, а налаштування RAID-масиву здійснюється через BIOS контролера. Апаратний RAID-контролер не задіє центральний процесор при розрахунку всіх контрольних сум тощо, оскільки для розрахунків застосовує свій спеціалізований процесор та оперативну пам'ять.

Програмно-апаратні контролери вимагають обов'язкової наявності спеціалізованого драйвера, який замінює собою стандартний драйвер SCSI-диска. Крім того, програмно-апаратні контролери комплектуються утилітами керування. У цьому плані програмно-апартні контролери прив'язані до конкретної операційної системи. Всі необхідні розрахунки в цьому випадку також виконуються процесором RAID-контролера, але використання програмного драйверата утиліти управління дозволяє керувати контролером через операційну систему, а не лише через BIOS контролера.

Зважаючи на те, що на зміну серверним SCSI-дискам вже прийшли SAS-диски, всі сучасні серверні RAID-контролери орієнтовані на підтримку або SAS-, або SATA-дисків, які також застосовуються в серверах.

Торік на ринку почали з'являтись диски з новим інтерфейсом SATA 3 (SATA 6 Гбіт/с), який став поступово витісняти інтерфейс SATA 2 (SATA 3Гбіт/с). А на зміну дискам з інтерфейсом SAS (3 Гбіт/с) прийшли диски з інтерфейсом SAS 2.0 (6 Гбіт/с). Звичайно, новий стандарт SAS 2.0 повністю сумісний із старим стандартом.

Відповідно, з'явилися RAID-контролери з підтримкою стандарту SAS 2.0. Здавалося б, який сенс переходити до стандарту SAS 2.0, якщо навіть найшвидші SAS-диски мають швидкість читання та запису даних не вище 200 Мбайт/с і для них цілком достатньо пропускної спроможності протоколу SAS (3 Гбіт/с або 300 Мбайт/с) ?

Дійсно, коли кожен диск підключається до окремого порту на RAID-контролері, пропускної спроможності 3 Гбіт/с (що теоретично становить 300 Мбайт/с) цілком достатньо. Однак, до кожного порту RAID-контролера можуть підключатися не лише окремі диски, але й дискові масиви (дискові кошики). У цьому випадку один SAS-канал ділять між собою відразу кілька накопичувачів, і пропускну здатність 3 Гбіт/с буде недостатньо. Ну і, крім того, потрібно враховувати наявність SSD-дисків, швидкість читання та запису яких уже подолала планку 300 Мбайт/с. Наприклад, у новому диску Intel SSD 510 швидкість послідовного читання становить до 500 Мбайт/с, а швидкість послідовного запису - до 315 Мбайт/с.

Після короткого знайомства з поточною ситуацією на ринку серверних RAID-контролерів розглянемо характеристики контролера LSI 3ware SAS 9750-8i.

Характеристики RAID-контролера 3ware SAS 9750-8i

Цей RAID-контролер виконаний на базі спеціалізованого XOR-процесора LSI SAS2108 з тактовою частотою 800 МГц та архітектурою PowerPC. Цей процесор використовує 512 Мбайт оперативної пам'яті DDRII 800 МГц із корекцією помилок (ECC).

Контролер LSI 3ware SAS 9750-8i сумісний із SATA- та SAS-дисками (підтримуються як HDD-, так і SSD-диски) і дозволяє підключати до 96 пристроїв за допомогою SAS-експандерів. Важливо, що цей контролер підтримує диски з інтерфейсом SATA 600 Мбайт/с (SATA III) та SAS 2.

Для підключення дисків на контролері передбачено вісім портів, які фізично об'єднані у два роз'єми Mini-SAS SFF-8087 (по чотири порти у кожному роз'ємі). Тобто якщо диски підключати безпосередньо до портів, то можна підключити до контролера вісім дисків, а при підключенні до кожного порту дискових кошиків загальний обсяг дисків може бути збільшений до 96. Кожен з восьми портів контролера має пропускну здатність 6 Гбіт/с, що відповідає стандартам SAS 2 та SATA III.

При підключенні дисків або дискових кошиків до цього контролера будуть потрібні спеціалізовані кабелі, які з одного кінця мають внутрішній роз'єм Mini-SAS SFF-8087, а на іншому кінці - роз'єм, який залежить від того, що саме підключається до контролера. Наприклад, при підключенні до контролера безпосередньо SAS-дисків необхідно використовувати кабель, у якого з одного боку роз'єм Mini-SAS SFF-8087, а з іншого - чотири роз'єми SFF 8484, які дозволяють безпосередньо підключати SAS-диски. Зазначимо, що самі кабелі не входять у комплект постачання та купуються окремо.

Контролер LSI 3ware SAS 9750-8i має інтерфейс PCI Express 2.0 x8, що забезпечує пропускну здатність 64 Гбіт/с (по 32 Гбіт/с у кожному напрямку). Зрозуміло, що такої пропускної спроможності цілком достатньо для повністю завантажених восьми портів SAS із пропускною здатністю 6 Гбіт/с кожен. Також відзначимо, що на контролері є спеціальний роз'єм, в який можна підключити опціонально батарею резервного живлення LSIiBBU07.

Важливо, що цей контролер вимагає інсталяції драйвера, тобто є програмно-апаратним RAID-контролером. При цьому підтримуються такі операційні системи, як Windows Vista, Windows Server 2008, Windows Server 2003 x64, Windows 7, Windows 2003 Server, MAC OS X, LinuxFedora Core 11, Red Hat Enterprise Linux 5.4, OpenSuSE 11.1, SuSE Linux Enterprise Server (SLES) 11, OpenSolaris 2009.06 4.0/4.0 update-1 та інші системи сімейства Linux. У комплект поставки також входить програмне забезпечення 3ware Disk Manager 2, що дозволяє керувати RAID-масивами через операційну систему.

Контролер LSI 3ware SAS 9750-8i підтримує стандартні типи RAID-масивів: RAID 0, 1, 5, 6, 10 і 50. Мабуть, єдиний тип масиву, який не підтримується, - RAID 60. Це пов'язано з тим, що цей контролер здатний створити масив RAID 6 тільки на п'яти дисках, що підключаються безпосередньо до кожного порту контролера (теоретично, RAID 6 може бути створений на чотирьох дисках). Відповідно для масиву RAID 60 даному контролеру потрібно щонайменше десять дисків, яких просто немає.

Зрозуміло, що підтримка масиву RAID 1 є неактуальною для такого контролера, оскільки даний типмасиву створюється тільки на двох дисках, а використовувати такий контролер тільки для двох дисків нелогічно та вкрай марнотратно. А ось підтримка масивів RAID 0, 5, 6, 10 та 50 дуже актуальна. Хоча, можливо, з масивом RAID 0 ми поспішили. Все ж таки цей масив не має надмірності, а відповідно не забезпечує надійності зберігання даних, тому в серверах він використовується вкрай рідко. Однак теоретично цей масив є найшвидшим за швидкістю читання та запису даних. Втім, давайте згадаємо, чим різні типи RAID-масивів відрізняються один від одного і що вони являють собою.

Рівні RAID-масивів

Термін "RAID-масив" з'явився в 1987 році, коли американські дослідники Паттерсон, Гібсон і Катц з Каліфорнійського університету в Берклі у своїй статті "Надлишковий масив недорогих дисків" ("A case for redundant arrays of inexpensive discs, RAID") описали, яким можна об'єднати кілька дешевих жорстких дисків в один логічний пристрій так, щоб в результаті підвищувалися ємність і швидкодія системи, а відмова окремих дисків не призводив до відмови всієї системи. З моменту виходу цієї статті минуло майже 25 років, але технологія побудови RAID-масивів не втратила актуальності і сьогодні. Єдине, що змінилося з того часу - це розшифровка абревіатури RAID. Справа в тому, що спочатку RAID-масиви будувалися зовсім не на дешевих дисках, тому слово Inexpensive ("недорогі") змінили на Independent ("незалежні"), що більше відповідало дійсності.

Відмовостійкість у RAID-масивах досягається за рахунок надмірності, тобто частина ємності дискового простору приділяється для службових цілей, стаючи недоступною для користувача.

Підвищення продуктивності дискової підсистеми забезпечується одночасною роботою кількох дисків, й у сенсі що більше дисків у масиві (до певної межі), краще.

Спільну роботу дисків у масиві можна організувати за допомогою паралельного або незалежного доступу. При паралельному доступі дискове місце розбивається на блоки (смужки) для запису даних. Аналогічно інформація, що підлягає запису на диск, розбивається такі самі блоки. При записі окремі блоки записуються на різні диски, причому запис кількох блоків різні диски відбувається одночасно, що призводить до збільшення продуктивності в операціях запису. Потрібна інформація також зчитується окремими блоками одночасно з кількох дисків, що також сприяє зростанню продуктивності пропорційно до кількості дисків у масиві.

Слід зазначити, що модель з паралельним доступом реалізується лише за умови, що розмір запиту на запис даних більший за розмір самого блоку. В іншому випадку здійснювати паралельний запис кількох блоків практично неможливо. Уявимо ситуацію, коли розмір окремого блоку становить 8 Кбайт, а розмір запиту запис даних - 64 Кбайт. І тут вихідна інформація нарізається на вісім блоків по 8 Кбайт кожен. Якщо є масив із чотирьох дисків, то одночасно можна записати чотири блоки, або 32 Кбайт, за один раз. Очевидно, що у розглянутому прикладі швидкість запису та швидкість зчитування виявляться вчетверо вище, ніж при використанні одного диска. Це справедливо лише для ідеальної ситуації, проте розмір запиту далеко не завжди кратний розміру блоку та кількості дисків у масиві.

Якщо ж розмір даних, що записуються менше розміру блоку, то реалізується принципово інша модель - незалежний доступ. Більш того, ця модель може використовуватися і в тому випадку, коли розмір даних, що записуються більше розміру одного блоку. При незалежному доступі всі дані окремого запиту записуються окремий диск, тобто ситуація ідентична роботі з одним диском. Перевага моделі з незалежним доступом у тому, що при одночасному надходженні кількох запитів на запис (читання) всі вони виконуватимуться на окремих дисках незалежно один від одного. Така ситуація типова, наприклад, для серверів.

Відповідно до різними типамиДоступу існують і різні типи RAID-масивів, які прийнято характеризувати рівнями RAID. Крім типу доступу, рівні RAID розрізняються способом розміщення та формування надмірної інформації. Надмірна інформація може або розміщуватись на спеціально виділеному диску, або розподілятися між усіма дисками.

В даний час існує кілька RAID-рівень, які широко використовуються, - це RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50 і RAID 60. Раніше також застосовувалися рівні RAID 2, RAID 3 і RAID 4, проте В даний час ці рівні RAID не використовуються і сучасні RAID-контролери їх не підтримують. Всі сучасні RAID-контролери підтримують також функцію JBOD (Just a Bench Of Disks). У цьому випадку йдеться не про RAID-масив, а просто про підключення окремих дисків до RAID-контролера.

RAID 0

RAID 0, або страйпінг (striping) - це, строго кажучи, не RAID-масив, оскільки такий масив не має надмірності і не забезпечує надійності зберігання даних. Однак історично його також називають RAID-масивом. Масив RAID 0 (рис. 1) може будуватися на двох і більше дисках і використовується в тому випадку, коли необхідно забезпечити високу продуктивність підсистеми дискової, а надійність зберігання даних некритична. При створенні масиву RAID 0 інформація розбивається на блоки (ці блоки називають страйпами), які одночасно записуються на окремі диски, тобто створюється система з паралельним доступом (якщо, звичайно, дозволяє розмір блоку). Завдяки можливості одночасного введення виводу з декількох дисків, RAID 0 забезпечує максимальну швидкість передачі даних та максимальну ефективність використання дискового простору, оскільки не потрібно місця для зберігання контрольних сум. Реалізація цього рівня дуже проста. В основному RAID 0 застосовується у тих областях, де потрібна швидка передача великого обсягу даних.

Мал. 1. Масив RAID 0

Теоретично приріст швидкості читання та запису повинен бути кратний кількості дисків у масиві.

Надійність масиву RAID 0 свідомо нижче надійності будь-якого з дисків окремо і знижується зі збільшенням кількості дисків, що входять до масиву, оскільки відмова будь-якого з них призводить до непрацездатності всього масиву. Якщо час напрацювання на відмову кожного диска становить MTTF disk , то час напрацювання на відмову масиву RAID 0, що складається з nдисків, так само:

MTTF RAID0 = MTTD диск /n.

Якщо позначити можливість виходу з ладу за певний проміжок часу одного диска через p, то для масиву RAID 0 з nдисків ймовірність того, що хоча б один диск вийде з ладу (ймовірність падіння масиву), складе:

Р (падіння масиву) = 1 – (1 – р) n.

Наприклад, якщо можливість виходу з ладу одного диска протягом трьох років експлуатації становить 5%, то можливість падіння масиву RAID 0 із двох дисків дорівнює вже 9,75%, та якщо з восьми дисків - 33,7%.

RAID 1

Масив RAID 1 (рис. 2), який також називають дзеркалом (mirror), – це масив із двох дисків зі 100-відсотковою надмірністю. Тобто дані повністю дублюються (дзеркалуються), за рахунок чого досягається дуже високий рівень надійності (як, втім, вартості). Зазначимо, що для реалізації RAID 1 не потрібно попередньо розбивати диски та дані на блоки. У найпростішому випадку два диски містять однакову інформацію та є одним логічним диском. При виході з ладу одного диска функції виконує інший (що абсолютно прозоро для користувача). Відновлення масиву виконується простим копіюванням. Крім того, теоретично в масиві RAID 1 повинна подвоюватися швидкість зчитування інформації, оскільки ця операція може виконуватись одночасно з двох дисків. Подібна схема зберігання інформації використовується в основному в тих випадках, коли ціна безпеки даних набагато вища за вартість реалізації системи зберігання.

Мал. 2. Масив RAID 1

Якщо, як у попередньому випадку, позначити можливість виходу з ладу за певний проміжок часу одного диска через p, то для масиву RAID 1 ймовірність того, що обидва диски вийдуть з ладу одночасно (ймовірність падіння масиву), складе:

Р (падіння масиву) = р 2.

Наприклад, якщо можливість виходу з експлуатації одного диска протягом трьох років експлуатації становить 5%, то можливість одночасного виходу з експлуатації двох дисків дорівнює вже 0,25%.

RAID 5

Масив RAID 5 (рис. 3) - це стійкий до відмов. дисковий масивіз розподіленим зберіганням контрольних сум. При записі потік даних розбивається на блоки (страйпи) лише на рівні байтів, які одночасно записуються попри всі диски масиву в циклічному порядку.

Мал. 3. Масив RAID 5

Припустимо, що масив містить nдисків, а розмір страйпу - d. Для кожної порції з n-1 страйпів розраховується контрольна сума p.

Страйп d 1записується на перший диск, страйп d 2- на другий і так далі аж до страйпу d n–1, який записується на (n–1) диск. Далі на n-й дискзаписується контрольна сума p n, і процес циклічно повторюється з першого диска, який записується страйп d n.

Процес запису ( n-1) страйпів та їх контрольної суми проводиться одночасно на всі nдисків.

Для обчислення контрольної суми використовується порозрядна операція «виключає АБО» (XOR), що застосовується до блоків даних, що записуються. Так, якщо є nжорстких дисків та d- блок даних (страйп), то контрольна сума розраховується за такою формулою:

p n = d 1⊕ d 2 ⊕ ... ⊕ d n–1.

У разі виходу з ладу будь-якого диска, дані на ньому можна відновити за контрольними даними та за даними, що залишилися на справних дисках. Справді, скориставшись тотожністю (a⊕ b) A b= aі a⊕ a = 0 , Отримаємо, що:

p n⊕ (d k⊕ p n) = d l⊕ d n⊕ ...⊕ ...⊕ d n–l⊕ (d k⊕ p n).

d k = d 1⊕ d n⊕ ...⊕ d k-1⊕ d k+1⊕ ...⊕ p n.

Таким чином, якщо з ладу вийшов диск із блоком d k, його можна відновити за значенням інших блоків і контрольної суми.

У випадку RAID 5 всі диски масиву повинні мати однаковий розмір, однак загальна ємність дискової підсистеми, доступної для запису, стає менше одного диска. Наприклад, якщо п'ять дисків мають розмір 100 Гбайт, фактичний розмір масиву становить 400 Гбайт, оскільки 100 Гбайт відводиться на контрольну інформацію.

Масив RAID 5 може бути побудований на трьох і більше жорстких дисках. Зі збільшенням кількості жорстких дисків у масиві його надмірність зменшується. Відзначимо також, що масив RAID 5 може бути відновлений при виході з експлуатації лише одного диска. Якщо ж одночасно виходять з ладу два диски (або якщо другий диск виходить з ладу в процесі відновлення масиву), масив не підлягає відновленню.

RAID 6

Масив RAID 5, як було показано, може бути відновлений при виході одного диска з ладу. Однак іноді потрібно забезпечити вищий рівень надійності, ніж у масиві RAID 5. У цьому випадку можна використовувати масив RAID 6 (рис. 4), який дозволяє відновити масив навіть при виході з експлуатації одночасно двох дисків.

Мал. 4. Масив RAID 6

Масив RAID 6 схожий на RAID 5, але в ньому застосовується не одна, а дві контрольні суми, які розподіляються циклічно по дисках. Перша контрольна сума pрозраховується за тим самим алгоритмом, що і в масиві RAID 5, тобто це операція XOR між блоками даних, що записуються на різні диски:

p n = d 1⊕ d2⊕ ...⊕ d n–1.

Друга контрольна сума розраховується вже за іншим алгоритмом. Не вдаючись у математичні подробиці, скажімо, що це також операція XOR між блоками даних, але кожен блок даних попередньо множиться на поліноміальний коефіцієнт:

q n = g 1 d 1⊕ g 2 d 2⊕ ...⊕ g n–1 d n–1 .

Відповідно під контрольні суми виділяється ємність двох дисків у масиві. Теоретично масив RAID 6 може бути створений на чотирьох і більше дисках, однак у багатьох контролерах може бути створений мінімум на п'яти дисках.

Потрібно мати на увазі, що продуктивність масиву RAID 6, як правило, на 10-15% нижче за продуктивність масиву RAID 5 (при рівній кількості дисків), що викликано великим обсягом розрахунків, що виконуються контролером (необхідно розраховувати другу контрольну суму, а також зчитувати і перезаписувати більше дискових блоків під час запису кожного блоку).

RAID 10

Масив RAID 10 (рис. 5) є поєднанням рівнів 0 і 1. Мінімально для цього рівня потрібні чотири диски. У масиві RAID 10 з чотирьох дисків вони попарно поєднуються в масиви RAID 1, а обидва ці масиви як логічні диски об'єднуються в масив RAID 0. Можливий і інший підхід: спочатку диски об'єднуються в масиви RAID 0, а потім логічні диски на основі цих масивів масив RAID 1.

Мал. 5. Масив RAID 10

RAID 50

Масив RAID 50 є поєднанням рівнів 0 і 5 (рис. 6). Мінімально для цього рівня потрібно шість дисків. У масиві RAID 50 спочатку створюються два масиву RAID 5 (мінімум по три диски в кожному), які потім як логічні диски поєднуються в масив RAID 0.

Мал. 6. Масив RAID 50

Методика тестування контролера LSI 3ware SAS 9750-8i

Для тестування RAID-контролера LSI 3ware SAS 9750-8i ми використали спеціалізований тестовий пакет IOmeter 1.1.0 (версія 2010.12.02). Тестовий стендмав таку конфігурацію:

процесор - Intel Core i7-990 (Gulftown);
системна плата – GIGABYTE GA-EX58-UD4;
пам'ять – DDR3-1066 (3 Гбайт, триканальний режим роботи);
системний диск- WD Caviar SE16 WD3200AAKS;
відеокарта – GIGABYTE GeForce GTX480 SOC;
RAID-контролер – LSI 3ware SAS 9750-8i;
SAS-диски, що підключаються до RAID-контролера, - Seagate Cheetah 15K.7 ST3300657SS.

Тестування проводилося під керуванням операційної системи Microsoft Windows 7 Ultimate (32-bit).

Ми використовували Windows-драйвер RAID-контролера версії 5.12.00.007, а також оновили прошивку контролера до версії 5.12.00.007.

Системний диск підключався до SATA, реалізованого через контролер, інтегрований у південний міст чіпсету Intel X58, а SAS-диски підключалися безпосередньо до портів RAID-контролера з використанням двох кабелів Mini-SAS SFF-8087-4 SAS.

RAID-контролер встановлювався у роз'єм PCI Express x8 на системній платі.

Контролер тестувався з наступними RAID-масивами: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10 і RAID 50. Кількість дисків, що об'єднуються в RAID-масив, варіювалася для кожного типу масиву від мінімального значення до восьми.

Розмір страйпу на всіх RAID-масивах не змінювався та становив 256 Кбайт.

Нагадаємо, що пакет IOmeter дозволяє працювати як із дисками, на яких створено логічний розділ, так і з дисками без логічного розділу. Якщо проводиться тестування диска без створеного на ньому логічного розділу, то IOmeter працює на рівні логічних блоків даних, тобто замість операційної системи передає команди контролеру на запис чи читання LBA-блоків.

Якщо на диску створено логічний розділ, то спочатку утиліта IOmeter створює на диску файл, який за замовчуванням займає весь логічний розділ (у принципі, розмір цього файлу можна змінювати, вказавши його в кількості 512 байтних секторів), і далі працює з цим файлом, тобто зчитує або записує (перезаписує) окремі блоки LBA в межах цього файлу. Але знову ж таки IOmeter працює в обхід операційної системи, тобто безпосередньо надсилає запити контролеру на читання/запис даних.

Загалом, при тестуванні HDD-дисків, як показує практика, різниці між результатами тестування диска зі створеним логічним розділом і без нього практично немає. У той же час ми вважаємо, що коректніше проводити тестування без створеного логічного розділу, оскільки в такому разі результати тестів не залежать від використовуваної файлової системи(NTFA, FAT, ext і т.д.). Саме тому ми виконували тестування без створення логічних розділів.

Крім того, утиліта IOmeter дозволяє задавати розмір блоку запиту (Transfer Request Size) на запис/читання даних, а тест можна проводити як для послідовних (Sequential) читання та запису, коли LBA-блоки зчитуються та записуються послідовно один за одним, так і для випадкових (Random), коли LBA-блоки зчитуються та записуються у довільному порядку. Під час формування сценарію навантаження можна задавати час тесту, відсоткове співвідношення між послідовними та випадковими операціями (Percent Random/Sequential Distribution), а також відсоткове співвідношення між операціями читання та запису (Percent Read/Write Distribution). Крім того, утиліта IOmeter дозволяє автоматизувати весь процес тестування та зберігає всі результати у CSV-файл, який потім легко експортується до таблиці Excel.

Ще одне налаштування, яке дозволяє робити утиліта IOmeter - це так зване вирівнювання блоків запитів на передачу даних (Align I/Os on) по кордонах секторів жорсткогодиска. За замовчуванням IOmeter вирівнює блоки запитів за межами 512-байтних секторів диска, проте можна встановити і довільне вирівнювання. Власне більшість жорстких дисків мають розмір сектора 512 байт і тільки останнім часом стали з'являтися диски з розміром сектора 4 Кбайт. Нагадаємо, що в HDD-дисках сектор - це мінімальний розмір даних, що адресується, який можна записати або рахувати з диска.

Під час проведення тестування необхідно встановлювати вирівнювання блоків запитів передачі даних за розміром сектора диска. Оскільки у дисках Seagate Cheetah 15K.7 ST3300657SS розмір сектора складає 512 байт, ми використовували вирівнювання за межами 512-байтних секторів.

За допомогою тестового пакету IOmeter ми вимірювали швидкість послідовного читання та запису, а також швидкість випадкового читання та запису створеного RAID-масиву. Розміри блоків даних становили 512 байт, 1, 2, 4, 8, 16, 32, 64, 128, 256, 512 і 1024 Кбайт.

У наведених сценаріях навантаження час тесту з кожним запитом на передачу блоку даних становив 5 хв. Також відзначимо, що у всіх перерахованих тестах ми задавали в налаштуваннях IOmeter глибину черги завдання (# of Outstanding I/Os) рівної 4, що типово для додатків користувача.

Результати тестування

Проаналізувавши результати тестування, ми здивувалися роботою RAID-контролера LSI 3ware SAS 9750-8i. Причому настільки, що почали переглядати наші скрипти щодо виявлення в них помилки, а потім багаторазово повторили тестування з іншими налаштуваннями RAID-контролера. Ми змінювали розмір страйпу та режим роботи кешу RAID-контролера. Це, звісно ж, позначалося на результатах, проте змінювало загального характеру залежності швидкості передачі від розміру блоку даних. А цю залежність ми таки не змогли пояснити. Робота даного контролеравидається нам абсолютно нелогічною. По-перше, результати нестабільні, тобто за кожного фіксованого розміру блоку даних швидкість періодично змінюється і усереднений результат має велику похибку. Зазначимо, що зазвичай результати тестування дисків та контролерів з використанням утиліти IOmeter стабільні та відрізняються дуже незначно.

По-друге, при збільшенні розміру блоку швидкість передачі даних повинна зростати або залишатися незмінною в режимі насичення (коли швидкість досягає максимального значення). Однак у разі контролера LSI 3ware SAS 9750-8i за деяких розмірів блоків спостерігається різке падіння швидкості передачі даних. Крім того, для нас так і залишилося загадкою, чому при тому самому кількості дисків для масивів RAID 5 і RAID 6 швидкість запису вище швидкості читання. Одним словом, пояснити роботу контролера LSI 3ware SAS 9750-8i ми не можемо – залишається лише констатувати факти.

Результати тестування можна класифікувати по-різному. Наприклад, за сценаріями завантаження, коли для кожного типу завантаження наводяться результати для всіх можливих RAID-масивів з різною кількістю підключених дисків або за типами RAID-масивів, коли для кожного типу RAID-масиву вказуються результати з різною кількістю дисків у сценаріях послідовного читання , послідовного запису, випадкового читання та випадкового запису. Також можна класифікувати результати за кількістю дисків у масиві, коли для кожної кількості підключених до контролера дисків наводяться результати для всіх можливих (при даній кількості дисків) RAID-масивів у сценаріях послідовного читання та послідовного запису, випадкового читання та випадкового запису.

Ми вирішили класифікувати результати за типами масивів, оскільки, на наш погляд, незважаючи на досить велику кількість графіків, таке їхнє уявлення наочніше.