Записки IT специалиста
Что такое черепичная магнитная запись SMR и стоит ли ее избегать?
- Автор: Уваров А.С.
- 04.12.2022
Диски с черепичной магнитной записью до сих пор остаются для многих пользователей неким пугалом и их стараются всеми силами избегать. Но так ли это на самом деле? Конечно же нет, черепичная магнитная запись — это технология со своими плюсами и минусами, которые нужно обязательно учитывать. В данной статье мы коротко разберем: что такое черепичная запись, какие особенности работы имеют диски с SMR, какие режимы работы подходят таким дискам, а какие нет. И вообще, стоит ли избегать покупки и эксплуатации дисков с SMR.
Научиться настраивать MikroTik с нуля или систематизировать уже имеющиеся знания можно на углубленном курсе по администрированию MikroTik. Автор курса, сертифицированный тренер MikroTik Дмитрий Скоромнов, лично проверяет лабораторные работы и контролирует прогресс каждого своего студента. В три раза больше информации, чем в вендорской программе MTCNA, более 20 часов практики и доступ навсегда.
Начнем с краткого обзора рынка устройств хранения, который последние годы претерпел значительные изненения. Так ниша накопителей емкостью до 1 ТБ включительно плотно занята твердотельными накопителями, которые стали основным видом носителя для системных дисков и нагруженных систем. Там, где планируются высокие дисковые нагрузки — применяется NVMе, в недорогие системы идут SATA SSD, даже самые дешевые модели из которых имеют показатели в разы превосходящие лучшие модели жестких дисков.
А сами жесткие диски сегодня окончательно ушли в нишу устройств для недорогого (в пересчете на терабайт) хранения больших объемов информации без претензии на производительность, тем более что объемы хранимых данных год от года только растут. Все это потребовало от производителей жестких дисков наращивать объемы при сохранении невысокой общей стоимости хранения.
Каким образом можно это сделать? Физические габариты устройства ограничены и бесконечно наращивать количество пластин мы не можем, так как это приведет к усложнению и удорожанию устройства, а также к ухудшению его эксплуатационных качеств (повышенный нагрев и шум). Поэтому производители пошли другим путем — увеличением плотности записи.
Первоначально жесткие диски использовали метод продольной магнитной записи (Longitudinal Magnetic Recording, LMR), основным недостатком которой была необходимость оставлять защитное пространство между дорожками, чтобы избежать их взаимного влияния, что существенно ограничивало плотность записи. Поэтому, начиная с 2010 года произошел переход на перпендикулярную магнитную запись (Perpendicular Magnetic Recording, PMR), здесь вектор намагниченности лежит не в плоскости магнитной пластины, как у LMR, а перпендикулярен ей, это позволило добиться значительного повышения плотности записи и все современные диски построены на базе технологии PMR.
Но очередным препятствием на этом пути стали физические ограничения, так, чтобы достичь необходимой для уверенной записи напряженности магнитного поля записывающая головка должна иметь определенные физические размеры, в то время как для уверенного считывания достаточно головки гораздо меньших размеров (примерно в два раза).
В результате появилось достаточно очевидное решение — писать дорожки внахлест, перезаписывая часть предыдущей, оставляя при этом ширину достаточную для уверенного считывания, такой метод очень похож на укладку черепицы и поэтому получил название черепичной магнитной записи (Shingled Magnetic Recording, SMR).
Это в очередной раз позволило увеличить плотность записи, но принесло ряд новых проблем. Если мы хотим перезаписать часть данных, то при этом мы неизбежно испортим нижележащую дорожку, что потребует последовательной перезаписи всего диска. Чтобы избежать такого сценария группы дорожек на диске объединили в ленты и теперь, если мы хотим изменить часть данных ленты, лента целиком считывается в память, данные в ней модернизируются и снова записывается на поверхность магнитной пластины.
Внимательный читатель заметит, что это сильно похоже на работу SSD, который тоже не может изменить произвольную ячейку, так как для этого потребуется очистить целый блок. И будет абсолютно прав, как мы увидим ниже принципы работы SSD и SMR-дисков во многом схожи.
Размер лент производители не разглашают, но о них косвенно можно судить по размерам DRAM-буфера, который обычно не менее 256 МБ, кстати, большой объем буфера — один из признаков того, что перед нами SMR-диск. По неофициальным данным размер ленты варьируется от 120 МБ до 256 МБ. Минимальный объем адресуемой области современных файловых систем — 4 КБ. Понятно, что при случайной записи перезаписывать на каждые 4 КБ по 256 МБ — это жуткий перебор и катастрофически скажется на производительности, поэтому разработчики реализовали достаточно сложный алгоритм работы.
Так у SMR-дисков появилась таблица заполненности лент и диск знает, какая лента свободная, а какая нет. Поэтому запись в первую очередь будет вестись в свободные ленты. Если мы хотим переписать ленту целиком, то диск также обнаружит это и выполнит запись без предварительного чтения. А если мы захотим прочитать чистую ленту, то контроллер просто отдаст нули, не прибегая к чтению с диска.
Но это все полумеры, если данные идут непрерывным потоком, то свободных лент может и не хватить, чтобы не снижать производительность на SMR-дисках выделяется особая область — медиа кеш, который использует обычную перпендикулярную запись и расположен в самом начале диска, его размер около десятка гигабайт и он расположен за пределами LBA, т.е. не доступен пользователю напрямую. Если проводить аналогии с SSD, то это аналог резервной области и SLC-кеша одновременно.
Как можно увидеть из приведенной выше схемы, то диск использует несколько различных алгоритмов, если в наличии есть достаточное количество свободных лент, то запись будет производиться непосредственно в них, если же идет большой поток случайной записи, то ее готов принять в себя медиа-кеш. Но даже потом, диск будет предпочитать писать в свободные ленты, чтобы избежать штрафа на перезапись ленты. Нетрудно заметить, что все это очень напоминает механизм CoW в SSD.
После того, как диск перешел в режим ожидания в нем включается механизм реорганизации, который будет перемещать записанные данные в занятые ленты, тем самым упорядочивая данные и поддерживая максимально возможное количество свободных лент. Ну чем вам не уборка мусора?
Как видим, разработчики сделали очень многое для того, чтобы SMR-диски не уступали по производительности своим обычным коллегам. Кстати, сегодня часто употребляется аббревиатура CMR (Conventional Magnetic Recording, обычная магнитная запись), по идее одна должна включать в себя LMR и PMR, но так как первая уже свыше 10 лет не используется, то можно считать CMR еще одним аналогом PMR.
Итак, в каких же сценариях SMR-диски могут показать сильное падение производительности? Ответ очевиден: продолжительные нагрузки, преимущественно случайного характера. В этом случае мы быстро исчерпаем количество свободных лент, полностью загрузим медиа кеш и заставим диск перейти в режим реорганизации с большими штрафами на каждую операцию записи. Второй вариант — это интенсивные операции записи на практически полностью заполненном диске.
Таже не рекомендуется использовать SMR-диски в RAID-массивах с вычислением четности (RAID5/6, RAIDz), в момент перестроения нагрузка на диски может привести к серьезному снижению производительности или выпадению диска из массива. Также не следует сочетать в одном массиве SMR и PMR диски.
Выводы
Так стоит ли избегать SMR-дисков? Ответ — нет. Наряду с недостатками они имеют целый ряд преимуществ. За счет более высокой плотности записи они имеют меньшее количество пластин на тот же объем и, следовательно, имеют более низкий нагрев, уровень шума и вибраций, а также такие диски дешевле. И если это не заметно на небольших объемах, то с их ростом разница в цене начинает быть ощутимой.
При этом надо понимать, что SMR-диски не предполагают продолжительной и интенсивной нагрузки, особенно случайной записи. Их основное предназначение — хранение. Они отлично подходят для «холодных» данных или для сценариев «один раз записал — много раз читаю», например, домашние медиахранилища для музыки, видео, фотографий.
Основной негатив, который значительно испортил репутацию SMR-дисков создали сами производители, скрывая использование данной технологии в некоторых моделях, в результате чего пользователи использовали их в нежелательных сценариях и получили негативный опыт. Если полностью учитывать особенности SMR-дисков и использовать их по назначению, то никаких сложностей или проблем их эксплуатация не принесет, а, наоборот, позволить обновить систему хранения с экономией средств и улучшением эксплуатационных характеристик (шум, вибрация, нагрев).
Научиться настраивать MikroTik с нуля или систематизировать уже имеющиеся знания можно на углубленном курсе по администрированию MikroTik. Автор курса, сертифицированный тренер MikroTik Дмитрий Скоромнов, лично проверяет лабораторные работы и контролирует прогресс каждого своего студента. В три раза больше информации, чем в вендорской программе MTCNA, более 20 часов практики и доступ навсегда.
Помогла статья? Поддержи автора и новые статьи будут выходить чаще:
Или подпишись на наш Телеграм-канал: 
Почему производители HDD умалчивают о применяемой в них технологии черепичной магнитной записи (SMR)
Вот и пришло то время, когда утрачивающаяся популярность HDD взлетела до космических высот благодаря майнингу новой криптовалюты Chia Coin на жестких дисках. HDD стали востребованными, возник их дефицит, и значительно увеличились цены. Ну и за такие цены покупателю не мешало бы, и знать о различных недостатках и косяках покупаемых HDD, чтобы грамотно и правильно их эксплуатировать, учитывая присущие им недостатки. А не иметь скрытый производителем недостаток, который при определенных обстоятельствах эксплуатации HDD вылезет так сказать наружу, и владелец такого HDD сломает себе всю голову, ну почему же это у меня не работает. Речь пойдет о применяемой в HDD технологии черепичной магнитной записи (SMR), которая преподнесла своим владельцам немало неприятных сюрпризов.
реклама
Давайте разберемся, что это за такая технология магнитной записи. При черепичной записи дорожки записываются на диск с частичным перекрытием друг друга, внахлест, по принципу размещения черепицы на крыше. То есть каждая следующая (записываемая) дорожка частично перезаписывает предыдущую (записанную) дорожку. И результирующая ширина таких дорожек становится меньше, ну а их количество на заданной площади становится больше.
Это позволяет более эффективно использовать физическое пространство блинов HDD, и соответственно увеличить объем записанных данных на него использую эту технологию. Использование этой технологии при проектировании HDD напросилось само собой. Дело в том, что физические размеры записывающей головки больше, чем размеры считывающей головки. Это обусловлено тем, что записывающая головка должна создавать достаточно сильное магнитное поле для осуществления процесса записи. А сила создаваемого магнитного поля и зависит от размера головки. Считывающая же головка может быть гораздо меньшего размера. Вот и получилось все само собой. Записывающая головка пишет широкие дорожки, но с перекрытием друг друга так, чтобы остаточная ширина дорожки была равна ширине считывающей головки.
реклама
Но получилось все по принципу «одно лечим, другое калечим». Использование этой технологии записи привело к снижению скорости записи. Почему же это произошло? Рассмотрим случай, при котором нужно перезаписать одну из дрожек (N+1), находящуюся, где-нибудь в середине всего массива дорожек.
Так, как ширина записывающей головки большая, то она помимо перезаписи необходимой нам дорожки (N+1), затрет данные и на следующей дорожке (N+2), при перезаписи затертых данных на дорожке (N+2), затрет данные на дорожке (N+3), и так далее, до последней дорожки массива. Чтобы не было лишней перезаписи, дорожки объединяются в небольшие группы, называемые лентами, и отделяются друг от друга зоной, где не происходит перекрытия дорожек.
При этом необходимо будет перезаписать только небольшую группу дорожек (ленту), а не весь массив дорожек. Но, тем не менее, такой метод все равно приводит к снижению скорости записи, и снижение скорости будет сильнее, если придется перезаписать множество мелких файлов в разных местах диска. Производитель попытался нивелировать потерю скорости записи, используя кэш из CMR дорожек (продольный, обычный, без перекрытия дорожек метод записи). Новые данные HDD записывает в этот кэш, а когда он заканчивается, то в первую свободную ленту, и так далее. Во время простоя данные из кэша перемещаются в ленты, освобождая и подготавливая тем самым кэш к новому приему данных. И нужно отметить, что скорость записи очень сильно просаживается после заполнения кэша. Например, как в этом диске.
реклама
Ну а какая скорость чтения? Здесь тоже не все так хорошо. Из-за высокой плотности расположения дорожек, скорость позиционирования считывающих головок ниже, чем в HDD с технологией записи CMR, что и снижает скорость чтения.
Но не было бы у владельцев HDD с технологией черепичной записи многих проблем, если бы производитель честно указывал наличие в производимых им HDD этой самой технологии. Владелец бы тогда знал, как и где можно применить такой HDD, а где его не стоит применять.
Например, пользователи, которые в RAID массиве заменили вышедшие из строя HDD WD Red 6TB WD60EFRX на новые модели WD60EFAX, получили чрезвычайно длительное время перестроения массивов SHR1 и RAID5 (от 2 до 8 дней). У многих пользователей перестроение завершилось с ошибкой. HDD просто исключался из массива как неисправный. Оказалось, что новый HDD имел технологию черепичной записи. И причиной развала RAID массива стало совместное использование HDD с технологией CMR и SMR. А пользователь то об этом не знает, потому что информацию об используемой технологии записи от него утаил производитель. И потому пользователь не может сделать правильного вывода о причине развала RAID массива и принять соответствующие меры.
В конце концов, пользователи стали подозревать производителей в использовании этой технологии, и начали настойчиво задавать им вопросы. Вот, например, что ответила компания Western Digital:
реклама
После настойчивых обращений пользователей в компанию Western Digital и предъявления ей фактов использования этой технологии она сдалась, и представила весь список своих накопителей использующих технологию черепичной магнитной записи (SMR):
Компания Seagate также сдалась, и представила свой список HDD:
И список HDD компании Toshiba использующих эту технологию:
Пора подвести итог всего вышесказанного. Ну, мне не совсем понятна причина утаивания производителями HDD применяемой в их накопителях технологии черепичной магнитной записи (SMR). Желание представить свой товар в более выгодном свете, увеличив емкость накопителей ценой снижения их скорости, получив при этом еще и побочные косяки, и скрыв это. Ну по моему, это такая себе перспектива, которая рано или поздно принесла бы компаниям массу неприятностей, что, в общем, то и произошло. А указали бы компании эту информацию честно, то и не было бы у них подобных неприятностей.
SMR: понятно в теории, сложно на практике
Сегодня рост объема данных на человека растет в геометрической прогрессии, а компании, предлагающие решения для хранения этих данных, стремятся сделать все возможное, чтобы увеличить доступную емкость своих устройств. Технология черепичной магнитной записи Seagate SMR (Shingled Magnetic Recording) позволяет повысить плотность записи, за счет чего емкость диска увеличивается на 25%. Это возможно благодаря увеличению количества дорожек на каждой пластине и сокращению расстояния между ними. Дорожки размещаются друг над другом (как черепица на крыше), что позволяет записать больше данных, не увеличивая площади пластины. При записи новых данных дорожки частично накладываются друг на друга, или «усекаются». Ввиду того, что считывающий элемент на дисковой головке меньше записывающего, он может считывать данные даже с усеченной дорожки, не нарушая их целостности и достоверности.
Однако с технологией SMR связана следующая проблема: чтобы перезаписать или обновить информацию, необходимо переписать не только требуемый фрагмент, но и данные на последних дорожках. Из-за того, что записывающий элемент шире, он захватывает данные на граничащих дорожках, поэтому необходимо перезаписать и их. Таким образом, при изменении данных на нижней дорожке нужно скорректировать данные на ближайшей наложенной дорожке, потом на следующей, и так далее, пока не будет переписана вся пластина.
По этой причине дорожки SMR-диска объединены в небольшие группы, называемые лентами. Накладываются друг на друга, соответственно, только дорожки в пределах одной ленты. Благодаря такому группированию в случае обновления некоторых данных перезаписывать придется не всю пластину, а лишь ограниченное количество дорожек, что существенно упрощает и ускоряет процесс. Для каждого типа дисков разрабатывается своя архитектура ленты с учетом сферы его применения. Каждая линейка продуктов Seagate рассчитана на определенную сферу применения и конкретные условия работы, и технология SMR позволяет достичь при правильном использовании наилучших результатов.
Seagate SMR — это технология, позволяющая удовлетворить постоянно растущий спрос на дополнительную емкость. На сегодняшний день она активно совершенствуется и в сочетании с другими инновационными методами может быть использована для повышения плотности записи на жестких дисках следующих поколений.
Но прежде всего, необходимо разобраться в некоторых нюансах ее применения.
Выделяют три типа устройств, поддерживающих черепичную запись:
Автономные (Drive Managed)
Работа с этими устройствами не требует никаких изменений в программном обеспечении хоста. Вся логика записи/чтения организована самим устройством. Значит ли, что мы можем просто установить их и расслабиться? Нет.
Диски, в которых реализована Drive Managed технология записи, обычно обладают большим объемом write-back кэша (от 128МБ на диск). При этом последовательные запросы обрабатываются в режиме write-around. Основные сложности, c которыми сталкиваются разработчики устройств и СХД, основанных на данной технологии записи, следующие:
1. Размер кэша лимитирован и по мере его заполнения мы можем получить непредсказуемую производительность устройств.
2. Иногда возникают значительные уровни задержек при интенсивном сбросе кэша.
3. Определение последовательностей — далеко не всегда тривиальная задача, и в сложных случаях мы можем ожидать деградацию производительности.
Основным достоинством данного подхода является полная обратная совместимость устройств с существующими ОС и приложениями. Хорошо понимая вашу задачу, вы можете уже сейчас покупать Drive Managed устройства и получать преимущества от использования технологии. Дальше в статье вы увидите результаты тестирования подобных устройств и сможете определиться, насколько они вам подходят.
Управляемые хостом (Host Managed)
В данных устройствах используется набор расширений к ATA и SCSI для взаимодействия с дисками. Это устройство другого типа (14h), которое требует серьезных изменений во всем Storage Stack и несовместимо с классическими технологиями, то есть без специальной адаптации приложений и операционных систем вы не сможете использовать эти диски. Хост должен выполнять запись на устройства строго последовательно. При этом производительность устройств на 100% предсказуема. Но необходима корректность работы более высокоуровневого ПО для того, чтобы производительность подсистемы хранения была действительно предсказуемой.
Поддерживаемые хостом (Host Aware)
Это гибридные решения, объединяющие преимущества Device Managed и Host Managed технологий. Приобретая такие диски, мы получаем поддержку обратной совместимости с возможностью использования специальных расширений ATA и SCSI для оптимальной работы с SMR-устройствами. То есть мы можем, как просто выполнять запись на устройства, как делали это раньше, так и делать это наиболее оптимальным образом.
Для того, чтобы обеспечить работу с Host Managed и Host Aware устройствами, разрабатывается пара новых стандартов: ZBC и ZAC, которые входят в T10/T13. ZBC является расширение SCSI и ратифицируется T10. Стандарты разрабатываются для SMR дисков, но в будущем могут быть применены и для других устройств.
ZBC/ZAC определяют логическую модель устройств, где основным элементом является зона, которая отображается как диапазон LBA.
Стандарты задают три типа логических зон, на которые разбиты устройства:
1. Conventional zone — зона, с которой мы можем работать традиционным образом, как с обычными жесткими дисками. То есть, можем писать последовательно и случайно.
2. Два типа Write Pointer Zone:
2.1. Sequential write preferred — основной тип зон для Host Aware устройств, отдается предпочтение последовательной записи. Случайная запись на устройства обрабатывается как в Device Managed устройствах и может стать причиной потери производительности.
2.2. Sequential write only — основной тип зон для Host Manged устройств, возможна только последовательная запись. Случайная запись недопустима, при попытках её произвести будет возвращена ошибка.
Каждая зона обладает своим Write Pointer и своим статусом. Для всех устройств, поддерживающих HM тип записи, первый LBA следующей команды записи обязательно должен соответствовать положению Write Pointer. Для HA устройств Write Pointer является информационным и служит для оптимизации работы с диском.
Кроме новой логической структуры в стандартах появляются и новые команды:
REPORT_ZONES является основным методом, благодаря которому можно получить информацию о существующих зонах на устройстве и их статусе. Диск в ответ на эту команду сообщает о существующих зонах, их типах (Conventional, Sequential Write Required, Sequential Write Preferred), состоянии зон, размере, информацию о нахождении Write Pointer.
RESET_WRITE_POINTER является преемником команды TRIM для ZBC устройств. При ее вызове происходит стирание зоны и перемещение Write Pointer на начало зоны.
Для управления статусом зоны используются 3 опциональные команды:
OPEN_ZONE
CLOSE_ZONE
FINISH_ZONE
В VPD страницах появилась новая информация, включая максимальное количество открытых зон, обеспечивающее лучшую производительность и максимальное количество зон, доступных для случайной записи с лучшей производительностью.
Производителям СХД необходимо позаботиться о поддержке устройств HA/HM, внося изменения на всех уровнях стека: библиотеки, планировщики, RAID engine, логические тома, файловые системы.
Кроме того, нужно обеспечить два типа интерфейсов для работы приложений: традиционный интерфейс, организовав массив как device managed устройство, а также реализацию виртуального тома как HOST AWARE устройства. Это необходимо, так как ожидается появление приложений, работающих с HM/HA устройствами напрямую.
В общем виде алгоритм работы с HA устройствами выглядит следующим образом:
1. Определите конфигурацию устройства, использую REPORT_ZONES
2. Определите зоны для случайной записи
2.1. Количество ограничено возможностями устройства
2.2. В этих зонах нет необходимости отслеживать положение Write Pointer
3. Используйте остальные зоны для последовательной записи и используя информацию о положении Write-Pointer и выполняя только последовательную запись
4. Контролируйте количество открытых зон
5. Используйте сборку мусора для высвобождения пула зон
Некоторые техники записи можно применять из имеющихся all-flash СХД, для которых решались проблемы предстательной последовательной записи и сборки мусора.
Компания RAIDIX провела тестирование SMR дисков Seagate у себя в лаборатории и дает несколько рекомендаций по их использованию. Эти диски отличаются тем, что являются Device Managed и не требуют никаких серьезных изменений в работе приложений.
При тестировании была сделана попытка проверить ожидания производительности таких дисков и понять, для чего мы можем их использовать.
В тестах участвовали два диска Seagate Archive HDD объемом 8000GB.
Тестирование выполнялось на операционной системе Debian версии 8.1
CPU Intel i7 c частотой 2,67 MHz
16 GB RAM
Диски имеют интерфейс SATA 3, мы включили контроллер в режим AHCI.
Для начала мы приводим информацию об устройствах, выполнив Inquiry запрос.
Ничего особенного мы не увидели. Попытки прочитать информацию о зонах обернулись неудачей.
RAIDIX делает ПО для СХД, работающих в различных индустриях, и мы стремились не использовать специализированные или платные бенчмарки.
Начинаем с того, что проверяем потоковую производительность дисков на внутренних и внешних дорожках. Результаты тестов дадут максимальную ожидаемую производительность устройства и соответствуют в первую очередь таким задачам, как архивирование данных.
Настройки блочной подсистемы мы не трогали. Выполняем тестирование, записывая на диски данные блоками 1 мегабайт. Для этого мы используем бенчмарк fio v.2.1.11.
Джобы (Jobs) отличаются друг от друга только смещением от начала устройства и запускаются один за другим. В качестве библиотеки ввода-вывода выбрана libaio.
Результаты представляются неплохими:
Производительность на внешних и внутренних дорожках отличается практически в 2 раза.
Мы видим периодические провалы производительности. Они не критичны для архивирования, но могут стать проблемой для других задач. При корректной работе write-back кэша СХД мы предполагаем, что не будем наблюдать подобной ситуации. Мы провели схожий опыт, создав массив RAID 0 из обоих дисков, выделив 2ГБ RAM кэша на каждый диск, и не увидели провалов производительности.
При чтении провалов не видно. И последующие тесты покажут, что на операциях чтения SMR диски по производительности ничем не отличаются от обычных.
Теперь мы проведем более интересные тесты. Запустим 10 потоков c разными offset одновременно. Это мы делаем для того, чтобы проверить корректность буферизации и посмотреть, как диски будут работать на задачах CCTV, Video Ingest и подобных.
На графиках приведена суммарная производительность по всем работам:
Диск неплохо справился с нагрузкой!
Производительность держится на уровне 90 МБ/с, равномерно распределена по потокам, и не наблюдается серьезных провалов. График на чтение абсолютно аналогичен, только приподнят на 20 МБ. Для хранения и раздачи видеоконтента, обмена большими файлами производительность подходящая и практически не отличается от производительности обычных дисков.
Как и ожидалось, диски неплохо показали себя на операциях потоковых чтения и записи, а работа в несколько потоков стала для нас приятным сюрпризом.
Переходим к «случайным» чтению и записи. Посмотрим, как диски поведут себя в классических задачах предприятий: хранение файлов СУБД, виртуализация и пр. Кроме того, в «случайные» операции подпадают частая работа с метаданными и, например, включённая дедупликация на массиве.
Тестирование мы проводим блоками 16 килобайт и по-прежнему верны fio.
В тесте мы настроили несколько джобов с разной глубиной очереди, но полностью результаты приводить не будем. Показательно только начало теста.
Первые 70,5 секунд мы видим нереальные для жесткого диска 2500 IOps. При этом происходят частые провалы. Видимо, в этот момент происходит запись в буфер и его периодический сброс. Потом происходит резкое падение до 3 IOps, которые держатся до конца теста.
Если подождать несколько минут, то после того, как сбросится кэш, ситуация повторится.
Можно ожидать, что при наличии небольшого числа случайных операций диск будет вести себя неплохо. Но если мы ожидаем интенсивную нагрузку на устройство, лучше воздержаться от использования SMR дисков. RAIDIX рекомендует при возможности выносить всю работу с метаданными на внешние устройства.
А что же со случайным чтением?
В этом тесте мы ограничили время отклика 50 мс. Наши устройства справляются неплохо.
Чтение оказывается в промежутке 144-165 IOPs. Сами числа неплохи, но немного пугает разброс в 20 IOPs. Ориентируйтесь на нижнюю границу. Результат неплохой, на уровне классических дисков.
Несколько изменим подход. Давайте еще взглянем на работу с большим количеством файлов.
С этим нам поможет утилита frametest от SGI. Этот бенчмарк создан для проверки производительности СХД при выполнении монтажа несжатого видео. Каждый фрейм является отдельным файлом.
Мы создали файловую систему xfs и смонтировали ее со следующими параметрами:
-o noatime,nodiratime,logbufs=8,logbsize=256k,largeio,inode64,swalloc,allocsize=131072k,nobarrier
Запускаем frametest со следующими параметрами:
./frametest -w hd -n 2000 /test1/
Бенчмарк создает 2000 файлов размером 8МБ.
Начало теста проходит неплохо:
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.028 ms 79.40 ms 79.43 ms 100.37 MB/s 12.6 fps
5s: 0.156 ms 83.37 ms 83.53 ms 95.44 MB/s 12.0 fps
Но после записи 1500 фреймов ситуация значительно ухудшается:
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.035 ms 121.88 ms 121.92 ms 65.39 MB/s 8.2 fps
5s: 0.036 ms 120.78 ms 120.83 ms 65.98 MB/s 8.3 fps
Дальше все хуже:
Averaged details:
Open I/O Frame Data rate Frame rate
Last 1s: 0.036 ms 438.90 ms 438.94 ms 18.16 MB/s 2.3 fps
5s: 0.035 ms 393.50 ms 393.55 ms 20.26 MB/s 2.5 fps
Проведем тест на чтение:
./frametest -r hd -n 2000 /test1/
В течение всего теста производительность отличная:
Averaged details:
Last 1s: 0.004 ms 41.09 ms 41.10 ms 193.98 MB/s 24.3 fps
5s: 0.004 ms 41.09 ms 41.10 ms 193.98 MB/s 24.3 fps
Сейчас ведется работа над специализированными файловыми системами для SMR дисков.
Seagate разрабатывает основанную на ext4 SMR_FS-EXT4. Можно обнаружить несколько log-structured файловых систем, спроектированных специально для Device Managed SMR дисков, но ни одну из них нельзя назвать зрелым, рекомендуемым к внедрению продуктом. Также Seagate ведется разработка поддерживаемой хостом (Host Aware) версии SMR диска, которая должна быть завершена до конца года.
Какие мы можем сделать выводы по результатам замеров производительности?
Device Managed устройства можно смело использовать для задач, не отличающихся интенсивной записью. Они очень неплохо справляются с задачами однопоточной и многопоточной записи. Для чтения данных они подходят отлично. Периодические “случайные” запросы к дискам при обновлении метаданных поглощаются большим кэшем.
Для решения задач, отличающихся интенсивной “случайной” записью или обновлением большого количества файлов такие устройства не очень подходят, как минимум, без использования дополнительных технических средств.
Параметр MTBF протестированных дисков составляет 800 000 часов, что в 1,5 раза ниже, чем у, например, NAS-дисков. Большой объем дисков значительно увеличивает время восстановления и делает практически невозможным регулярный media-скан. Мы рекомендуем при проектировании хранилища с такими дисками полагаться на RAID с количеством parity, большим чем 2 и/или подходах позволяющих сократить время восстановления (Например, Parity Declustering).
Срываем покровы. Черепичная запись SMR в накопителях WD и Seagate
Оказалось (а точнее — официально подтвердилось), что Western Digital давно и молча продает диски с SMR, наотрез отказываясь раскрыть эту информацию недоумевающим и возмущенным владельцам «рассыпавшихся» RAID-массивов. В чем суть скандала, почему использование черепичной записи вызвало такое возмущение пользователей и в чем различие подходов WD и Seagate? Попробуем разобраться.
Скандальная черепица
Если ты не следишь внимательно за новостями в области средств хранения информации, недавние события могли пройти мимо тебя. Хронология такова.
2 апреля
Все началось с исследования Кристиана Франке (Christian Franke). Он подробно, с выкладками и отчетами, рассказал, что в некоторых дисках WD Red, предназначенных для использования в многодисковых сетевых хранилищах NAS, применяется недокументированная технология SMR (Shingled Magnetic Recording — черепичная запись) и о том, какие именно проблемы возникают из-за этого в рамках массивов. Из-за хорошо известных особенностей технологии использование дисков с SMR совместно с «обычными» дисками (CMR, Conventional Magnetic Recording) приводило к деградации массивов и выпадению из них дисков с SMR. Более того, восстановить такие массивы оказывалось невозможно из-за постоянных повторных выпадений диска с SMR.
Это исследование не было первым, вторым и даже десятым звоночком. Вопросом «не SMR ли это?» пользователи начали задаваться уже давно. Например, в ветке обсуждения на Reddit «WD Red 6tb WD60EFAX SMR? Bad for Existing raid in DS918+ with WD Red 6tb WD60EFRX PMR drives?» уже обсуждалась эта проблема. При желании на том же Reddit можно найти несколько десятков подобных обсуждений.
Все было бы неплохо, если бы производитель упоминал об этой особенности. И даже терпимо, если бы производитель просто ответил «да» на прямой вопрос: используется ли в модели Х технология SMR? Увы, но единственный ответ, который получали пользователи, был таков: «Мы не разглашаем особенности внутреннего функционирования наших дисков конечным потребителям». Вот цитата ответа из техподдержки:
I understand your concern regarding the PMR and SMR specifications of your WD Red drive.
Please be informed that the information about the drive is whether use Perpendicular Magnetic Recording (PMR) or Shingled Magnetic Recording (SMR), is not something that we typically provide to our customers. I am sorry for the inconvenience caused to you.
What I can tell you that the most products shipping today are Conventional Recording (PMR). We began shipping SMR (Shingled Magnetic Recording) at the start of 2017. For more information please refer the link mentioned below.
Вот другой вариант ответа — то же самое, другими словами.
We have received your inquiry whether internal WD Red drive WD40EFAX would use SMR technology. I will do my best here to assist and please accept our sincere apologies for the late reply.
Please note that information on which of our drives use PMR or SMR is not public and is not something that we typically provide to our customers. What we can tell you is that most WD products shipping today are Conventional Recording (PMR) — please see additional information below. However, we began shipping SMR (Shingled Magnetic Recording) at the start of 2017.
Источник
Вольный перевод: «Обращаем ваше внимание, что информация об использовании PMR и SMR не является публично доступной и не разглашается нашим клиентам. Однако могу сказать, что большая часть поставляемых WD продуктов использует CMR; ниже — дополнительная информация. Тем не менее в начале 2017 года мы начали отгружать диски с SMR».
Примерно такой ответ получил Кристиан Франке. Кристиан на этом не остановился, получив в результате такой ответ:
Just a quick note. The only SMR drive that Western Digital will have in production is our 20TB hard enterprise hard drives and even these will not be rolled out into the channel.
All of our current range of hard drives are based on CMR Conventional Magnetic Recording.
With SMR Western Digital would make it very clear as that format of hard drive requires a lot of technological tweaks in customer systems.
With regards,
Yemi Elegunde Enterprise & Channel Sales Manager UK Western Digital® WDC UK, a Western Digital company
В ответе утверждается, что единственный диск WD с SMR — это накопитель на 20 Тбайт, предназначенный для дата-центров. По утверждению представителя WD, все остальные диски WD используют CMR.
Дальнейшие попытки добиться хоть какой-то внятной информации привели к предложению «обсудить проблему с инженерами и специалистами по жестким дискам в телеконференции». Телеконференция, впрочем, так и не состоялась. Пользователи обратились к журналистам.
14 апреля
Итак, Кристиан написал журналистам специализированного издания Blocks & Files. Журналисты разобрались в проблеме и выпустили статью Western Digital admits 2TB-6TB WD Red NAS drives use shingled magnetic recording.
Почему SMR в предназначенных для NAS дисках — это проблема? В статье приводится несколько примеров. В частности, пользователи, которые заменяли вышедшие из строя диски WD Red 6TB на новые модели WD60EFAX, получали атипично длительное время перестроения массивов SHR 1 и RAID 5 (от двух до восьми дней). У некоторых пользователей перестроение и вовсе завершалось с ошибкой: новый диск попросту исключался из массива как неисправный. Очевидно, что новые диски работают в разы хуже в сравнении с предыдущей моделью, а в некоторых случаях не выполняют заявленную задачу вовсе. Обман потребителя в полный рост — но представители Western Digital до сего дня отказывались как-либо комментировать ситуацию.
И вот впервые журналистам удалось получить от Western Digital внятный и конкретный ответ: «Актуальные модели WD Red 2–6 Tбайт компании Western Digital используют drive-managed SMR (DMSMR). Диски WD Red 8–14 Tбайт основаны на CMR. <…> Вы правы в том, что мы не указываем технологию записи в документации на диски WD Red. <…> При тестировании дисков WD Red мы не обнаружили проблем с перестроением RAID из-за технологии SMR».
В свое оправдание WD приводит следующий аргумент: «В типичной среде домашних NAS и NAS для малого бизнеса типичные нагрузки скачкообразны, это оставляет достаточно времени для сбора мусора и других сервисных операций». Журналисты из Blocks & Files возразили, что далеко не все нагрузки в рамках сетевых хранилищ «типичны» с точки зрения производителя. Скандал продолжал развиваться.
15 апреля
Статья попала в точку: у многих пользователей, что называется, наболело. Вызванная в Сети волна публикаций по следам оригинальной статьи побудила Blocks & Files продолжить расследование.
В статье Shingled hard drives have non-shingled zones for caching writes рассказывается о «ленточной» организации черепичного хранилища, как и о том, что у каждого SMR-накопителя есть буфер, использующий классическую запись CMR. Здесь прямая аналогия с современными накопителями SSD: есть медленная TLC или даже QLC NAND, но часть ее используется для буферизации записей в качестве псевдо-SLC-кеша. Так и здесь: в жестких дисках с черепичной записью SMR есть области CMR, использующиеся для ускорения записи. У пользователя, который тестирует диск популярным пакетом CrystalDiskMark, возникает иллюзия нормальности: диск и читает, и пишет данные без каких-либо сюрпризов.
Сюрприз обнаруживается тогда, когда объем записанных данных превышает размер области CMR или весь диск заполняется данными, после чего накопителю приходится на лету «уплотнять» информацию. Такие ситуации в рамках NAS могут возникать как минимум в двух случаях: при перестроении массива класса RAID 5 и подобных, в которых используются контрольные суммы, и при записи большого объема данных (например, создание и сохранение на диск обычной резервной копии). В таких сценариях видимая снаружи скорость записи падает в разы, а то и на один-два порядка. В моих собственных тестах скорость записи при перезаписи заполненного накопителя падала до 1–10 Мбайт/с при записи единственного файла объемом 1,5 Тбайт (резервная копия моей системы). Я нахожу такую скорость неприемлемой.
В той же статье автор рассказал и о том, что происходит при попытке перестроить массив RAID 5/6, если новый диск использует SMR. Огромное количество операций случайного ввода-вывода быстро вызывает переполнение области CMR; контроллер не успевает справиться с нагрузкой, возвращая ошибку отказа в обслуживании. Спустя короткое время (порядка сорока минут) диск полностью уходит в себя, а контроллер RAID исключает его из массива, помечая как неисправный.
Что интересно, ничего подобного не происходит при использовании других типов массивов — RAID 0/1, а также при создании нового массива RAID 5/6. Создается впечатление, что разработчики Western Digital попросту не проверили новые диски в сценарии перестроения массива RAID 5/6, ограничившись простейшими сценариями.
15 апреля
В очередной статье Seagate ‘submarines’ SMR into 3 Barracuda drives and a Desktop HDD журналисты продолжили эксплуатировать тему SMR, рассказав, что подобной практикой занимается и компания Seagate.
Seagate давно использует SMR в своих накопителях 2,5″, архивных Archive и десктопных Barracuda. Компания никогда не скрывала эту информацию. В то же время диски Seagate, предназначенные для работы в NAS (линейки IronWolf и IronWolf Pro), SMR не используют, что, собственно, и подтвердила компания. Таким образом, скандала не получилось: покупатель, который хотя бы минимально интересуется состоянием дел, всегда имеет возможность понять, какой именно диск он покупает и для чего. Особенности SMR описаны Seagate в технической документации к соответствующим накопителям; о них мы еще поговорим, пока же вернемся к хронологии.
16 апреля
На следующий день журналисты выяснили, что и в некоторых дисках Toshiba также используется SMR: Toshiba desktop disk drives have shingles too. Не уверен, что это кому-то интересно: доля накопителей Toshiba в типоразмере 3,5″ исчезающе мала. Впрочем, ознакомиться со списком моделей дисков Toshiba, в которых используется SMR, в любом случае не помешает. На сегодняшний день это 3,5-дюймовые диски Toshiba P300 Desktop PC и DT02 объемом 4 и 6 Тбайт, а также все без исключения 2,5-дюймовые модели поколения MQ04.
20 апреля
В Western Digital определенно напряглись и забеспокоились. В статье SMR in disk drives: PC vendors also need to be transparent опубликован официальный ответ Western Digital, в котором компания уверяет, что никаких проблем у дисков на самом деле нет, если их правильно использовать. Более свежую версию ответа можно прочесть в блоге Western Digital. Из текста можно сделать вывод, что перестроение массивов RAID 5/6 для дисков серии WD Red — неправильное использование, не надо так делать. И вообще, NAS и RAID совершенно не эквивалентные понятия, не надо их путать. Если пользователь хочет приспособить диск для NAS в составе массива RAID 5/6, то пусть берет что-нибудь подороже — например, из линейки Ultrastar DC, или вот WD Gold, или хотя бы WD Red Pro. Честное слово, именно так и написано: If you are encountering performance that is not what you expected, please consider our products designed for intensive workloads. These may include our WD Red Pro or WD Gold drives, or perhaps an Ultrastar drive. Не буду цитировать целиком этот результат работы департамента Western Digital по связям с общественностью, с ним можно ознакомиться по ссылке выше.
21 апреля
Разумеется, основной конкурент — компания Seagate не смогла не прокомментировать ситуацию. В статье Seagate says Network Attached Storage and SMR don’t mix представитель компании подчеркивает, что Seagate никогда не использовала черепичную запись в дисках IronWolf и IronWolf Pro, предназначенных для NAS, и не рекомендует использовать диски с SMR в сетевых хранилищах.
Впрочем, как мы знаем, Seagate тоже не сообщала покупателям десктопных дисков Barracuda о том, что в них используется черепичная запись, — для огромного количества пользователей это стало неприятным сюрпризом.
23 апреля
Журналисты не смогли пройти мимо поста WD. В статье Western Digital implies WD Red NAS SMR drive users are responsible for overuse problems задаются вполне резонные вопросы: а как, собственно, пользователь может — даже в теории! — узнать о потенциальных проблемах, если WD хранила сам факт использования SMR в NAS-накопителях в секрете? И если уж вы обвиняете пользователей в «неправильном» использовании дисков, то, пожалуйста, определите формально «правильные» и «неправильные» сценарии для каждой конкретной модели. Вот в старом WD60EFRX, например, перестроение RAID 5/6 было «правильным» сценарием, а в новой WD60EFAX стало «неправильным» — с этим можно жить, но… Но клиентам об этом сообщить забыли, при этом отказываясь отвечать на заданные недоумевающими пользователями вопросы.
24 апреля
Технология черепичной записи остается в накопителях WD Red, предназначенных для NAS, но производитель после беспрецедентного давления общественности нехотя и с оговорками согласился больше не устраивать из этого секрета. Теперь ты можешь сделать информированный выбор: покупать «старую» модель WD Red без SMR или «новую» с SMR. Или уйти к конкуренту, который не использует SMR в накопителях для NAS вовсе. Или взять наполненный гелием диск объемом от 8 Тбайт.
А пока общественность торжествует, давай посмотрим на то, как же обстоит дело с дисками, использующими технологию черепичной записи, можно ли считать их абсолютным злом, или в некоторых сценариях экономия оправданна.
Присоединяйся к сообществу «Xakep.ru»!
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее