Некоторые методы обеспечения целостности данных в Clariion

Давайте рассмотрим несколько потенциальных возможностей появления “битых” данных и способов борьбы с такими случаями в массивах Clariion.

Операция записи данных на RAID5, по сути, состоит из двух фаз: запись блоков данных, запись parity. В случае пропадания питания до того как вторая фаза была завершена, данные parity будут некорректны. Эту проблема, конечно, обнаружится и будет исправлена скрабером SNiiFFER (о нем чуть позже), но только после некоторого неопределенного времени. Если до этого один из дисков выйдет из строя, восстановленные данные будут некорректны. Именно поэтому секторы, содержащие неверные значения parity необходимо выявить и пересчитать как можно раньше. Для ускорения этого процесса используются специальные записи в NVRAM каждого SP. Перед выполнением операции записи на диск, в небольшую область NVRAM помещаются сведения о номере модифицируемой LUN, адресе блока и объеме записываемых данных. После успешного выполнения операции записи данных и parity, эта информация удаляется. При загрузке массива с появлением электропитания, записи NVRAM анализируются на предмет наличия незавершенных операций, а в случае их нахождения, блоки данных и parity сразу восстанавливаются.

Как вы знаете, размер сектора в дисковых массивах Clariion равен не 512, а 520 байт. Дополнительные 8 байт используются для хранения следующей информации:

• 2bytes контрольная сумма LRC (Longitudinal Redundancy Checksum,)
• 2bytes штамп времени timestamp
• 2bytes штамп времени writestamp
• 2bytes штамп shedstamp

Штампы времени является уникальными значениями, генерируемым SP. Каждый раз, когда производится full stripe write, в соответствующие поля секторов всех дисков RAID Group записывается новый timestamp. В случае модификации только одного из секторов, на дисках с данными и parity выставляются одинаковые значения writestamp. После выполнения full stripe write, writestamp обнуляется. Таким образом, по совпадению значений writestamp в секторе данных и соответствующем ему секторе parity можно убедиться в успешности завершения обеих фаз операции записи. Вместе штампы времени представляют собой уникальный идентификатор “версии” данных и parity. Если после каких-либо сбоев, обнаруживается несовпадение этих версий, значение parity пересчитывается.

Однако, нельзя недооценивать возможность повреждения parity при использовании RAID Group с уже сломавшимся диском. В этом случае, неверный parity может привести к невозможности получения корректных данных. Хочу обратить ваше внимание на то, что приведенная ситуация не является RAID5 double failure и поэтому обязательно должна быть разрешена. Для этого в дисковых массивах Clariion используется проприетарный алгоритм parity shedding. Главным вопросом , который привел к ее появлению был: “зачем нам parity в RAID5 с вышедшим из строя диском?”. При использовании parity shedding, поломка диска запускает процесс восстановления данных и их записи вместо parity. Соответствующий сектор помечается при помощи shedstamp. Таким образом, мы убиваем сразу двух зайцев: во-первых, увеличиваем производительность доступа к данным (ведь уже нет необходимости каждый раз восстанавливать данные из parity), а во-вторых, исключаем потенциальную возможность повреждения самой parity. Ради интереса, задайте вопрос представителям других производителей дисковых массивов, как в их продуктах решена эта задача?  ;)

Рассмотрим случай повреждения или некорректного чтения самих данных. Эта проблема актуальна для всех типов RAID. Решается она классическим способом, вместе с данными хранится контрольная сумма. При считывании сектора, его контрольная сумма вычисляется заново и побитно сравнивается с уже имеющимся значением LRC. В случае несовпадения, производится еще одна попытка чтения данных, а в случае ее повторной неудачи, информация восстанавливается с другой части зеркала RAID10  или parity RAID5.

Скрабинг данных (scrubbing) – это функция обнаружения ошибок чтения и  целостности информации. Фоновый процесс SNiiFFER постоянно читает секторы данных и проверяет их корректность. Он обнаруживает ошибки, которые могут быть исправлены самим контроллером жесткого диска (disk-recovered errors), а также проблемы с данными, которые невозможно восстановить на уровне дисков (medium errors). При обнаружении disk-recovered error, SNiiFFER отдает команду о проактивном переносе данных в другой физический сектор диска. Medium errors восстанавливаются используя возможности избыточности информации в RAID. SNiiFFER работает в фоне с очень низким приоритетом и поэтому никак не влияет на обслуживание операций ввода-вывода. В системе мониторинга производительности его активность видна в видна как операции чтения блоками 64KB и Throughput ~2IOPS).