В вашем массиве Synology SHR-1 отказали два диска. DSM сообщает, что пул хранения находится в состоянии Crashed и что данные невозможно восстановить. Восстановление данных SHR-1 после двойного отказа дисков — тема этой статьи, и ситуация здесь более неоднозначна, чем может показаться из сообщения DSM. Восстановимость данных зависит не только от количества вышедших из строя дисков, но и от того, как именно они отказали, а также в каком состоянии находятся оставшиеся диски.
Сначала определите свою ситуацию
Прежде чем продолжить, воспользуйтесь этой таблицей, чтобы найти свой конкретный сценарий и сразу перейти к нужному разделу:
| Что вы наблюдаете | Вероятная ситуация | Перспектива восстановления | Перейти к |
|---|---|---|---|
| Оба диска отображаются в ОС, суперблоки читаются | Логический сбой — диски физически исправны | Возможно | Уровень 1 → Уровень 2 |
| Один диск читается, второй не определяется | Один логический + один физический сбой | Частично | Уровень 2 → Уровень 3 |
| Второй диск вышел из строя во время перестройки после первого | Классический двойной отказ — вероятна частичная потеря данных | Частично | Уровень 2 |
| Один или оба диска щёлкают, скрежещут, не определяются | Физический сбой — головки или пластины | Требуется лаборатория | Уровень 3 |
Почему два сбоя математически разрушают SHR-1
SHR-1 использует один набор паритетных данных — по сути, это эквивалент RAID 5 с точки зрения отказоустойчивости. Для каждой полосы (stripe) в массиве один диск хранит XOR-паритет остальных. При отказе одного диска любой отсутствующий блок данных можно вычислить заново: нужно взять блок паритета и выполнить XOR со всеми оставшимися блоками данных — в результате отсутствующее значение восстанавливается. Это работает, потому что есть одна неизвестная величина и одно уравнение.
При отказе двух дисков в каждой полосе уже две неизвестные, а уравнение паритета по-прежнему одно. Математического решения нет. Ни одно программное средство, как бы его ни рекламировали, не способно восстановить два независимо неизвестных значения из одной XOR-связи. Это не ограничение конкретного инструмента — это свойство самой схемы паритета.
Что может сделать программное обеспечение, так это восстановить данные из тех полос, где участвовал только один из двух вышедших из строя дисков. Если ваши файлы оказались записаны в полосах, которые не затрагивают оба отказавших диска, их можно восстановить. Файлы, которые распределены по полосам с участием обоих вышедших из строя дисков, восстановлению не подлежат. Доля восстанавливаемых данных зависит от размера и расположения отказавших дисков в массиве — именно поэтому частичное восстановление часто возможно даже тогда, когда полное уже невозможно.
SHR-2 хранит два независимых набора паритета в каждой полосе — аналогично RAID 6 — и выдерживает любые два одновременных отказа дисков без потери данных. Однако SHR-2 не застрахован от этого сценария: три одновременных отказа нарушают математику паритета так же, как два отказа нарушают SHR-1. Если вы используете SHR-2 и потеряли три диска, применима та же логика, что и ниже. Для сравнения отказоустойчивости SHR-1 и SHR-2 на практике см. нашу статью о восстановлении SHR/SHR-2 после аппаратного сбоя Synology.
Почему важно, как именно вышли из строя два накопителя
Не все двойные отказы одинаковы. Последовательность и характер сбоев определяют, какое восстановление возможно:
Одновременный отказ — сбой питания или контроллера
Оба накопителя перестали отвечать одновременно. Данные на каждом из них, скорее всего, физически сохранны — массив просто потерял кворум. Это наиболее восстановимый вариант двойного отказа, поскольку данные ни на одном из дисков не были частично перезаписаны.
Второй диск вышел из строя во время восстановления
Первый диск отказал, массив перешёл в деградированный режим, началось восстановление — и в процессе вышел из строя второй диск. Новая информация о паритете записывалась на заменяющий диск в тот момент, когда отказал второй исходный диск. Полосы, восстановленные до второго отказа, остаются целыми; полосы, которые восстанавливались в момент второго отказа, повреждены. Частичное восстановление обычно возможно.
Первый диск отказал давно и остался незамеченным
Массив длительное время работал в деградированном режиме — без избыточности — а затем отказал второй диск. Если первый отказ не был обнаружен, за это время могли быть выполнены дополнительные записи в деградированные полосы. Шансы на восстановление полностью зависят от физического состояния второго отказавшего диска. См. нашу статью о распознавании ранних признаков отказа жесткого диска, чтобы выявлять проблему раньше.
Оцените физическое состояние каждого диска
Прежде чем предпринимать какие-либо программные действия, убедитесь, что диски физически читаются. Если NAS всё ещё работает, корректно выключите его — не выполняйте принудительную перезагрузку и не устанавливайте диск-замену, поскольку это заставит DSM попытаться выполнить ещё одну перестройку массива. Подключайте каждый диск по отдельности к машине для восстановления.
Если какой-либо диск издаёт отчётливые щелчки, скрежет или несколько раз безуспешно пытается раскрутиться — немедленно выключите его и не пытайтесь читать данные дальше. Каждый цикл раскрутки диска с повреждёнными головками усиливает повреждение пластин. Сразу переходите к Уровню 3.
Для дисков, которые включаются без посторонних звуков, выполните mdadm --examine для каждого раздела устройства:
mdadm --examine /dev/sdb3 Magic : a92b4efc Version : 1.2 Feature Map : 0x0 Array UUID : 4b2f8e1a:7c3d9f02:1a4b8c3d:9e2f7b01 Name : DiskStation:2 Creation Time : Fri Mar 10 14:22:31 2023 Raid Level : raid5 Raid Devices : 3 Avail Dev Size : 7813959680 Array Size : 15627862016 Used Dev Size : 7813931008 Data Offset : 2048 sectors Super Offset : 8 sectors Unused Space : before=1968 sectors, after=0 sectors State : clean, degraded Device UUID : 9d3f1c2a:4e8b7f03:2c1d9e4b:7a3f8c01 Update Time : Mon Jun 2 09:14:22 2025 Bad Block Log : 512 entries available at offset 16 sectors Checksum : 3f8a1b2c - correct Events : 247
Обратите внимание на три момента: UUID массива должен совпадать на всех дисках — если это не так, значит диск относится к другому массиву либо его суперблок повреждён. Счётчик Events должен быть примерно одинаковым у всех участников массива — существенное расхождение указывает на то, что один из дисков пропустил значительное число операций записи. Поле State на диске, который был частью массива и потерял одного из участников, будет отображаться как clean, degraded.
Также на этом этапе откройте встроенный монитор S.M.A.R.T. в RS RAID Retrieve. Показатели Reallocated Sector Count и Pending Sectors на уцелевшем диске имеют значение: диск, у которого в уже деградировавшем массиве накапливаются сбойные сектора, мог выдавать тихие ошибки чтения, повлиявшие на целостность данных ещё до второй поломки. Для справки по интерпретации данных S.M.A.R.T. см. нашу статью о признаках отказа жёсткого диска.
Три уровня восстановления
Используйте этот путь только если mdadm --examine возвращает корректные суперблоки с совпадающими UUID на всех дисках. Работа через терминал дает вам полный контроль над каждым шагом, но имеет жесткие ограничения: все диски должны быть физически доступны и читаемы, при повреждении суперблоков нет запасного варианта, и заранее невозможно определить, какие файлы повреждены. Перед выполнением любых команд ниже создайте образ каждого диска с помощью ddrescue — работайте только с образами.
Шаг 1 — Сначала создайте образ каждого диска
# Установите ddrescue, если он не установлен apt-get install -y gddrescue # Создайте образ каждого диска в отдельный файл — выполните для каждого участника массива ddrescue -d -r3 /dev/sdb /mnt/images/sdb.img /mnt/images/sdb.log ddrescue -d -r3 /dev/sdc /mnt/images/sdc.img /mnt/images/sdc.log ddrescue -d -r3 /dev/sdd /mnt/images/sdd.img /mnt/images/sdd.log
Флаг -r3 указывает ddrescue три раза повторить попытки чтения нечитаемых секторов, прежде чем пометить их как сбойные. Файл .log позволяет возобновить создание образа, если процесс будет прерван. Не пропускайте этот шаг — диск со скрытыми bad-секторами будет деградировать ещё сильнее под длительной нагрузкой на чтение во время восстановления массива.
Шаг 2 — Проверьте суперблоки на всех участниках массива
# Запустите для каждого образа — убедитесь, что UUID и Events совпадают mdadm --examine /mnt/images/sdb.img mdadm --examine /mnt/images/sdc.img mdadm --examine /mnt/images/sdd.img
Перед продолжением убедитесь в трёх вещах. Array UUID должен быть одинаковым во всех образах — несоответствие означает, что диск относится к другому массиву либо его суперблок повреждён. Счётчик Events должен быть примерно одинаковым у всех участников — расхождение в сотни или тысячи обычно означает, что один из дисков пропустил значительный набор операций записи. Количество Raid Devices должно совпадать с ожидаемым числом участников массива.
Шаг 3 — Принудительная сборка из файлов-образов
# Сообщаем ядру, что файлы-образы следует воспринимать как блочные устройства losetup /dev/loop0 /mnt/images/sdb.img losetup /dev/loop1 /mnt/images/sdc.img losetup /dev/loop2 /mnt/images/sdd.img # Принудительно собираем массив — указываем разделы с данными, а не всё устройство целиком mdadm --assemble --force /dev/md0 /dev/loop0p3 /dev/loop1p3 /dev/loop2p3 # Проверяем результат сборки cat /proc/mdstat mdadm --detail /dev/md0
--force собирает массив даже при недостаточном количестве членов для сохранения согласованного состояния. В результате массив будет работать в деградированном режиме. Полосы, в которых были задействованы оба вышедших из строя диска, содержат некорректные данные, восстановленные по паритету — файлы в этих полосах будут повреждены или при копировании окажутся нулевого размера. Файлы на полосах, затронувших только один отказавший диск, остаются целыми и читаемыми. Заранее, не пытаясь скопировать данные, невозможно определить, к какой из этих категорий относится тот или иной файл.
Шаг 4 — Активируйте LVM и смонтируйте раздел только для чтения
# Активируйте группу томов LVM на собранном массиве pvscan vgchange -ay # Выведите список логических томов, чтобы определить правильный путь к устройству lvs # Монтируйте только для чтения — никогда не монтируйте rw на повреждённом массиве mount /dev/vg1/volume_1 /mnt/data -o ro
Всегда монтируйте с параметром -o ro. Запись в принудительно собранный массив в таком состоянии приведёт к распространению повреждений на ранее целые полосы данных. После монтирования проверьте структуру каталогов и размеры файлов перед началом любого копирования. Повреждённые файлы проявляются как ошибки чтения, ошибки ввода-вывода или нулевой размер выходного файла во время копирования — заранее это никак не определяется.
Шаг 5 — Копирование с обработкой ошибок
# Используйте rsync с логированием ошибок — пропускает нечитаемые файлы, а не останавливается rsync -av --ignore-errors /mnt/data/ /mnt/destination/ 2>&1 | tee /mnt/rsync.log # Проверьте, что было пропущено grep -i "error|failed|cannot" /mnt/rsync.log
Обычный cp останавливается при первой ошибке чтения. rsync --ignore-errors записывает сбой в лог и продолжает работу со следующим файлом, максимально увеличивая объём данных, который удаётся восстановить. После этого просмотрите журнал, чтобы определить, какие файлы не удалось скопировать — именно они попали на полосы, затрагивающие оба вышедших из строя диска.
Когда следует остановиться и перейти к Уровню 2:
mdadm --examine показывает несовпадающие UUID на дисках; сборка с --force завершается неудачей или в /proc/mdstat появляется массив со статусом inactive; при активации LVM не находится ни одной группы томов; файловая система монтируется, но отображает пустое или повреждённое дерево каталогов. Любой из этих признаков означает, что суперблок или метаданные LVM повреждены слишком сильно для ручного восстановления — в этих случаях RAID Constructor в RS RAID Retrieve берёт восстановление на себя.
RS RAID Retrieve выполняет весь процесс — анализ S.M.A.R.T., создание образов дисков, реконструкцию массива, активацию LVM и доступ к файловой системе — в одном приложении для Windows, Linux или macOS. Оно поддерживает два различных сценария реконструкции в зависимости от состояния суперблоков mdadm.
Оценка S.M.A.R.T. — перед любыми операциями чтения
Подключите все накопители к машине восстановления и перед началом сканирования откройте встроенный монитор S.M.A.R.T. Наиболее важные в этой ситуации атрибуты — Reallocated Sector Count (ID 05), Current Pending Sector Count (ID C5) и Uncorrectable Sector Count (ID C6). Ненулевые значения любого из них — особенно на дисках, которые выглядят как «здоровые» выжившие, — указывают на сектора, которые уже начинали выходить из строя в период деградации, еще до отказа второго диска. Уцелевший диск с повышенным числом ожидающих переназначения секторов может выдавать ошибки чтения в ходе многочасового процесса реконструкции.
Создание образа диска — защита оригиналов от нагрузки сканирования
Для любого диска с повышенными значениями S.M.A.R.T. используйте встроенную функцию создания образа в RS RAID Retrieve, чтобы перед этапом реконструкции создать посекторный образ. Средство создания образа выполняет несколько проходов по проблемным секторам, фиксирует нечитаемые области в карте секторов и формирует полный файл образа, который отражает максимально возможное состояние чтения этого диска. Все последующие этапы — реконструкция массива, активация LVM, сканирование файловой системы — выполняются уже с этим статическим файлом образа, а не с живым диском. Это предотвращает дальнейшее ухудшение состояния диска под нагрузкой полного сканирования массива, которое в конфигурации SHR с несколькими терабайтами может занимать несколько часов.
Автоматическая реконструкция массива — при сохранённых суперблоках
RS RAID Retrieve сканирует все подключённые диски и образы в поисках сигнатур mdadm superblock. При обнаружении он считывает UUID массива, уровень RAID, роли устройств-участников, размер блока полосы и счётчики событий на всех членах массива. Затем он восстанавливает топологию тома SHR — mdadm array → LVM Physical Volume → Volume Group → Logical Volume → файловая система Btrfs или ext4 — без необходимости в действующем кворуме и без записи каких-либо данных на исходные диски. При двойном отказе, когда оба диска физически читаются и superblocks сохранены, этот путь обычно не требует ручного ввода.
Восстановление выполняется в degraded mode: полосы, в формировании которых участвовали оба отказавших диска, не могут быть восстановлены из parity, и соответствующие файлы помечаются как недоступные. Полосы, в которых участвовал только один из двух отказавших дисков, восстанавливаются из данных оставшегося участника и parity — такие файлы полностью подлежат восстановлению. Перед этапом копирования программа помечает недоступные файлы в дереве каталогов, чтобы вы заранее видели объём восстановления до выбора целевого места.
Конструктор RAID — когда метаданные superblock повреждены
Если автоматическое определение не дает результата — например, из-за того, что superblock частично перезаписан, поврежден событием прошивки или отсутствует после отказа диска, который был частично записан во время перестроения, — перейдите в режим RAID Constructor. Этот режим позволяет вручную задать все параметры массива, полностью обходя superblock.
Сначала определите смещение файловой системы с помощью встроенного HEX-редактора. Откройте каждый диск или образ в HEX-редакторе и найдите ASCII-маркер LABLEONE. В конфигурациях SHR и SHR-2 эта строка обозначает начало области данных тома. Сектор, непосредственно предшествующий сектору с LABLEONE, — он будет заполнен нулями — и есть сектор смещения. Запомните его номер: именно это значение нужно указать в параметре Offset в RAID Constructor.
Введите следующие параметры в RAID Constructor:
| Параметр | Значение для SHR-1 | Значение для SHR-2 |
|---|---|---|
| Тип RAID | RAID 5 | RAID 6 / Left synchronous (P+Q) |
| Размер блока | 64 KB | 64 KB |
| Байт на сектор | 512 | 512 |
| Порядок дисков | Соответствует исходной последовательности отсеков NAS — сначала отсек 1 | |
| Смещение | Номер сектора, найденный по LABLEONE (для каждого диска) | |
Если исходный порядок дисков неизвестен, определите его методом перебора: добавляйте диски в список Selected Disks в разных последовательностях и после каждого изменения проверяйте восстановленное дерево файловой системы. Правильный порядок дает узнаваемую структуру каталогов; неправильный — «мусор» или пустое дерево. Значение смещения необходимо задавать отдельно для каждого физического диска или образа — оно может отличаться у разных участников массива, если в исходной конфигурации SHR использовались диски разной емкости.
Если один из вышедших из строя дисков невозможно подключить вообще — он механически неисправен или не определяется, — используйте Add empty disk, чтобы вставить заглушку на нужную позицию в списке дисков. RS RAID Retrieve воспринимает заглушку как полностью нечитаемый диск: полосы, в формировании которых участвовал этот диск, восстанавливаются по четности с использованием оставшихся дисков (и данные из этих полос извлекаются), а полосы, для которых также требуется вклад четности заглушки, помечаются как невосстановимые. Это максимальный возможный уровень восстановления для конфигурации с одним физически недоступным диском.
Сканирование файловой системы и выборочное восстановление файлов
После того как массив восстановлен — автоматически или через RAID Constructor — RS RAID Retrieve сканирует файловую систему Btrfs или ext4 на логическом томе. Сканирование проходит по дереву файловой системы, определяет целые и повреждённые области и формирует полный список каталогов. Файлы и папки, чьи блоки данных пересекаются с невосстановимыми полосами, помечаются ещё до начала копирования — без перебора и пробных копий, чтобы выяснить, что доступно.
Выберите файлы и папки для восстановления, укажите назначение на отдельном диске с достаточным свободным местом и запустите копирование. Исходные диски и образы на протяжении всей операции доступны только для чтения. За пояснением по уровню LVM между массивом mdadm и файловой системой см. нашу статью о структуре и работе LVM.
Программное восстановление — на любом уровне — зависит от того, могут ли головки чтения/записи накопителя передавать данные секторов контроллеру хоста. Если блок головок механически повреждён, привод катушки голосовой системы заклинил или вышел из строя подшипник шпинделя, накопитель не сможет выполнять запросы на чтение независимо от настроек программного обеспечения. В лаборатории блок головок заменяют в чистой комнате (ISO Class 5 или выше), выполняют юстировку головок под конкретный плавающий диск и используют инструменты на уровне прошивки, чтобы извлечь данные секторов из областей, которые собственная электроника накопителя отказалась бы читать.
Результатом работы лаборатории является набор образов на уровне секторов — по одному на каждый диск. Эти образы содержат максимально возможное чтение поверхности каждого накопителя, включая секторы, восстановленные из физически повреждённых зон, которые при обычных условиях вызывают ошибки ввода-вывода. После получения эти образы используются напрямую в RS RAID Retrieve: RAID Constructor считывает суперблоки (или применяет метод смещения LABLEONE, если суперблоки повреждены), восстанавливает топологию массива SHR и затем выполняет сканирование файловой системы и восстановление точно так же, как описано в Уровне 2.
Ограничение паритета при двойном отказе действует для лабораторных образов точно так же, как и для физически подключённых дисков — полосы, содержащие оба отказавших элемента, остаются математически невосстановимыми независимо от того, насколько качественно были извлечены данные секторов. Преимущество лаборатории в том, что она обеспечивает доступ к секторам, которые программные инструменты на работающем деградировавшем диске не смогли бы прочитать из-за ошибок чтения, что может существенно увеличить долю восстанавливаемых файлов.
Для более общего обзора того, в каких случаях требуется профессиональное восстановление и как проходит этот процесс, см. нашу статью о восстановлении данных с неисправных жёстких дисков.
Сразу переходите к уровню 3, если наблюдаете что-либо из следующего
- Щелчки, скрежет или жужжание от любого диска при подаче питания
- Диск не определяется в BIOS/UEFI или вообще отсутствует в выводе
lsblk - Диск определяется, но
mdadm --examineвозвращает ошибки ввода-вывода вместо данных суперблока - Температура поверхности диска в течение нескольких минут после подключения поднимается до аномальных значений
- Показатель S.M.A.R.T. Reallocated Sector Count (ID 05) исчисляется сотнями, либо Spin Retry Count (ID C0) увеличивается при каждом цикле питания
Не пытайтесь выполнять программное восстановление на диске с механической неисправностью. Каждый проход чтения увеличивает износ уже повреждённых поверхностей головок и пластин. Отключите питание и обратитесь в лабораторию, прежде чем предпринимать какие-либо дальнейшие действия.
Двойной отказ в SHR-1 находится на границе между программным и физическим восстановлением. Где именно проходит эта граница в вашем случае, зависит от состояния дисков, а не от возможностей инструментов. Два физически исправных диска с целыми суперблоками дают программному восстановлению реальный шанс на частичное восстановление. Два диска с механической неисправностью — это прямой путь в лабораторию. В большинстве реальных случаев двойной отказ оказывается где-то между этими крайностями, поэтому оценка состояния дисков перед выбором пути восстановления здесь важнее, чем в любой другой ситуации в этой серии.
