mdadm - Устаревший Массив и современный массив имеют тот же UUID. Современный массив не соберется на начальной загрузке
Редко, чтобы я задал вопросы, но Google поднял пробел на этом, таким образом, я здесь
У меня есть проблема с моим mdadm программным обеспечением Raid, работающим на выпуске Сервера Ubuntu 14.04. А именно, у меня, кажется, есть 2 набора Массивов RAID с тем же UUID, один являющийся старым, один являющийся новым, что означает, что он не может быть собран при начальной загрузке, заставив начальную загрузку зависнуть, поскольку это не может смонтировать некоторые мои файловые системы.
Я детализирую то, что я сделал, и где я думаю, что эта проблема представила себя. То, что я ищу, - то, как вычистить детали теперь устаревшего массива так, чтобы мой Набег собрался правильно при начальной загрузке.
Путь назад, когда у меня был Массив Raid1, последовательный из двух дисков на 2 ТБ. Система не находится на этом массиве, она имеет выделенный диск, таким образом, это просто для данных.
Я начал заканчиваться пространство, таким образом, переместил эти 2 диска в Raid5.Пока все хорошо.
Я затем развернул свой массив путем добавления 2 запчастей на 2 ТБ и роста массива в эти запчасти. Это - то, где я думаю, что проблема произошла.
Я затем решил, учитывая размер Массива, и восстановите время, я предпочел бы выполнять Raid6, таким образом, я чередовал 2 существующих диска на 1 ТБ сделать Raid0 на 2 ТБ и вырастил Набег 6 по этим дискам. Это - то, где я теперь в, Набег 6 состоящий из дисков на 4 X 2 ТБ + Набег на 1 X 2 ТБ 0 (10 ТБ общего количества, 6 ТБ применимого пространства, четности на 4 ТБ).
В какой-то момент во время этого обновления похоже, что я завинтил что-то. Результаты исследования Набега показывают следующее:
sudo mdadm --examine --scan -v
ARRAY /dev/md/1 level=raid0 metadata=1.2 num-devices=2 UUID=913834a2:63afa2cd:a84e864a:96353af5 name=fileserver:1
devices=/dev/sdd1,/dev/sda1
ARRAY /dev/md/0 level=raid5 metadata=1.2 num-devices=2 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
spares=2 devices=/dev/sde,/dev/sdf
ARRAY /dev/md/0 level=raid6 metadata=1.2 num-devices=5 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
devices=/dev/sdg1,/dev/sdh1,/dev/sde1,/dev/sdf1,/dev/md/1
Посмотрите те 2/dev/md0 с различными уровнями RAID, но тот же UUID? Сосет, да? То, на что это похоже, - то, что Raid5, с 2 запчастями остался в конфигурации и не был перезаписан путем роста того же массива в те 2 запчасти и впоследствии в Raid6. Кардинально похоже, что я, возможно, завинтил при наличии моего начального массива, ссылающегося на целые диски (/dev/sd [ef]) и мой Raid6, ссылающийся на целые разделы диска (/dev/sd[efgh]1).
Результат этого - то, что я не могу собрать использование массива:
sudo mdadm --assemble --scan
поскольку это пытается собрать Raid5 с 2 запчастями и не может завершиться. Вместо этого я должен выпустить следующее для сборки массива:
sudo mdadm --assemble /dev/md0 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/md1
Который хорошо работает, и мой Raid6 становится доступным снова в/dev/md0... ОДНАКО это означает, что мой сервер теперь требует ручного вмешательства, когда это не может смонтировать файловые системы к Набегу при начальной загрузке, которая невероятно неудобна, поскольку это означает, что я должен физически перейти к серверу к кипу [S] неудавшееся монтирование.
Ниже выводы моего conf файла и другие mdadm выводы (пока мой Raid6 успешно работает) помочь далее диагностировать решение.
mdstat:
cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdg1[0] md1[5] sdf1[3] sde1[4] sdh1[2]
5860145664 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/5] [UUUUU]
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
unused devices: <none>
mdadm - деталь
sudo mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
Raid Devices : 5
Total Devices : 5
Persistence : Superblock is persistent
Update Time : Sun Sep 27 14:00:17 2015
State : clean
Active Devices : 5
Working Devices : 5
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : team-canfield:0 (local to host team-canfield)
UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Events : 1231852
Number Major Minor RaidDevice State
0 8 97 0 active sync /dev/sdg1
2 8 113 1 active sync /dev/sdh1
4 8 65 2 active sync /dev/sde1
3 8 81 3 active sync /dev/sdf1
5 9 1 4 active sync /dev/md/1
mdadm.conf:
cat /etc/mdadm/mdadm.conf
# mdadm.conf
#
# Please refer to mdadm.conf(5) for information about this file.
#
# by default (built-in), scan all partitions (/proc/partitions) and all
# containers for MD superblocks. alternatively, specify devices to scan, using
# wildcards if desired.
#DEVICE partitions containers
# auto-create devices with Debian standard permissions
CREATE owner=root group=disk mode=0660 auto=yes
# automatically tag new arrays as belonging to the local system
HOMEHOST <system>
# instruct the monitoring daemon where to send mail alerts
MAILADDR root
# definitions of existing MD arrays
ARRAY /dev/md/1 metadata=1.2 UUID=913834a2:63afa2cd:a84e864a:96353af5 name=fileserver:1
ARRAY /dev/md/0 metadata=1.2 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
mdadm - исследуют - сканируют-vvvv:
sudo mdadm --examine --scan -vvvv
mdadm: No md superblock detected on /dev/md0.
/dev/sdg1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Raid Devices : 5
Avail Dev Size : 3906764976 (1862.89 GiB 2000.26 GB)
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : e39fa659:9010941e:034e58b6:f88f7542
Update Time : Sun Sep 27 14:00:17 2015
Checksum : 18244273 - correct
Events : 1231852
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : AAAAA ('A' == active, '.' == missing)
/dev/sdg:
MBR Magic : aa55
Partition[0] : 3907027120 sectors at 2048 (type fd)
/dev/sdh1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Raid Devices : 5
Avail Dev Size : 3906764976 (1862.89 GiB 2000.26 GB)
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : cc416705:bf6220eb:9201a515:c044aabd
Update Time : Sun Sep 27 14:00:17 2015
Checksum : 6af29ee4 - correct
Events : 1231852
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 1
Array State : AAAAA ('A' == active, '.' == missing)
/dev/sdh:
MBR Magic : aa55
Partition[0] : 3907027120 sectors at 2048 (type fd)
/dev/sde1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Raid Devices : 5
Avail Dev Size : 3906764976 (1862.89 GiB 2000.26 GB)
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : dbd3c13e:269dde52:0b07e3cf:d8d2e4fc
Update Time : Sun Sep 27 14:00:17 2015
Checksum : 583feee - correct
Events : 1231852
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : AAAAA ('A' == active, '.' == missing)
/dev/sde:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid5
Raid Devices : 2
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 1953381888 (1862.89 GiB 2000.26 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 8089c55e:df3a826b:7df2e4b9:dbff7a97
Update Time : Sat Sep 5 14:59:00 2015
Checksum : 7f43d8a - correct
Events : 514
Layout : left-symmetric
Chunk Size : 512K
Device Role : spare
Array State : AA ('A' == active, '.' == missing)
/dev/sdf1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Raid Devices : 5
Avail Dev Size : 3906764976 (1862.89 GiB 2000.26 GB)
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : de9ae300:e4382032:a5fd89c9:c966255b
Update Time : Sun Sep 27 14:00:17 2015
Checksum : feceec37 - correct
Events : 1231852
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : AAAAA ('A' == active, '.' == missing)
/dev/sdf:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid5
Raid Devices : 2
Avail Dev Size : 3906767024 (1862.89 GiB 2000.26 GB)
Array Size : 1953381888 (1862.89 GiB 2000.26 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 3b86b670:f4812448:e474f7b5:b214454c
Update Time : Sat Sep 5 14:49:56 2015
Checksum : a7651675 - correct
Events : 513
Layout : left-symmetric
Chunk Size : 512K
Device Role : spare
Array State : AA ('A' == active, '.' == missing)
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 913834a2:63afa2cd:a84e864a:96353af5
Name : fileserver:1
Creation Time : Thu Sep 10 11:52:39 2015
Raid Level : raid0
Raid Devices : 2
Avail Dev Size : 1953523104 (931.51 GiB 1000.20 GB)
Data Offset : 16 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 8745a084:7e031e4f:da72b198:e548d755
Update Time : Thu Sep 10 11:52:39 2015
Checksum : 48772d61 - correct
Events : 0
Chunk Size : 512K
Device Role : Active device 1
Array State : AA ('A' == active, '.' == missing)
/dev/sdd:
MBR Magic : aa55
Partition[0] : 1953523120 sectors at 2048 (type 83)
mdadm: No md superblock detected on /dev/sdc1.
/dev/sdc:
MBR Magic : aa55
Partition[0] : 976771072 sectors at 2048 (type 83)
mdadm: No md superblock detected on /dev/dm-2.
mdadm: No md superblock detected on /dev/dm-1.
mdadm: No md superblock detected on /dev/dm-0.
mdadm: No md superblock detected on /dev/sdb5.
/dev/sdb2:
MBR Magic : aa55
Partition[0] : 1953021952 sectors at 2 (type 8e)
mdadm: No md superblock detected on /dev/sdb1.
/dev/sdb:
MBR Magic : aa55
Partition[0] : 497664 sectors at 2048 (type 83)
Partition[1] : 1953021954 sectors at 501758 (type 05)
/dev/md/1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Name : team-canfield:0 (local to host team-canfield)
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Raid Devices : 5
Avail Dev Size : 3906783232 (1862.90 GiB 2000.27 GB)
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 3906763776 (1862.89 GiB 2000.26 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
State : clean
Device UUID : cc54a0b1:0a5cf703:e7e0b1d2:0bab9231
Update Time : Sun Sep 27 14:00:17 2015
Checksum : 60f83822 - correct
Events : 1231852
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : AAAAA ('A' == active, '.' == missing)
/dev/sda1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : 913834a2:63afa2cd:a84e864a:96353af5
Name : fileserver:1
Creation Time : Thu Sep 10 11:52:39 2015
Raid Level : raid0
Raid Devices : 2
Avail Dev Size : 1953523104 (931.51 GiB 1000.20 GB)
Data Offset : 16 sectors
Super Offset : 8 sectors
State : clean
Device UUID : 8e41dd73:0e90d173:852facd8:f3009a34
Update Time : Thu Sep 10 11:52:39 2015
Checksum : 7b252ab0 - correct
Events : 0
Chunk Size : 512K
Device Role : Active device 0
Array State : AA ('A' == active, '.' == missing)
/dev/sda:
MBR Magic : aa55
Partition[0] : 1953523120 sectors at 2048 (type 83)
Этот последний показывает диски/dev/sd [ef] и быть частью Raid5, пока их основное устройство (и только) раздел является частью Raid6
Так, есть ли путь, не теряя мои данные, я могу уничтожить информацию Raid5? У меня нет резервного пространства, чтобы восстановить мой массив и скопировать все назад на.
Я предположил бы, что мог обновить mdadm.conf к следующему:
DEVICE partitions
и это проигнорировало бы Raid5, однако, я чувствую это просто сглаживание трещин, и я, несомненно, поражу подобные проблемы снова в следующий раз, когда я изменяю свою конфигурацию RAID. Действительно, я просто хочу уничтожить все доказательство этого фантомного Raid5 с тем же UUID как мой активный Raid6. Какие-либо берущие?
Большое спасибо!
1 ответ
Хорошо, я думаю, что зафиксировал его. Я пройду шаги, которые я сделал в случае, если у кого-либо еще есть эта проблема. Кроме того, эта техника опасна, поскольку я в настоящее время выполняю ухудшенный Массив Raid6 от 3 партонов 5.
Остановите массив:
$ sudo mdadm --stop /dev/md0
mdadm: stopped /dev/md0
Обнулите суперблок от первого диска в устаревшем массиве Raid5
$ sudo mdadm --zero-superblock /dev/sdf
Исследуйте массивы, чтобы видеть, удалило ли это его:
$ sudo mdadm --examine --scan -v
ARRAY /dev/md/1 level=raid0 metadata=1.2 num-devices=2 UUID=913834a2:63afa2cd:a84e864a:96353af5 name=fileserver:1
devices=/dev/sdd1,/dev/sda1
ARRAY /dev/md/0 level=raid5 metadata=1.2 num-devices=2 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
spares=1 devices=/dev/sde
ARRAY /dev/md/0 level=raid6 metadata=1.2 num-devices=5 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
devices=/dev/sdg1,/dev/sdh1,/dev/md/1
Странно я потерял оба из разделов (sd[ef]1) от моего Raid6 в этой точке. Но хорошей вещью был Raid5, просто шел с одной запчастью.
Обнулите остающийся суперблок:
$ sudo mdadm --zero-superblock /dev/sde
Проверьте снова:
$ sudo mdadm --examine --scan -v
ARRAY /dev/md/1 level=raid0 metadata=1.2 num-devices=2 UUID=913834a2:63afa2cd:a84e864a:96353af5 name=fileserver:1
devices=/dev/sdd1,/dev/sda1
ARRAY /dev/md/0 level=raid6 metadata=1.2 num-devices=5 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
devices=/dev/sdg1,/dev/sdh1,/dev/md/1
Устаревший Raid5 теперь исчез. Теперь момент истины, это возможный восстановить разделы назад в Raid6:
$ sudo mdadm --assemble /dev/md0 /dev/sdg1 /dev/sdh1 /dev/md1 /dev/sde1 /dev/sdf1 --force
mdadm: cannot open device /dev/sde1: No such file or directory
mdadm: /dev/sde1 has no superblock - assembly aborted
$ sudo mdadm --assemble /dev/md0 /dev/sdg1 /dev/sdh1 /dev/md1 /dev/sdf1 --force
mdadm: cannot open device /dev/sdf1: No such file or directory
mdadm: /dev/sdf1 has no superblock - assembly aborted
Нет это не:/, Это - плохие новости, и я боюсь худшего за свои данные. Попытайтесь собрать 3 остающихся раздела:
$ sudo mdadm --assemble /dev/md0 /dev/sdg1 /dev/sdh1 /dev/md1 --force
mdadm: /dev/md0 has been started with 3 drives (out of 5).
Уф! Успех!
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdg1[0] md1[5] sdh1[2]
5860145664 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/3] [UU__U]
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
Хорошо, мы серьезно ухудшаемся, но по крайней мере это создается. Я монтирую массив, чтобы удостовериться, что мои данные неповреждены, и вдохните огромный вздох облегчения, когда я вижу, что это - все все еще там. NB: может быть мудро не смонтировать массив в этой точке. Я думаю, что это может быть различием между способностью к проблемам a - повторно добавляют, а не - добавляют позже на этих шагах.
Я чувствую, что это была бы хорошая идея перезагрузить, таким образом, я делаю. Я все еще получаю подвешивание на начальной загрузке, но это неудивительно, поскольку мой массив ухудшается.
Когда это возвращается онлайн, я исследую снова:
$ sudo mdadm --examine --scan -v
ARRAY /dev/md/1 level=raid0 metadata=1.2 num-devices=2 UUID=913834a2:63afa2cd:a84e864a:96353af5 name=fileserver:1
devices=/dev/sdd1,/dev/sda1
ARRAY /dev/md/0 level=raid6 metadata=1.2 num-devices=5 UUID=18235f5c:bd4892c0:7616a677:626ae2e8 name=team-canfield:0
devices=/dev/sdg1,/dev/sdh1,/dev/sdf1,/dev/sde1,/dev/md/1
Это могло быть? Это теперь видит все 5 разделов Raid6, и Raid5 нигде не виден.
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : inactive sdg1[0](S) sdh1[2](S) sde1[4](S) sdf1[3](S)
7813529952 blocks super 1.2
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
unused devices: <none>
Боже мой конечно, это было слишком хорошо, чтобы быть правдой. Я пропускаю раздел от массива, и все нынешние участники перечислены как запчасти.
Ну, мы имеем настолько далеко. Давайте остановим массив:
$ sudo mdadm --stop /dev/md0
mdadm: stopped /dev/md0
И попытка собрать сканирование:
$ sudo mdadm --assemble --scan
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdg1[0] md1[5] sdh1[2]
5860145664 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/3] [UU__U]
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
Восхитительно! Мы назад онлайн, и это - первый раз, когда я смог дать эту команду успешно, так как я обновил от Raid5 до Raid6. Мы, однако, все еще ухудшаемся с/dev/sd[ef]1, который нигде не будет замечен.
Я остановлю массив и попытаюсь, сила повторно собирают явно именование членских разделов:
$ sudo mdadm --stop /dev/md0
mdadm: stopped /dev/md0
$ sudo mdadm --assemble /dev/md0 /dev/sde1 /dev/sdf1 /dev/sdg1 /dev/sdh1 /dev/md1 -v --force
mdadm: looking for devices for /dev/md0
mdadm: /dev/sde1 is identified as a member of /dev/md0, slot 2.
mdadm: /dev/sdf1 is identified as a member of /dev/md0, slot 3.
mdadm: /dev/sdg1 is identified as a member of /dev/md0, slot 0.
mdadm: /dev/sdh1 is identified as a member of /dev/md0, slot 1.
mdadm: /dev/md1 is identified as a member of /dev/md0, slot 4.
mdadm: added /dev/sdh1 to /dev/md0 as 1
mdadm: added /dev/sde1 to /dev/md0 as 2 (possibly out of date)
mdadm: added /dev/sdf1 to /dev/md0 as 3 (possibly out of date)
mdadm: added /dev/md1 to /dev/md0 as 4
mdadm: added /dev/sdg1 to /dev/md0 as 0
mdadm: /dev/md0 has been started with 3 drives (out of 5).
Хорошо, хорошо это - очень хорошие новости. По-видимому, суперблок все еще существует на этих разделах, даже при том, что эти 2 раздела не могут на самом деле быть добавлены в активном состоянии в данный момент.
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdg1[0] md1[5] sdh1[2]
5860145664 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/3] [UU__U]
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
unused devices: <none>
$ sudo mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Sep 4 00:57:56 2015
Raid Level : raid6
Array Size : 5860145664 (5588.67 GiB 6000.79 GB)
Used Dev Size : 1953381888 (1862.89 GiB 2000.26 GB)
Raid Devices : 5
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Thu Oct 1 23:57:14 2015
State : clean, degraded
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : team-canfield:0 (local to host team-canfield)
UUID : 18235f5c:bd4892c0:7616a677:626ae2e8
Events : 1231860
Number Major Minor RaidDevice State
0 8 97 0 active sync /dev/sdg1
2 8 113 1 active sync /dev/sdh1
2 0 0 2 removed
3 0 0 3 removed
5 9 1 4 active sync /dev/md/1
Таким образом, они возвратились в удаленном состоянии. Давайте попытаемся повторно добавить их:
$ sudo mdadm --manage /dev/md0 --re-add /dev/sd[ef]1
mdadm: --re-add for /dev/sde1 to /dev/md0 is not possible
$ sudo mdadm --manage /dev/md0 --re-add /dev/sdf1
mdadm: --re-add for /dev/sdf1 to /dev/md0 is not possible
Чертовски, конечно, нет. Ну, давайте исследуем события на разделах, чтобы видеть, не распознаны ли они действительно как часть массива:
$ sudo mdadm --examine /dev/sd[a-z]1 | egrep 'Event|/dev/sd'
mdadm: No md superblock detected on /dev/sdb1.
mdadm: No md superblock detected on /dev/sdc1.
/dev/sda1:
Events : 0
/dev/sdd1:
Events : 0
/dev/sde1:
Events : 1231852
/dev/sdf1:
Events : 1231852
/dev/sdg1:
Events : 1231860
/dev/sdh1:
Events : 1231860
Хорошо, по-видимому, всего 8 событий от 1.2 м достаточно для создания - повторно добавляют невозможный. Это - позор и, вероятно, от меня монтирующий набег, чтобы проверить, что это было все еще неповреждено ранее в процессе, иначе похоже, что мне на самом деле удалось обнулить суперблоки от отдаленных дисков при оставлении суперблоков и данных по разделам неповрежденными (я, очевидно, на самом деле не знаю, как суперблоки работают).
Ну, в этой точке нет никакого реального выбора кроме добавить эти два раздела назад в массив и позволить ему восстановить:
$ sudo mdadm --manage /dev/md0 --add /dev/sd[ef]1
mdadm: added /dev/sde1
mdadm: added /dev/sdf1
Отлично! Теперь давайте проверим прогресс:
$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid6 sdf1[7] sde1[6] sdg1[0] md1[5] sdh1[2]
5860145664 blocks super 1.2 level 6, 512k chunk, algorithm 2 [5/3] [UU__U]
[>....................] recovery = 0.0% (84312/1953381888) finish=1930.4min speed=16862K/sec
md1 : active raid0 sdd1[1] sda1[0]
1953522688 blocks super 1.2 512k chunks
День для создания не слишком плох, видя, поскольку потребовалось 7 дней для миграции от Raid5 до Raid6. Это будет страшными 24 часы, поскольку я молюсь, чтобы ничего не происходило с моим массивом во время восстановить процесса, но похоже, что он имеет успех.
Таким образом, мы учились:
- Raid6, как ожидалось, совершенно функционален, когда он теряет 2 раздела от 5
- Не смешивайте свои диски и разделы при использовании mdadm.