mdadm отсутствует UUID, неправильный Magic и один массив RAID делится на два после перезагрузки
Сейчас я много борюсь и не понимаю, как исправить эту проблему mdadm RAID10, которая возникла после обновления программного обеспечения и перезагрузки. У меня есть очень важные данные на дисках, к которым я надеюсь снова получить доступ.
Кажется, это очень похоже на эту проблему -
И это, где не было никакого решения: https://askubuntu.com/questions/69086/mdadm-superblock-recoveryhttps://superuser.com/questions/1704230/how-to-fix-a-disk-that-apparently-was-part-of-a-mdadm-raid0-array
Недавно я удалил RAID10 с 4 дисками и создал новый RAID10 с 14 дисками.
Я использовал на всех 14 дисках:
wipefs --all --force /dev/sd*
Я то думал, что с дисков все сняли. Также суперблоки. И расстались с (пример для /dev/sda):
/dev/sda
sudo parted /dev/sda
(parted) mklabel gpt
(parted)print
(parted)mkpart primary ext4 0% 100%
(parted)print
(parted)quit
RAID10 был собран следующим образом:
sudo mdadm --create --verbose /dev/md2 --level=10 --raid-devices=14 /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl /dev/sdm /dev/sdn
Более подробная информация о том, как удалить RAID и построить новый, может быть подробно описана подробнее, если это является основной причиной этого.
У меня был один перезапуск сервера после его создания, и все выглядело нормально, поэтому я добавил данные за несколько недель.
Итак, это то, что я имел перед перезагрузкой и ожидал, что это будет:
cat /etc/mdadm/mdadm.conf
ARRAY /dev/md126 metadata=1.2 name=bmrigg004:0 UUID=3d65623c:363c74e6:a374ba4d:cd202bb4
ARRAY /dev/md2 metadata=1.2 name=bmrigg004:2 UUID=71af6b4d:8bc96f39:cf50fe95:12ead917
Вот что у меня было после перезагрузки
sudo mdadm --detail --scan
ARRAY /dev/md126 metadata=1.2 name=bmrigg004:0 UUID=3d65623c:363c74e6:a374ba4d:cd202bb4
INACTIVE-ARRAY /dev/md2 metadata=1.2 name=bmrigg004:2 UUID=71af6b4d:8bc96f39:cf50fe95:12ead917
INACTIVE-ARRAY /dev/md127 metadata=1.2 name=bmrigg004:1 UUID=d70c4b67:2ef8207c:d38366a7:b229e1dc
Я не ожидаю, что у меня будет md127, и я боюсь, что это старый RAID10, который, как я думал, я удалил правильно, и теперь он все портит?
Все мои диски видны так:
lsblk
sda 8:0 1 10,9T 0 disk
└─sda1 8:1 1 10,9T 0 part
sdb 8:16 1 10,9T 0 disk
└─sdb1 8:17 1 10,9T 0 part
sdc 8:32 1 10,9T 0 disk
└─sdc1 8:33 1 10,9T 0 part
sdd 8:48 1 10,9T 0 disk
└─sdd1 8:49 1 10,9T 0 part
sde 8:64 1 10,9T 0 disk
└─sde1 8:65 1 10,9T 0 part
sdf 8:80 1 10,9T 0 disk
└─sdf1 8:81 1 10,9T 0 part
sdg 8:96 0 10,9T 0 disk
└─sdg1 8:97 0 10,9T 0 part
sdh 8:112 0 10,9T 0 disk
└─sdh1 8:113 0 10,9T 0 part
sdi 8:128 0 10,9T 0 disk
└─sdi1 8:129 0 10,9T 0 part
sdj 8:144 0 10,9T 0 disk
└─sdj1 8:145 0 10,9T 0 part
sdk 8:160 0 10,9T 0 disk
└─sdk1 8:161 0 10,9T 0 part
sdl 8:176 0 10,9T 0 disk
sdm 8:192 0 10,9T 0 disk
└─sdm1 8:193 0 10,9T 0 part
sdn 8:208 0 10,9T 0 disk
Весь мой UUID потерян:
lsblk -fs
NAME FSTYPE LABEL UUID FSAVAIL FSUSE% MOUNTPOINT
sda1
└─sda
sdb1
└─sdb
sdc1
└─sdc
sdd1
└─sdd
sde1
└─sde
sdf1
└─sdf
sdg1
└─sdg
sdi1
└─sdi
sdj1
└─sdj
sdk1
└─sdk
sdm1
└─sdm
Я запустил это и подумал, что это связано с неправильным магическим числом: (только часть, небольшая часть вывода прикреплена, чтобы не быть СПАМОМ)
sudo mdadm --assemble --scan -v
mdadm: looking for devices for /dev/md2
mdadm: No super block found on /dev/loop17 (Expected magic a92b4efc, got 3a23b8f9)
mdadm: no RAID superblock on /dev/loop17
mdadm: /dev/sdn is busy - skipping
mdadm: No super block found on /dev/sdm1 (Expected magic a92b4efc, got 000014b9)
mdadm: no RAID superblock on /dev/sdm1
mdadm: No super block found on /dev/sdm (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdm
mdadm: No super block found on /dev/sdg1 (Expected magic a92b4efc, got 0fc02366)
mdadm: no RAID superblock on /dev/sdg1
mdadm: No super block found on /dev/sdg (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdg
mdadm: /dev/sdl is busy - skipping
mdadm: No super block found on /dev/sdj1 (Expected magic a92b4efc, got 0fc02366)
mdadm: no RAID superblock on /dev/sdj1
mdadm: No super block found on /dev/sdj (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdj
mdadm: No super block found on /dev/sdk1 (Expected magic a92b4efc, got 0fc02366)
mdadm: no RAID superblock on /dev/sdk1
mdadm: No super block found on /dev/sdk (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdk
mdadm: /dev/sdh1 has wrong uuid.
mdadm: No super block found on /dev/sdh (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdh
mdadm: No super block found on /dev/sdi1 (Expected magic a92b4efc, got 0fc02366)
mdadm: no RAID superblock on /dev/sdi1
mdadm: No super block found on /dev/sdi (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdi
mdadm: No super block found on /dev/sdf1 (Expected magic a92b4efc, got 000014b9)
mdadm: no RAID superblock on /dev/sdf1
mdadm: No super block found on /dev/sdf (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdf
mdadm: No super block found on /dev/sdd1 (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdd1
mdadm: No super block found on /dev/sdd (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdd
mdadm: No super block found on /dev/sde1 (Expected magic a92b4efc, got 000014b9)
mdadm: no RAID superblock on /dev/sde1
mdadm: No super block found on /dev/sde (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sde
mdadm: No super block found on /dev/sdc1 (Expected magic a92b4efc, got 000014b9)
mdadm: no RAID superblock on /dev/sdc1
mdadm: No super block found on /dev/sdc (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdc
mdadm: No super block found on /dev/sdb1 (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdb1
mdadm: No super block found on /dev/sdb (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sdb
mdadm: No super block found on /dev/sda1 (Expected magic a92b4efc, got 0fc02366)
mdadm: no RAID superblock on /dev/sda1
mdadm: No super block found on /dev/sda (Expected magic a92b4efc, got 00000000)
mdadm: no RAID superblock on /dev/sda
mdadm: /dev/loop0 is too small for md: size is 8 sectors.
mdadm: no RAID superblock on /dev/loop0
Итак, если я посмотрю на массивы RAID и попытаюсь остановить md127
cat /proc/mdstat
Personalities : [raid0] [linear] [multipath] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid0 nvme0n1p1[0] nvme5n1p1[3] nvme4n1p1[2] nvme1n1p1[1]
7813525504 blocks super 1.2 512k chunks
md127 : inactive sdh1[2](S)
11718751232 blocks super 1.2
md2 : inactive sdn[13](S) sdl[12](S)
23437506560 blocks super 1.2
unused devices: <none>
sudo mdadm --stop /dev/md127
mdadm: stopped /dev/md127
cat /proc/mdstat
Personalities : [raid0] [linear] [multipath] [raid1] [raid6] [raid5] [raid4] [raid10]
md126 : active raid0 nvme0n1p1[0] nvme5n1p1[3] nvme4n1p1[2] nvme1n1p1[1]
7813525504 blocks super 1.2 512k chunks
md2 : inactive sdn[13](S) sdl[12](S)
23437506560 blocks super 1.2
unused devices: <none>
Затем я попытался собрать, как было предложено в другом билете.
sudo mdadm --assemble --verbose --update summaries /dev/md2 /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj /dev/sdk /dev/sdl /dev/sdm /dev/sdn
mdadm: looking for devices for /dev/md2
mdadm: Cannot assemble mbr metadata on /dev/sda
mdadm: /dev/sda has no superblock - assembly aborted
Так что все выглядит как /dev/sda
sudo mdadm -E /dev/sda
/dev/sda:
MBR Magic : aa55
Partition[0] : 4294967295 sectors at 1 (type ee)
кроме /dev/sdl и /dev/sdn
sudo mdadm -E /dev/sdl
/dev/sdl:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x1
Array UUID : 71af6b4d:8bc96f39:cf50fe95:12ead917
Name : bmrigg004:2 (local to host bmrigg004)
Creation Time : Wed May 18 23:51:23 2022
Raid Level : raid10
Raid Devices : 14
Avail Dev Size : 23437506560 (11175.87 GiB 12000.00 GB)
Array Size : 82031272960 (78231.12 GiB 84000.02 GB)
Data Offset : 264192 sectors
Super Offset : 8 sectors
Unused Space : before=264008 sectors, after=0 sectors
State : clean
Device UUID : aff464fb:9b071e5a:33b76d0e:07751c8c
Internal Bitmap : 8 sectors from superblock
Update Time : Sat Jun 4 06:24:18 2022
Bad Block Log : 512 entries available at offset 168 sectors
Checksum : 1717a18a - correct
Events : 73673
Layout : near=2
Chunk Size : 512K
Device Role : Active device 12
Array State : AAAAAAAAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
Fdisk в /dev/sda:
sudo fdisk -l /dev/sda
Disk /dev/sda: 10,94 TiB, 12000138625024 bytes, 23437770752 sectors
Disk model: WDC WD120EDBZ-11
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: gpt
Disk identifier: 517B717D-91AC-4699-B4FD-AFA62A282AE8
Device Start End Sectors Size Type
/dev/sda1 2048 23437768703 23437766656 10,9T Linux filesystem
Я попытался вручную добавить UUID из dev/md2.
sudo tune2fs /dev/sda -U 71af6b4d-8bc9-6f39-cf50-fe9512ead917
tune2fs 1.45.5 (07-Jan-2020)
tune2fs: Bad magic number in super-block while trying to open /dev/sda
Found a gpt partition table in /dev/sda
Я не был уверен, что это может быть что-то на уровне ОС, поэтому я вынул диск ОС и вставил новый. Затем я снова установил Ubuntu на этот чистый диск. Потом ничего не делая:
sudo apt-get install mdadm
sudo mdadm --assemble --scan -y
И я более или менее вернулся к тому же этапу, значит, все это должно быть в суперблоке?
Поэтому я понятия не имею, как это исправить и получить данные. Пожалуйста, дайте мне знать, если кто-то понимает и может помочь мне исправить этот беспорядок.