Linux

软 RAID 管理命令 mdadm 详解

2021年 7月 27日 /

mdadm 是 linux 下用于创建和管理软件 RAID 的命令，是一个模式化命令。但由于现在服务器一般都带有 RAID 阵列卡，并且 RAID 阵列卡也很廉价，且由于软件 RAID 的自身缺陷（不能用作启动分区、使用 CPU 实现，降低 CPU 利用率），因此在生产环境下并不适用。但为了学习和了解 RAID 原理和管理，因此仍然进行一个详细的讲解：

一、创建模式

选项：-C

专用选项：

-l 级别

-n 设备个数

-a {yes|no} 自动为其创建设备文件

-c 指定数据块大小（chunk）

-x 指定空闲盘（热备磁盘）个数，空闲盘（热备磁盘）能在工作盘损坏后自动顶替

注意：创建阵列时，阵列所需磁盘数为 - n 参数和 - x 参数的个数和

示例：

1、创建 raid0：

1.1 创建 raid

mdadm -C /dev/md0 -a yes -l 0 -n 2 /dev/sdb{1,2}

注意：用于创建 raid 的磁盘分区类型需为 fd

1.2 格式化：

mkfs.ext4 /dev/md0

注意：在格式化时，可以指定 - E 选项下的 stride 参数指定条带是块大小的多少倍，有在一定程度上提高软 RAID 性能，如块默认大小为 4k，而条带大小默认为 64k，则 stride 为 16，这样就避免了 RAID 每次存取数据时都去计算条带大小，如：

mkfs.ext4  -E stride=16 -b 4096 /dev/md0

其中 stride=chunk/block，为 2 的 n 次方

2、创建 raid1：

2.1 创建 raid

[root@localhost ~]# mdadm -C /dev/md1 -a yes -n 2 -l 1 /dev/sdb{5,6}

mdadm: Note: this array has metadata at the start and

may not be suitable as a boot device.  If you plan to

store '/boot' on this device please ensure that

your boot-loader understands md/v1.x metadata, or use

--metadata=0.90

Continue creating array? y

mdadm: Defaulting to version 1.2 metadata

mdadm: array /dev/md1 started.

注意：这个提示是说软 raid 不能用作启动分区。

2.2 格式化：

[root@localhost ~]# mkfs.ext4  /dev/md1

3、创建 raid5：

由于没有磁盘空间，我将原来做 raid1 的测试磁盘全部删除后重新建立四个分区用于 raid5 测试，分别为 sdb5-8

3.1 创建 raid5

[root@localhost ~]# mdadm -C /dev/md2 -a yes -l 5 -n 3 /dev/sdb{5,6,7}

mdadm: /dev/sdb5 appears to be part of a raid array:

level=raid1 devices=2 ctime=Sun Jul 14 09:14:25 2013

mdadm: /dev/sdb6 appears to be part of a raid array:

level=raid1 devices=2 ctime=Sun Jul 14 09:14:25 2013

mdadm: /dev/sdb7 appears to be part of a raid array:

level=raid1 devices=2 ctime=Sun Jul 14 09:14:25 2013

Continue creating array? y

mdadm: Defaulting to version 1.2 metadata

mdadm: array /dev/md2 started.

注意：由于我的分区刚才在 raid1 上使用过，因此有此提示。

3.2 格式化：

[root@localhost ~]# mkfs.ext4 /dev/md2

3.3 增加热备磁盘：

[root@localhost ~]# mdadm /dev/md2 -a /dev/sdb8

4、查看 md 状态：

4.1 查看 RAID 阵列的详细信息：

选项： -D = --detail

mdadm -D /dev/md#   查看指定 RAID 设备的详细信息

4.2 查看 raid 状态

[root@localhost ~]# cat /proc/mdstat

Personalities : [raid0] [raid1]

md0 : active raid0 sdb2[1] sdb1[0]

     4206592 blocks super 1.2 512k chunks

md1 : active raid1 sdb6[1] sdb5[0]

      2103447 blocks super 1.2 [2/2] [UU]

unused devices:

注意：在创建 raid 前，应该先查看磁盘是否被识别，如果内核还为识别，创建 Raid 时会报错：

cat /proc/partitions

如果没有被识别，可以执行命令：

kpartx /dev/sdb 或者 partprobe/dev/sdb

二、管理模式

选项：-a(--add)，-d(--del),-r(--remove),-f(--fail)

1、模拟损坏：

mdadm /dev/md1 -f /dev/sdb5

2、移除损坏的磁盘：

mdadm /dev/md1 -r /dev/sdb5

3、添加新的硬盘到已有阵列：

mdadm /dev/md1 -a /dev/sdb7

注意：

3.1、新增加的硬盘需要与原硬盘大小一致

3.2、如果原有阵列缺少工作磁盘（如 raid1 只有一块在工作，raid5 只有 2 块在工作），这时新增加的磁盘直接变为工作磁盘，如果原有阵列工作正常，则新增加的磁盘为热备磁盘。

4、停止阵列：

选项：-S = --stop

mdadm -S /dev/md1

三、监控模式

选项：-F

不常用，不做详细说明。

四、增长模式，用于增加磁盘，为阵列扩容：

选项：-G

示例，将上述 raid5 的热备磁盘增加到阵列工作磁盘中

[root@localhost ~]# mdadm -G /dev/md2  -n 4

注意：-n 4 表示使用四块工作磁盘

再次使用 - D 选项查看阵列详细信息如下：

[root@localhost ~]# mdadm -D /dev/md2

…… 此处略掉部分信息……

   Number   Major   Minor   RaidDevice State

           0       8       21        0      active sync   /dev/sdb5

           1       8       22        1      active sync   /dev/sdb6

             3       8       23        2      active sync   /dev/sdb7

           4       8       24        3      active sync   /dev/sdb8

五、装配模式，软 RAID 是基于系统的，当原系统损坏了，需要重新装配 RAID

选项：-A

示例：将上述已经停止的阵列重新装配：

mdadm -A /dev/md1 /dev/sdb5 /dev/sdb6

实现自动装配：

mdadm 运行时会自动检查 / etc/mdadm.conf  文件并尝试自动装配，因此第一次配置 raid 后可以将信息导入到 / etc/mdadm.conf  中，命令如下：

[root@localhost ~]# mdadm -Ds >/etc/mdadm.conf

调试
查看块设备上的raid信息
root@nas:~# mdadm --query --examine /dev/sdb
/dev/sdb:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x1
     Array UUID : ff6a2a19:d9e20d46:acf1892c:d0dbf9a3
           Name : nas:0  (local to host nas)
  Creation Time : Fri Feb 10 23:15:30 2023
     Raid Level : raid5
   Raid Devices : 7

 Avail Dev Size : 3906789552 (1862.90 GiB 2000.28 GB)
     Array Size : 11720294400 (11177.34 GiB 12001.58 GB)
  Used Dev Size : 3906764800 (1862.89 GiB 2000.26 GB)
    Data Offset : 239616 sectors
   Super Offset : 8 sectors
   Unused Space : before=239536 sectors, after=24752 sectors
          State : clean
    Device UUID : 3b1ec859:7a90f428:12660255:e504478e

Internal Bitmap : 8 sectors from superblock
    Update Time : Sun Oct  1 15:16:37 2023
  Bad Block Log : 512 entries available at offset 16 sectors
       Checksum : 88ff5d81 - correct
         Events : 53759

         Layout : left-symmetric
     Chunk Size : 4096K

   Device Role : Active device 0
   Array State : AAAAAAA ('A' == active, '.' == missing, 'R' == replacing)

留言