<div dir="ltr"><br>Hello Team,<br>I am facing multiple issues when I configure Lustre in clustered environment with multiple OST in HA-LVM and one MGS and MDT server each.<br><br>Issues:<br>1. OST00* are going to INACTIVE state if the corresponding disk in unmounted from the OST server, <br>        it never becomes active even-though if it mounted again. Had to format every time with different --index to <br>  get the volumes listed again. Hence, so many inactive nodes in the ‘lctl dl’ output.<br>2. Recovery status is always inactive. <br>3. Re-activation the INACTIVE OSTs at runtime?<br><br>************************************************<br>Below are topology, Logs and other details:<br>------------------------------------------------<br> <br>      [HA1]< -------- [N3]-------- >[N4]<br>      |                |              |<br>      |                |              |<br>      -------------[Client]------------<br><br> <br><br>[N1,N2] = HA1  --> OSTs<br> N3 --- > MGS<br> N4 --- > MDT<br><br>N1 -> 3 Logical volumes [OST1,OST2,OST3]<br>N2 -> 3 Logical volumes [OST4,OST5,OST6]<br>N3 -> 1 Logical volume  [MGT1]<br>N4 -> 1 Logical volume  [MDT1]<br><br>------------------------------------------<br>N3 [MGS]<br><br>Created Zpool, formatted and Mounted it.<br><br>zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre  /dev/mgs/mgs01<br>mkfs.lustre --reformat --mgs --backfstype=zfs lustre/mgs01<br>mount.lustre lustre/mgs01 /mnt/mgs/<br><br>------------------------------------------<br> <br>N4 [MDT]<br> <br>Created Zpool, formatted and Mounted it.<br>zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre /dev/mdt/mdt01<br>mkfs.lustre  --reformat --mdt --fsname=lustre --index=0 --mgsnode=10.2.2.202@tcp1 --backfstype=zfs lustre/mdt01<br>mount.lustre lustre/mdt01 /mnt/mdt<br><br>----------------------------------------<br> <br><br>HA1 [HA-LVM system]<br>N1 [OST1,OST2,OST3]<br><br>Created Zpool, formatted and Mounted it.<br>zpool create lustre -f -O canmount=off -o multihost=on -o cachefile=none /dev/vg_e/thinvolume1 /dev/vg_e/thinvolume2 /dev/vg_e/thinvolume3<br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=111 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost01  ; mount.lustre lustre/ost01 /mnt/ost01/                                               <br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=222 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost02  ; mount.lustre lustre/ost02 /mnt/ost02/<br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=333 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost03  ; mount.lustre lustre/ost03 /mnt/ost03/<br>df -h | grep lustre<br>lustre/ost01    287G  3.0M  287G   1% /mnt/ost01<br>lustre/ost02    287G  3.0M  287G   1% /mnt/ost02<br>lustre/ost03    287G  3.0M  287G   1% /mnt/ost03<br><br>N2 [OST4,OST5,OST6]<br><br>Created Zpool, formatted and Mounted it.<br>zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre  /dev/vg_p/thinvolume1 /dev/vg_p/thinvolume2 /dev/vg_p/thinvolume3<br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=444 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost04 ; mount.lustre lustre/ost04 /mnt/ost04                                                                                               <br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=555 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost05 ; mount.lustre lustre/ost05 /mnt/ost05<br>mkfs.lustre  --reformat --ost --backfstype=zfs --fsname=lustre --index=666 --mgsnode=10.2.2.202@tcp1 --servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1 lustre/ost06 ; mount.lustre lustre/ost06 /mnt/ost06<br>df -h | grep lustre<br>lustre/ost04    287G  3.0M  287G   1% /mnt/ost04<br>lustre/ost05    287G  3.0M  287G   1% /mnt/ost05<br>lustre/ost06    287G  3.0M  287G   1% /mnt/ost06<br><br> <br>Created PCS cluster over HA1.<br>Resource Group: electron<br>     vg_e       (ocf::heartbeat:LVM):   Started gp-electron<br>     zfs-pool-electron  (ocf::heartbeat:ZFS):   Started electron<br>     lustre-ost1        (ocf::heartbeat:Lustre):        Started electron<br>     lustre-ost2        (ocf::heartbeat:Lustre):        Started electron<br>     lustre-ost3        (ocf::heartbeat:Lustre):        Started electron<br><br> Resource Group: proton<br>     vg_p       (ocf::heartbeat:LVM):   Started gp-proton<br>     zfs-pool-proton    (ocf::heartbeat:ZFS):   Started proton<br>     lustre-ost4        (ocf::heartbeat:Lustre):        Started proton<br>     lustre-ost5        (ocf::heartbeat:Lustre):        Started proton<br>     lustre-ost6        (ocf::heartbeat:Lustre):        Started proton<br><br>----------------------------------------<br><br>Client:<br># mount | grep lustre<br>10.2.2.202@tcp1:/lustre on /lustre type lustre (rw,lazystatfs)<br><br><br>#lfs osts<br>OBDS:<br>1: lustre-OST0001_UUID INACTIVE<br>2: lustre-OST0002_UUID INACTIVE<br>3: lustre-OST0003_UUID INACTIVE<br>4: lustre-OST0004_UUID INACTIVE<br>5: lustre-OST0005_UUID INACTIVE<br>6: lustre-OST0006_UUID INACTIVE<br>10: lustre-OST000a_UUID INACTIVE<br>11: lustre-OST000b_UUID INACTIVE<br>20: lustre-OST0014_UUID INACTIVE<br>22: lustre-OST0016_UUID INACTIVE<br>30: lustre-OST001e_UUID INACTIVE<br>33: lustre-OST0021_UUID INACTIVE<br>40: lustre-OST0028_UUID INACTIVE<br>44: lustre-OST002c_UUID INACTIVE<br>50: lustre-OST0032_UUID INACTIVE<br>55: lustre-OST0037_UUID INACTIVE<br>60: lustre-OST003c_UUID INACTIVE<br>66: lustre-OST0042_UUID INACTIVE<br>111: lustre-OST006f_UUID ACTIVE<br>222: lustre-OST00de_UUID ACTIVE<br>333: lustre-OST014d_UUID ACTIVE<br>444: lustre-OST01bc_UUID ACTIVE<br>555: lustre-OST022b_UUID ACTIVE<br>666: lustre-OST029a_UUID ACTIVE<br><br><br># lfs mdts<br>MDTS:<br>0: lustre-MDT0000_UUID ACTIVE<br><br>------------------------------------------------------<br><br>Old case: <br>Lustre in HA-LVM Cluster issue<br><a href="http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/2019-August/016650.html">http://lists.lustre.org/pipermail/lustre-discuss-lustre.org/2019-August/016650.html</a> <br><br>****************************************************** <br>Regards,<br>-Udai Sharma<br><br><br></div>