<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
{mso-style-name:msonormal;
mso-margin-top-alt:auto;
margin-right:0in;
mso-margin-bottom-alt:auto;
margin-left:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
p.gmail-msolistparagraph, li.gmail-msolistparagraph, div.gmail-msolistparagraph
{mso-style-name:gmail-msolistparagraph;
mso-margin-top-alt:auto;
margin-right:0in;
mso-margin-bottom-alt:auto;
margin-left:0in;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle19
{mso-style-type:personal-reply;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
/* List Definitions */
@list l0
{mso-list-id:573004997;
mso-list-template-ids:1412202518;}
@list l0:level1
{mso-level-tab-stop:.5in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level2
{mso-level-tab-stop:1.0in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level3
{mso-level-tab-stop:1.5in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level4
{mso-level-tab-stop:2.0in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level5
{mso-level-tab-stop:2.5in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level6
{mso-level-tab-stop:3.0in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level7
{mso-level-tab-stop:3.5in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level8
{mso-level-tab-stop:4.0in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level9
{mso-level-tab-stop:4.5in;
mso-level-number-position:left;
text-indent:-.25in;}
@list l1
{mso-list-id:1056079622;
mso-list-template-ids:-1669299626;}
ol
{margin-bottom:0in;}
ul
{margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Hello Team,<o:p></o:p></p>
<p class="MsoNormal">Could you please help me out here. <o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">-Udai<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b>From:</b> lustre-discuss <lustre-discuss-bounces@lists.lustre.org>
<b>On Behalf Of </b>Udai Sharma<br>
<b>Sent:</b> Friday, August 23, 2019 4:40 PM<br>
<b>To:</b> lustre-discuss@lists.lustre.org<br>
<b>Subject:</b> [SPAMMY (6.924)][lustre-discuss] Lustre in HA-LVM Cluster issue<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">Hi Team,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Starting with topology and configurations:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">---------------------------<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Topology:<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">[HA1]< -----[N3]----- >[N4]<o:p></o:p></p>
<p class="MsoNormal"> | | |<o:p></o:p></p>
<p class="MsoNormal"> | | |<o:p></o:p></p>
<p class="MsoNormal"> -----[Client]----------<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">[N1,N2] = HA1 --> OSTs<o:p></o:p></p>
<p class="MsoNormal"> N3 --- > MGS<o:p></o:p></p>
<p class="MsoNormal"> N4 --- > MDT<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">N1 -> 3 Logical volumes [OST1,OST2,OST3]<o:p></o:p></p>
<p class="MsoNormal">N2 -> 3 Logical volumes [OST4,OST5,OST6]<o:p></o:p></p>
<p class="MsoNormal">N3 -> 1 Logical volume [MGT1]<o:p></o:p></p>
<p class="MsoNormal">N4 -> 1 Logical volume [MDT1]<o:p></o:p></p>
<p class="MsoNormal">------------------------------------------<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">N3 [MGS]<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Created Zpool, formatted and Mounted it. <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre /dev/mgs/mgs01<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --mgs --backfstype=zfs lustre/mgs01<o:p></o:p></p>
<p class="MsoNormal">mount.lustre lustre/mgs01 /mnt/mgs/<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">------------------------------------------<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">N4 [MDT]<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Created Zpool, formatted and Mounted it. <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre /dev/mdt/mdt01<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --mdt --fsname=lustre --index=0 <a href="mailto:--mgsnode=10.2.2.202@tcp1">
--mgsnode=10.2.2.202@tcp1</a> --backfstype=zfs lustre/mdt01<o:p></o:p></p>
<p class="MsoNormal">mount.lustre lustre/mdt01 /mnt/mdt<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">---------------------------------------- <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">HA1 [HA-LVM system] <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><u>N1 [OST1,OST2,OST3]</u><o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Created Zpool, formatted and Mounted it. <o:p></o:p></p>
<p class="MsoNormal">zpool create lustre -f -O canmount=off -o multihost=on -o cachefile=none /dev/vg_e/thinvolume1 /dev/vg_e/thinvolume2 /dev/vg_e/thinvolume3<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=111
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost01 ; mount.lustre lustre/ost01 /mnt/ost01/
<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=222
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost02 ; mount.lustre lustre/ost02 /mnt/ost02/<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=333
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost03 ; mount.lustre lustre/ost03 /mnt/ost03/<o:p></o:p></p>
<p class="MsoNormal">df -h | grep lustre<o:p></o:p></p>
<p class="MsoNormal">lustre/ost01 287G 3.0M 287G 1% /mnt/ost01<o:p></o:p></p>
<p class="MsoNormal">lustre/ost02 287G 3.0M 287G 1% /mnt/ost02<o:p></o:p></p>
<p class="MsoNormal">lustre/ost03 287G 3.0M 287G 1% /mnt/ost03<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><u>N2 [OST4,OST5,OST6]</u><o:p></o:p></p>
<p class="MsoNormal"><u> </u><o:p></o:p></p>
<p class="MsoNormal">Created Zpool, formatted and Mounted it. <o:p></o:p></p>
<p class="MsoNormal">zpool create -f -O canmount=off -o multihost=on -o cachefile=none lustre /dev/vg_p/thinvolume1 /dev/vg_p/thinvolume2 /dev/vg_p/thinvolume3
<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=444
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost04 ; mount.lustre lustre/ost04 /mnt/ost04
<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=555
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost05 ; mount.lustre lustre/ost05 /mnt/ost05<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --reformat --ost --backfstype=zfs --fsname=lustre --index=666
<a href="mailto:--mgsnode=10.2.2.202@tcp1">--mgsnode=10.2.2.202@tcp1</a> <a href="mailto:--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1">
--servicenode=10.2.2.239@tcp1:10.2.2.241@tcp1</a> lustre/ost06 ; mount.lustre lustre/ost06 /mnt/ost06<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">df -h | grep lustre<o:p></o:p></p>
<p class="MsoNormal">lustre/ost04 287G 3.0M 287G 1% /mnt/ost04<o:p></o:p></p>
<p class="MsoNormal">lustre/ost05 287G 3.0M 287G 1% /mnt/ost05<o:p></o:p></p>
<p class="MsoNormal">lustre/ost06 287G 3.0M 287G 1% /mnt/ost06<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><u>Created PCS cluster over HA1. </u><o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Resource Group: electron<o:p></o:p></p>
<p class="MsoNormal"> vg_e (ocf::heartbeat:LVM): Started gp-electron<o:p></o:p></p>
<p class="MsoNormal"> zfs-pool-electron (ocf::heartbeat:ZFS): Started electron<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost1 (ocf::heartbeat:Lustre): Started electron<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost2 (ocf::heartbeat:Lustre): Started electron<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost3 (ocf::heartbeat:Lustre): Started electron<o:p></o:p></p>
<p class="MsoNormal"> Resource Group: proton<o:p></o:p></p>
<p class="MsoNormal"> vg_p (ocf::heartbeat:LVM): Started gp-proton<o:p></o:p></p>
<p class="MsoNormal"> zfs-pool-proton (ocf::heartbeat:ZFS): Started proton<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost4 (ocf::heartbeat:Lustre): Started proton<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost5 (ocf::heartbeat:Lustre): Started proton<o:p></o:p></p>
<p class="MsoNormal"> lustre-ost6 (ocf::heartbeat:Lustre): Started proton<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">---------------------------------------- <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Client: <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"># mount | grep lustre<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:10.2.2.202@tcp1:/lustre">10.2.2.202@tcp1:/lustre</a> on /lustre type lustre (rw,lazystatfs)<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">#lfs osts<o:p></o:p></p>
<p class="MsoNormal">OBDS:<o:p></o:p></p>
<p class="MsoNormal">1: lustre-OST0001_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">2: lustre-OST0002_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">3: lustre-OST0003_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">4: lustre-OST0004_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">5: lustre-OST0005_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">6: lustre-OST0006_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">10: lustre-OST000a_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">11: lustre-OST000b_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">20: lustre-OST0014_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">22: lustre-OST0016_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">30: lustre-OST001e_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">33: lustre-OST0021_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">40: lustre-OST0028_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">44: lustre-OST002c_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">50: lustre-OST0032_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">55: lustre-OST0037_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">60: lustre-OST003c_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">66: lustre-OST0042_UUID INACTIVE<o:p></o:p></p>
<p class="MsoNormal">111: lustre-OST006f_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal">222: lustre-OST00de_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal">333: lustre-OST014d_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal">444: lustre-OST01bc_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal">555: lustre-OST022b_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal">666: lustre-OST029a_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"># lfs mdts<o:p></o:p></p>
<p class="MsoNormal">MDTS:<o:p></o:p></p>
<p class="MsoNormal">0: lustre-MDT0000_UUID ACTIVE<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">OSTs are part of active-passive HA-LVM cluster. As per configuration, in case of resource failure, RA moves the resource to other node. It’s working fine.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Issues seen:<o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="gmail-msolistparagraph" style="margin-top:0in;margin-bottom:0in;margin-bottom:.0001pt;mso-list:l0 level1 lfo3">
OST00* are going to INACTIVE state if the corresponding disk in unmounted from the OST server, it never becomes active even-though if it mounted again. Had to format every time with –index to get the volumes listed again. Hence, so many inactive nodes in the
‘lctl dl’ output.<o:p></o:p></li><li class="gmail-msolistparagraph" style="margin-top:0in;margin-bottom:0in;margin-bottom:.0001pt;mso-list:l0 level1 lfo3">
Recovery_status at N4[MDT] is always inactive. How to enable recovery, in case of failure.<o:p></o:p></li><li class="gmail-msolistparagraph" style="margin-top:0in;margin-bottom:0in;margin-bottom:.0001pt;mso-list:l0 level1 lfo3">
How to re-activate the INACTIVE objects at OSTs?<o:p></o:p></li><li class="gmail-msolistparagraph" style="margin-top:0in;margin-bottom:0in;margin-bottom:.0001pt;mso-list:l0 level1 lfo3">
In case of failover of HA resource services gets moved to other peer, but IOs, iozone or dd, never resumes.
<o:p></o:p></li></ol>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Please advise.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">PS: lctl 2.12.2<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Thanks in advance.<o:p></o:p></p>
<p class="MsoNormal">Udai<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
</div>
</body>
</html>