<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:Helvetica;
        panose-1:0 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:10.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">Thank you Thomas and Nathan for your responses.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Some more information regarding the setup:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Lustre version: 2.12.0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Two Lustre nodes each consisting of four InfiniBand interfaces (NIDs) and there’s only one mgs, which is running on the first Lustre node.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">The four NIDs relate back to the four IPs listed in the previously shared mgsnode syntax (i.e. .201, .202, etc.) of the first Lustre node so although it’s not a separate failover partner it is at least a separate
 IB interface.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">There is no failover in regard to the MGS.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">@Thomas, I did not come across the --servicenode syntax in the information that I found, but I’ll look into this and use it for the new virtualized Lustre environment I’m building.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Thanks again for your help and insights,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Ricardo<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="font-size:12.0pt;color:black">From:
</span></b><span style="font-size:12.0pt;color:black">lustre-discuss <lustre-discuss-bounces@lists.lustre.org> on behalf of Nathan Dauchy - NOAA Affiliate via lustre-discuss <lustre-discuss@lists.lustre.org><br>
<b>Date: </b>Monday, December 6, 2021 at 7:25 AM<br>
<b>To: </b>lustre-discuss <lustre-discuss@lists.lustre.org><br>
<b>Subject: </b>Re: [lustre-discuss] Updating mgsnode IP command completes successfully, but old IP remains<o:p></o:p></span></p>
</div>
<div>
<div>
<div>
<div style="border:solid #9C6500 1.0pt;padding:2.0pt 2.0pt 2.0pt 2.0pt">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto;line-height:12.0pt;background:#FFEB9C">
<b><span style="font-family:Helvetica;color:#9C6500">CAUTION:</span></b><span style="font-family:Helvetica;color:black"> External Sender.</span><b><span style="font-size:9.0pt;font-family:Helvetica;color:black"><o:p></o:p></span></b></p>
</div>
<p class="MsoNormal"><span style="font-size:9.0pt;font-family:Helvetica;color:black"><o:p> </o:p></span></p>
<div class="MsoNormal" align="center" style="text-align:center"><span style="font-size:11.0pt">
<hr size="0" width="100%" align="center">
</span></div>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt">Ricardo,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Your --mgsnode specification with all commas implies that you have four NIDs on a single host. But the rest of your writeup indicates two hosts.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">From the Lustre manual, "13.12.  Specifying NIDs and Failover":<o:p></o:p></span></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal"><span style="font-size:11.0pt">Where multiple NIDs are specified separated by commas (for example, 10.67.73.200@tcp,192.168.10.1@tcp), the two NIDs refer to the same host, and the Lustre software chooses the best one for communication.
 When a pair of NIDs is separated by a colon (for example, 10.67.73.200@tcp:10.67.73.201@tcp), the two NIDs refer to two different hosts and are treated as a failover pair (the Lustre software tries the first one, and if that fails, it tries the second one.)<o:p></o:p></span></p>
</blockquote>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Hope this helps,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Nathan<o:p></o:p></span></p>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">On Sat, Dec 4, 2021 at 5:27 AM Thomas Roth <<a href="mailto:t.roth@gsi.de">t.roth@gsi.de</a>> wrote:<o:p></o:p></span></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal"><span style="font-size:11.0pt">Dear Ricardo,<br>
<br>
perhaps the syntax of the --mgsnode specification?<br>
<br>
Which Lustre version are you running? There might have been changes in the way mgsnodes are specified.<br>
<br>
And the four NIDs you mentioned, are these all failover partners? Or DNS nodes?<br>
<br>
Example from our site:<br>
We have three MDS, each a pair of active server and failover partner.<br>
The format command for the first (MGS+MDT0) read (under Lustre 2.10.6):<br>
 > ... --servicenode=10.20.3.0@o2ib5 --servicenode=10.20.3.1@o2ib5 --mgsnode=10.20.3.0@o2ib5 --mgsnode=10.20.3.1@o2ib5 ...<br>
No comma, no colon.<br>
The format command for the second (MDT1) read:<br>
 > ...  --servicenode=10.20.2.236@o2ib5 --servicenode=10.20.2.237@o2ib5 --mgsnode=10.20.3.0@o2ib5 --mgsnode=10.20.3.1@o2ib5 ...<br>
Obviously the servicenodes are the IPs of MDT1 and its failover partner, the mgsnodes are again the IPs of MGS and its partner.<br>
<br>
<br>
Regards,<br>
Thomas<br>
<br>
On 11/30/21 19:05, Ricardo Brugman wrote:<br>
> Hi all,<br>
> <br>
> I’ve seen many questions/issues came by and I decided to post the issue that I encountered.<br>
> <br>
> Recently I tried updating the mgsnode IP address on a lustre node and although the command executed successfully, the old IP value remained.<br>
> <br>
> Old value: 10.10.10.2 (points to a server that is not a mgsnode)<br>
> New value: 10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib<br>
> <br>
> Please find the command and output below:<br>
> <br>
> [root@xxx ~]# tunefs.lustre --erase-param mgsnode --writeconf --mgsnode=10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib zfs_R10_nvme0-4/dne_mdt1<br>
> checking for existing Lustre data: found<br>
> <br>
>     Read previous values:<br>
> Target:     neohpfs-MDT0001<br>
> Index:      1<br>
> Lustre FS:  neohpfs<br>
> Mount type: zfs<br>
> Flags:      0x1<br>
>                (MDT )<br>
> Persistent mount opts:<br>
> Parameters: mgsnode=10.10.10.2@o2ib<br>
> <br>
>     Permanent disk data:<br>
> Target:     neohpfs=MDT0001<br>
> Index:      1<br>
> Lustre FS:  neohpfs<br>
> Mount type: zfs<br>
> Flags:      0x141<br>
>                (MDT update writeconf )<br>
> Persistent mount opts:<br>
> Parameters:  mgsnode=:10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib<br>
> [root@xxx ~]#<br>
> <br>
> I did restart the lustre service thinking this would perhaps load the new value/config and although the service came up successfully, it still had not loaded the new value.<br>
> <br>
> Appreciate any help, suggestions you can provide as to why the new value was not saved/loaded. In case I made a mistake, or I followed the incorrect step(s)/process than please, feel free to point that out.<br>
> <br>
> Best Regards,<br>
> Ricardo<br>
> <br>
> <br>
> _______________________________________________<br>
> lustre-discuss mailing list<br>
> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
> <a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">
http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
> <br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><o:p></o:p></span></p>
</blockquote>
</div>
</div>
</div>
</body>
</html>