<div dir="ltr"><div>Ricardo,</div><div><br></div><div>Your --mgsnode specification with all commas implies that you have four NIDs on a single host. But the rest of your writeup indicates two hosts.</div><div><br></div><div>From the Lustre manual, "13.12.  Specifying NIDs and Failover":</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Where multiple NIDs are specified separated by commas (for example, 10.67.73.200@tcp,192.168.10.1@tcp), the two NIDs refer to the same host, and the Lustre software chooses the best one for communication. When a pair of NIDs is separated by a colon (for example, 10.67.73.200@tcp:10.67.73.201@tcp), the two NIDs refer to two different hosts and are treated as a failover pair (the Lustre software tries the first one, and if that fails, it tries the second one.)</blockquote><div><br></div><div>Hope this helps,</div><div>Nathan</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Dec 4, 2021 at 5:27 AM Thomas Roth <<a href="mailto:t.roth@gsi.de">t.roth@gsi.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Dear Ricardo,<br>
<br>
perhaps the syntax of the --mgsnode specification?<br>
<br>
Which Lustre version are you running? There might have been changes in the way mgsnodes are specified.<br>
<br>
And the four NIDs you mentioned, are these all failover partners? Or DNS nodes?<br>
<br>
Example from our site:<br>
We have three MDS, each a pair of active server and failover partner.<br>
The format command for the first (MGS+MDT0) read (under Lustre 2.10.6):<br>
 > ... --servicenode=10.20.3.0@o2ib5 --servicenode=10.20.3.1@o2ib5 --mgsnode=10.20.3.0@o2ib5 --mgsnode=10.20.3.1@o2ib5 ...<br>
No comma, no colon.<br>
The format command for the second (MDT1) read:<br>
 > ...  --servicenode=10.20.2.236@o2ib5 --servicenode=10.20.2.237@o2ib5 --mgsnode=10.20.3.0@o2ib5 --mgsnode=10.20.3.1@o2ib5 ...<br>
Obviously the servicenodes are the IPs of MDT1 and its failover partner, the mgsnodes are again the IPs of MGS and its partner.<br>
<br>
<br>
Regards,<br>
Thomas<br>
<br>
On 11/30/21 19:05, Ricardo Brugman wrote:<br>
> Hi all,<br>
> <br>
> I’ve seen many questions/issues came by and I decided to post the issue that I encountered.<br>
> <br>
> Recently I tried updating the mgsnode IP address on a lustre node and although the command executed successfully, the old IP value remained.<br>
> <br>
> Old value: 10.10.10.2 (points to a server that is not a mgsnode)<br>
> New value: 10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib<br>
> <br>
> Please find the command and output below:<br>
> <br>
> [root@xxx ~]# tunefs.lustre --erase-param mgsnode --writeconf --mgsnode=10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib zfs_R10_nvme0-4/dne_mdt1<br>
> checking for existing Lustre data: found<br>
> <br>
>     Read previous values:<br>
> Target:     neohpfs-MDT0001<br>
> Index:      1<br>
> Lustre FS:  neohpfs<br>
> Mount type: zfs<br>
> Flags:      0x1<br>
>                (MDT )<br>
> Persistent mount opts:<br>
> Parameters: mgsnode=10.10.10.2@o2ib<br>
> <br>
>     Permanent disk data:<br>
> Target:     neohpfs=MDT0001<br>
> Index:      1<br>
> Lustre FS:  neohpfs<br>
> Mount type: zfs<br>
> Flags:      0x141<br>
>                (MDT update writeconf )<br>
> Persistent mount opts:<br>
> Parameters:  mgsnode=:10.10.10.201@o2ib,10.10.10.202@o2ib,10.10.10.203@o2ib,10.10.10.204@o2ib<br>
> [root@xxx ~]#<br>
> <br>
> I did restart the lustre service thinking this would perhaps load the new value/config and although the service came up successfully, it still had not loaded the new value.<br>
> <br>
> Appreciate any help, suggestions you can provide as to why the new value was not saved/loaded. In case I made a mistake, or I followed the incorrect step(s)/process than please, feel free to point that out.<br>
> <br>
> Best Regards,<br>
> Ricardo<br>
> <br>
> <br>
> _______________________________________________<br>
> lustre-discuss mailing list<br>
> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
> <a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
> <br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div></div>