<div dir="ltr"><div><br clear="all"></div>Hello,<br><br><br><div>Recently a new gigabit network has been added our lustre servers and we want  to add this network to the lustre system.<br><br> In Lustre 2.4 there is a "lctl replace_nids" command that in theory  allows  to change the NIDs without running --writeconf. However I don't find any example to how I can use this command. Anybody have used it for this purpose? <br><br></div><div>For more info:<br><br></div><div>We added the new interface in lnet configuration (tcp0):<br>/etc/modprobe.d/lustre_interface.conf<br>options lnet networks=o2ib0(ib0),tcp0(eth2)<br><br></div><div>and we see both interfaces:<br> lnetctl net show<br>net:<br>    - net: lo<br>      nid: 0@lo<br>      status: up<br>    - net: o2ib<br>      nid: 192.168.2.252@o2ib<br>      status: up<br>      interfaces:<br>          0: ib0<br>    - net: tcp<br>      nid: 192.168.3.252@tcp<br>      status: up<br>      interfaces:<br>          0: eth2<br>          <br>[root@cmds ~]# lctl list_nids<br>192.168.2.252@o2ib<br>192.168.3.252@tcp<br><br></div><div>However new clients aren't able to connect lustre servers via the new interface.<br><br> LustreError: 15c-8: MGC192.168.3.252@tcp: The configuration from log 'LUSTRE-client' failed (-2). This may be the result of communication errors between this node and the MGS, a bad configuration, or other errors. See the syslog for more information.<br><br></div><div>Thanks!<br></div><div><br></div><div><br><br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><br>--------------------------------------------------------<br><pre>Patricia Santos Marco<br></pre><pre>HPC research group System Administrator</pre><pre>Instituto de Biocomputación y Física de Sistemas Complejos (BIFI)</pre><pre>Universidad de Zaragoza</pre><pre>e-mail: <a href="mailto:artginer@bifi.es" target="_blank">psantos@bifi.es</a></pre><pre>phone: <a href="tel:%28%2B34%29%20976762992" value="+34976762992" target="_blank">(+34) 976762992</a> <br><br><a href="http://bifi.es/~patricia/" target="_blank">http://bifi.es/~patricia/</a><br></pre><br><br><br></div></div></div></div></div></div></div></div>
</div></div>