<div dir="ltr"><span style="font-size:12.8px">My environment has both TCP and IB clients, so my Lustre config has to accommodate both, but I'm having a hard time figuring out the proper syntax for it. Theoretically, I should be able to use comma-separated interfaces in the mgsnode parameter like this:</span><div style="font-size:12.8px"><pre style="white-space:pre-wrap;padding:5px;color:rgb(0,0,0)"><font face="monospace, monospace" style="background-color:rgb(204,204,204)">--mgsnode=192.168.10.1@tcp0,172.16.10.1@o2ib --mgsnode=192.168.10.2@tcp0,172.16.10.2@o2ib</font></pre></div><div style="font-size:12.8px">The problem is, this doesn't work for all clients all the time ... randomly. It would work, then it wouldn't. Googling, I found some known defects saying that the comma delimiter didn't work as per the manual and recommending alternate syntaxes like using the colon instead of a comma. I know what the manuals <i>say</i>about the syntax, I'm just having trouble getting it to work.</div><div style="font-size:12.8px"><div><br></div><div>This seems to affect only the TCP clients; at least I haven't seen it affect any of the IB clients. It may be a comma parsing problem or something else.</div><div><br></div><div>I have two questions for the group:</div><div><ol><li style="margin-left:15px">Is there a known-working method for using both TCP and IB interface NIDs for the MGS in this manner?<br></li><li style="margin-left:15px">What's the best way to trace the TCP client interactions to see where it's breaking down?</li></ol></div><div>Versions in use:<br></div><div><div><font face="monospace, monospace" style="background-color:rgb(204,204,204)">kernel: 2.6.32-504.23.4.el6.x86_64</font></div><div><font face="monospace, monospace" style="background-color:rgb(204,204,204)">lustre: lustre-2.7.58-2.6.32_504.23.4.el6.x86_64_g051c25b.x86_64</font></div><div><font face="monospace, monospace" style="background-color:rgb(204,204,204)">zfs: zfs-0.6.4-76_g87abfcb.el6.x86_64</font></div></div><div><br></div><div>My lustre.conf contents:</div><div><font face="monospace, monospace" style="background-color:rgb(204,204,204)">options lnet networks="o2ib0(ib1),tcp0(ixgbe1)"</font></div></div></div>