
<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto">Hi Eli,<div><br></div><div>I think you can leave out the IP so long as you specific the interface, but IIRC you can't setup multirail via modprobe, you should setup Lnet using lnetctl </div><div><br></div><div>Best regards,</div><div>Angelos<br><div dir="ltr">(Sent from mobile, please pardon me for typos and cursoriness.)</div><div dir="ltr"><br><blockquote type="cite">16/1/2022 21:38、E.S. Rosenberg <esr+lustre@mail.hebrew.edu>のメール:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><div dir="ltr"><div>Hey Lauz,</div><div><br></div><div>Thanks for the reply!<br></div><div>Indeed it sounds like multirail is what I am referring to (my wrong memory of multirail was a failover technique allowing connection of both TCP and IPoIB or multiple IPoIB between nodes at the same time), but I am still left with a question.</div><div>In the modprobe arguments for lnet I'm binding all the interfaces into a single network but I don't define IPs for the interfaces that is done at the OS level.</div><div>Lustre as far as I recall does use IPoIB so IPs are needed or could I even leave out the IP definitions and let lustre figure out what it wants there?</div><div>It just seems kind of excessive and adding points of failure that a node with 4 dual port IB cards would end up needing 8 IP addresses...</div><div>Thanks again,</div><div>Eli<br></div><div><br></div><div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jan 16, 2022 at 2:32 PM Laurence Horrocks-Barlow <<a href="mailto:laurence@qsplace.co.uk">laurence@qsplace.co.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>The limit of IPoIB is active/backup when using traditional bonding, however I believe you are wanting to multirail your IB. This is achieved buy using multiple LNet's (assuming it uses the same fabric), you should be able to configure for active/active.<br><br><a href="https://wiki.whamcloud.com/display/LNet/Multi-Rail+Overview" target="_blank">https://wiki.whamcloud.com/display/LNet/Multi-Rail+Overview</a><br><br>This should help with most of the concepts.<br><br>-- Lauz<br><br><div class="gmail_quote">On 16 January 2022 11:56:16 GMT, "E.S. Rosenberg" <<a href="mailto:esr%2Blustre@mail.hebrew.edu" target="_blank">esr+lustre@mail.hebrew.edu</a>> wrote:<blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

<div dir="ltr"><div>Hey everyone,</div><div><br></div><div>This is probably off-topic but I can't find any documents on the subject and since Lustre uses IPoIB I suspect others here have dealt with this question.</div><div><br></div><div>If I have a node connected with multiple IB links should each connected IB port have it's own IP address or is there a way similar to LACP on the Ethernet side to bond all the links and use only a single IP address to refer to the node? And what is the better method?</div><div><br></div><div>In the past I never had this luxury, but now I'm starting a small new cluster currently made up of a few GPU nodes and a Lustre filesystem so plenty of IB ports to go around.<br></div><div><br></div><div>Thanks!</div><div>Eli<br></div></div>

</blockquote></div></div></blockquote></div>

<span>_______________________________________________</span><br><span>lustre-discuss mailing list</span><br><span>lustre-discuss@lists.lustre.org</span><br><span>http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</span><br></div></blockquote></div></body></html>