
<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto">Hi Eli,<div><br></div><div>Yes & no; part of my info is a bit rusty because I carried them from version around 2.10. MR is now turned on by default.</div><div><br></div><div>But you'll need to have an IP setup on each IPoIB interface, and for all ib0 & all ib1 interface, they should be in different subnet. Eg: all ib0 on 192.168.100.0/24 and all ib1 on 192.168.101.0/24</div><div><br></div><div>Then you'll setup 2 NID for each node; around 2.10 when WhamCloud started implementing MR, they have added lnetctl and documentation updated to recommend against setting up lnet via modprobe. When setting up via lnetctl or lnet.conf, you don't need to specify an IP for each NID, but you still have to setup an NID for each of your physical interface. You may want to look at the ip2net option as well.<br><br>Best regards,</div><div>Angelos<br><div dir="ltr">(Sent from mobile, please pardon me for typos and cursoriness.)</div><div dir="ltr"><br><blockquote type="cite">17/1/2022 0:39、E.S. Rosenberg <esr+lustre@mail.hebrew.edu>のメール:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><div dir="ltr"><div>Hi Angelos,</div><div>Thanks for the answer!<br></div><div>According to the lecture Lauz just sent multirail is on by default no?</div><div>So I don't need to set IPs on each interface (using interfaces/netplan/network scripts) just a single NID at the lnet level?</div><div>Thanks again,</div><div>Eli<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jan 16, 2022 at 5:20 PM Angelos Ching <<a href="mailto:angelosching@clustertech.com">angelosching@clustertech.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto">Hi Eli,<div><br></div><div>I think you can leave out the IP so long as you specific the interface, but IIRC you can't setup multirail via modprobe, you should setup Lnet using lnetctl </div><div><br></div><div>Best regards,</div><div>Angelos<br><div dir="ltr">(Sent from mobile, please pardon me for typos and cursoriness.)</div><div dir="ltr"><br><blockquote type="cite">16/1/2022 21:38、E.S. Rosenberg <<a href="mailto:esr%2Blustre@mail.hebrew.edu" target="_blank">esr+lustre@mail.hebrew.edu</a>>のメール:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><div dir="ltr"><div>Hey Lauz,</div><div><br></div><div>Thanks for the reply!<br></div><div>Indeed it sounds like multirail is what I am referring to (my wrong memory of multirail was a failover technique allowing connection of both TCP and IPoIB or multiple IPoIB between nodes at the same time), but I am still left with a question.</div><div>In the modprobe arguments for lnet I'm binding all the interfaces into a single network but I don't define IPs for the interfaces that is done at the OS level.</div><div>Lustre as far as I recall does use IPoIB so IPs are needed or could I even leave out the IP definitions and let lustre figure out what it wants there?</div><div>It just seems kind of excessive and adding points of failure that a node with 4 dual port IB cards would end up needing 8 IP addresses...</div><div>Thanks again,</div><div>Eli<br></div><div><br></div><div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jan 16, 2022 at 2:32 PM Laurence Horrocks-Barlow <<a href="mailto:laurence@qsplace.co.uk" target="_blank">laurence@qsplace.co.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>The limit of IPoIB is active/backup when using traditional bonding, however I believe you are wanting to multirail your IB. This is achieved buy using multiple LNet's (assuming it uses the same fabric), you should be able to configure for active/active.<br><br><a href="https://wiki.whamcloud.com/display/LNet/Multi-Rail+Overview" target="_blank">https://wiki.whamcloud.com/display/LNet/Multi-Rail+Overview</a><br><br>This should help with most of the concepts.<br><br>-- Lauz<br><br><div class="gmail_quote">On 16 January 2022 11:56:16 GMT, "E.S. Rosenberg" <<a href="mailto:esr%2Blustre@mail.hebrew.edu" target="_blank">esr+lustre@mail.hebrew.edu</a>> wrote:<blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">

<div dir="ltr"><div>Hey everyone,</div><div><br></div><div>This is probably off-topic but I can't find any documents on the subject and since Lustre uses IPoIB I suspect others here have dealt with this question.</div><div><br></div><div>If I have a node connected with multiple IB links should each connected IB port have it's own IP address or is there a way similar to LACP on the Ethernet side to bond all the links and use only a single IP address to refer to the node? And what is the better method?</div><div><br></div><div>In the past I never had this luxury, but now I'm starting a small new cluster currently made up of a few GPU nodes and a Lustre filesystem so plenty of IB ports to go around.<br></div><div><br></div><div>Thanks!</div><div>Eli<br></div></div>

</blockquote></div></div></blockquote></div>

<span>_______________________________________________</span><br><span>lustre-discuss mailing list</span><br><span><a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a></span><br><span><a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a></span><br></div></blockquote></div></div></blockquote></div>

</div></blockquote></div></body></html>