<div dir="ltr"><div><div><div>Hi ...,<br><br>Continuing on the earlier mails -<br>I have installed MOFED 3.4-2.1.8.0-rhel7.3 and recompiled Lustre (Server and Client) to use it.<br></div><div><div><br>I have configured bonding (mode: 2 (balanced-xor), xmit_hash_policy: layer2+3).<br></div>MOFED tools like ib_write_bw show 97Gbps speed between any 2 nodes.<br><br>However there is no improvement in Lustre performance with MOFED+RoCE.<br></div><div><br></div><div>obdfilter-survey
 'disk' tests shows 3.5 - 4 GB/s read and 1.2 - 1.4 GB/s write per 
OSS. <br>With 6 OSS that would be around 21GB/s read and 7.2GB/s write.<br><br></div><div>With TCP, I was getting 6GB/s read and 6GB/s write using TWO 100Gbps clients (i.e. 3GB/s per client).<br>It is the same with MOFED+RoCE.<br></div><div>Absolutely no improvement.<br></div><div><br></div><div>I am hoping to get at least 16-18GB/s READ speed using 2 clients (i.e. 8-9GB/s per client)<br></div><div><br>Are there any specific settings to tune Lustre+RoCE to use the full bandwidth?<br></div>Does any one have any specific experience with 100Gbps Ethernet NICs and Lustre?<br></div><div><br></div>Regards,<br><br><br></div>Indivar Nair<br><div><div><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 11, 2017 at 11:56 PM, Indivar Nair <span dir="ltr"><<a href="mailto:indivar.nair@techterra.in" target="_blank">indivar.nair@techterra.in</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Thanks for the advice.<br>I had a hunch that the development will take time.<br><br></div><div>Regards,<br><br><br></div><div>Indivar Nair<br></div></div><div class="gmail-HOEnZb"><div class="gmail-h5"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, May 11, 2017 at 11:28 PM, Oucharek, Doug S <span dir="ltr"><<a href="mailto:doug.s.oucharek@intel.com" target="_blank">doug.s.oucharek@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div style="overflow-wrap: break-word;">
As I write this, I am banging my head against this wall trying to figure it out.  It is related to the new memory region registration process used by mlx5 cards.  I could really use the help of any Mellanox/RDMA experts out there.  The API has virtually no
 documentation and without the source code for MOFED 4, I am really in unable to do much more than guess at what is going on.
<div><br>
</div>
<div>So, expect this to take a long time to resolve and stick with MOFED 3.x.</div><span class="gmail-m_-1981260467362748162HOEnZb"><font color="#888888">
<div><br>
</div>
<div>Doug</div></font></span><div><div class="gmail-m_-1981260467362748162h5">
<div><br>
<div>
<blockquote type="cite">
<div>On May 11, 2017, at 10:29 AM, Indivar Nair <<a href="mailto:indivar.nair@techterra.in" target="_blank">indivar.nair@techterra.in</a>> wrote:</div>
<br class="gmail-m_-1981260467362748162m_5513567619487031098Apple-interchange-newline">
<div>
<div dir="ltr">
<div>
<div>
<div>Thanks a lot, Michael, Andreas, Simon, Doug,<br>
</div>
<div>I have already installed MLNX OFED 4:-(<br>
I will now have to undo it and install the earlier version.<br>
</div>
<div><br>
</div>
Roughly, by when would the support for MLNX OFED 4 be available?<br>
<br>
</div>
Regards,<br>
<br>
<br>
</div>
Indivar Nair<br>
<div>
<div>
<div class="gmail_extra"><br>
<div class="gmail_quote">On Thu, May 11, 2017 at 9:35 PM, Oucharek, Doug S <span dir="ltr">
<<a href="mailto:doug.s.oucharek@intel.com" target="_blank">doug.s.oucharek@intel.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div>The note regarding MOFED 4 not supported by Lustre: I’m working on it. MOFED 4 did not drop support of Lustre, but did make API/behaviour changes which Lustre has not fully adapted to yet.  The ball is in the
 Lustre community’s court on this one now. <span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-HOEnZb"><font color="#888888">
<div><br>
</div>
<div>Doug</div>
</font></span>
<div>
<div class="gmail-m_-1981260467362748162m_5513567619487031098gmail-h5">
<div><br>
<div>
<blockquote type="cite">
<div>On May 11, 2017, at 8:47 AM, Simon Guilbault <<a href="mailto:simon.guilbault@calculquebec.ca" target="_blank">simon.guilbault@calculquebec.<wbr>ca</a>> wrote:</div>
<br class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-interchange-newline">
<div>
<div dir="ltr" style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<div>
<div>Hi, your lnet.conf look fine, I tested lnet with RoCE V2 a while back with a pair of server using Connectx4 with a single 25Gb interface and RDMA was working with Centos 7.3, stock RHEL OFED and Lustre 2.9. The only settings that I had to use
 in lustre's config was this one:</div>
<div><br>
</div>
<div>options lnet networks=o2ib(ens2)</div>
</div>
<div><br>
</div>
<div>The performance was about the same (1.9GB/s) without any tuning with the lnet self-test but the CPU utilisation was a lot lower with RDMA than TCP (3% vs 65% of a core). </div>
<div><br>
</div>
<div>From my notes I took back then Lustre needed to be recompiled with MLNX OFED 3.4 and MLNX OFED 4 dropped support of Lustre accordings to their release notes.</div>
<div><br>
</div>
<div>Ref 965588</div>
<div><a href="https://www.mellanox.com/related-docs/prod_software/Mellanox_OFED_Linux_Release_Notes_4_0-2_0_0_1.pdf" target="_blank">https://www.mellanox.com/relat<wbr>ed-docs/prod_software/Mellanox<wbr>_OFED_Linux_Release_Notes_4_0-<wbr>2_0_0_1.pdf</a><br>
</div>
<div><a href="https://www.mellanox.com/related-docs/prod_software/Mellanox_OFED_Linux_Release_Notes_4_0-2_0_2_0.pdf" target="_blank">https://www.mellanox.com/relat<wbr>ed-docs/prod_software/Mellanox<wbr>_OFED_Linux_Release_Notes_4_0-<wbr>2_0_2_0.pdf</a><br>
</div>
<div><br>
</div>
</div>
<div class="gmail_extra" style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<br>
<div class="gmail_quote">On Thu, May 11, 2017 at 11:34 AM, Indivar Nair<span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span><span dir="ltr"><<a href="mailto:indivar.nair@techterra.in" target="_blank">indivar.nair@techterra.i<wbr>n</a>></span><span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span>wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="ltr">
<div>
<div>
<div>
<div>So I should add something like this in lnet.conf -<br>
<br>
</div>
options lnet networks=o2ib0(p4p1)<br>
<br>
</div>
Thats it, right?<br>
<br>
</div>
Regards,<br>
<br>
<br>
</div>
Indivar Nair<br>
</div>
<div class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721HOEnZb">
<div class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721h5">
<div class="gmail_extra"><br>
<div class="gmail_quote">On Thu, May 11, 2017 at 8:39 PM, Dilger, Andreas<span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span><span dir="ltr"><<a href="mailto:andreas.dilger@intel.com" target="_blank">andreas.dilger@intel.<wbr>com</a>></span><span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span>wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
If you have RoCE cards and configure them with OFED, and configure Lustre to use o2iblnd then it should use RDMA for those interfaces. The fact that they are RoCE cards is hidden below OFED.<br>
<br>
Cheers, Andreas<br>
<div>
<div class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721m_-2019842202792000363h5"><br>
> On May 11, 2017, at 08:36, Indivar Nair <<a href="mailto:indivar.nair@techterra.in" target="_blank">indivar.nair@techterra.in</a>> wrote:<br>
><br>
> Hi ...,<br>
><br>
> I have read in different forums and blogs that Lustre supports RoCE.<br>
> But I cant find any documentation on it.<br>
><br>
> I have a Lustre setup with 6 OSS and 2 SMB/NFS Gateways.<br>
> They are all interconnected using Mellanox SN2700 100G Switch and Mellanox Connect-X4 100G NICs.<br>
> I have installed the Mellanox OFED Drivers, but I cant find a way to tell Lustre / LNET to use RoCE.<br>
><br>
> How do I go about?<br>
><br>
> Regards,<br>
><br>
><br>
> Indivar Nair<br>
><br>
><br>
</div>
</div>
> ______________________________<wbr>_________________<br>
> lustre-discuss mailing list<br>
><span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span><a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.<wbr>org</a><br>
><span class="gmail-m_-1981260467362748162m_5513567619487031098gmail-m_-5778260983002475721Apple-converted-space"> </span><a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/list<wbr>info.cgi/lustre-discuss-lustre<wbr>.org</a><br>
</blockquote>
</div>
<br>
</div>
</div>
</div>
<br>
______________________________<wbr>_________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.or<wbr>g</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listin<wbr>fo.cgi/lustre-discuss-lustre.o<wbr>rg</a><br>
<br>
</blockquote>
</div>
<br>
</div>
<span style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline">______________________________<wbr>_________________</span><br style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<span style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;float:none;display:inline">lustre-discuss
 mailing list</span><br style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<a href="mailto:lustre-discuss@lists.lustre.org" style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" target="_blank">lustre-discuss@lists.lustre.or<wbr>g</a><br style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px">
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" style="font-family:helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" target="_blank">http://lists.lustre.org/listin<wbr>fo.cgi/lustre-discuss-lustre.o<wbr>rg</a></div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div></div></div>

</blockquote></div><br></div>
</div></div></blockquote></div><br></div></div></div></div>