<div dir="ltr">We are not using RoCE in production, but a few years ago we tested it with 25Gb/s cards. From what I recall, RDMA was working as expected using the MOFED stack, running lnet bench was using a few cores with TCP, while the same benchmark with RoCE was using almost 0 CPU cores. <div><br></div><div>The only change I had documented was this one to use o2ib instead of TCP on the ethernet interface:</div><div><div>[root@server ~]# cat /etc/modprobe.d/lustre.conf<br>options lnet networks=o2ib(ens2)</div><div><br>That presentation from CaRCC might be helpful:</div></div><div>"A practical summary of our experience standing up and living with an all-Broadcom RDMA over Converged Ethernet (RoCE) fabric in support of our most recent cluster acquisition at the University of Arizona.  Presented by: Adam Michel - University of Arizona"</div><div><a href="https://www.youtube.com/watch?v=G6xHirUtx7w">https://www.youtube.com/watch?v=G6xHirUtx7w</a> <br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Jun 16, 2023 at 11:59 AM Lana Deere via lustre-discuss <<a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">We have been using Lustre on InfiniBand with o2ib(ib0) specified.  If<br>
we had an Ethernet with RoCE enabled, would this work on that kind of<br>
network?  If not, is there a different way to configure for RoCE which<br>
is recommended (using RDMA - I know we could switch to tcp)?<br>
<br>
.. Lana (<a href="mailto:lana.deere@gmail.com" target="_blank">lana.deere@gmail.com</a>)<br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div>