<div><div dir="auto">John, increasing MTU size on Ethernet side should increase the b/w. I also have a feeling that some lnet routers and/or intermediate switches/routers does not have jumbo frame turned on (some switches needs to be set at 9212 bytes ). </div></div><div dir="auto">How many LNet  routers are you using? I believe you are routing between EDR IB and 100GbE. </div><div dir="auto"><br></div><div dir="auto"><br><div class="gmail_quote" dir="auto"><div>On Tue, Nov 28, 2017 at 7:21 PM John Casu <<a href="mailto:john@chiraldynamics.com">john@chiraldynamics.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">just built a system w. lnet routers that bridge Infiniband & 100GbE, using Centos built in Infiniband support<br>
servers are Infiniband, clients are 100GbE (connectx-4 cards)<br>
<br>
my direct write performance from clients over Infiniband is around 15GB/s<br>
<br>
When I introduced the lnet routers, performance dropped to 10GB/s<br>
<br>
Thought the problem was an MTU of 1500, but when I changed the MTUs to 9000<br>
performance dropped to 3GB/s.<br>
<br>
When I tuned according to John Fragella's LUG slides, things went even slower (1.5GB/s write)<br>
<br>
does anyone have any ideas on what I'm doing wrong??<br>
<br>
thanks,<br>
-john c.<br>
<br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div></div>