<div><div dir="auto">John,</div><div dir="auto"><br></div><div dir="auto">I can't speak to Fragella's tuning making things worse but...</div><div dir="auto"><br></div><div dir="auto">Have you run iperf3 and lnet_selftest from your Ethernet clients to each of the lnet routers to establish what your top end is? It'd be good to determine if you have an Ethernet problem vs a lnet problem. </div><div dir="auto"><br></div><div dir="auto">Also, are you running Ethernet rdma? If not interrupts on the receive end can be vexing. </div><div dir="auto"><br></div><div dir="auto">--Jeff</div><br><div class="gmail_quote"><div>On Tue, Nov 28, 2017 at 17:21 John Casu <<a href="mailto:john@chiraldynamics.com">john@chiraldynamics.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">just built a system w. lnet routers that bridge Infiniband & 100GbE, using Centos built in Infiniband support<br>
servers are Infiniband, clients are 100GbE (connectx-4 cards)<br>
<br>
my direct write performance from clients over Infiniband is around 15GB/s<br>
<br>
When I introduced the lnet routers, performance dropped to 10GB/s<br>
<br>
Thought the problem was an MTU of 1500, but when I changed the MTUs to 9000<br>
performance dropped to 3GB/s.<br>
<br>
When I tuned according to John Fragella's LUG slides, things went even slower (1.5GB/s write)<br>
<br>
does anyone have any ideas on what I'm doing wrong??<br>
<br>
thanks,<br>
-john c.<br>
<br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div></div><div dir="ltr">-- <br></div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: 858-412-3810 x1001   f: 858-412-3845<br>m: 619-204-9061<br><br>4170 Morena Boulevard, Suite D - San Diego, CA 92117<div><br></div><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div>