<div dir="auto">Are peer credits set appropriately across your fabric?</div><div class="gmail_extra"><br><div class="gmail_quote">On Nov 28, 2017 8:40 PM, "john casu" <<a href="mailto:john@chiraldynamics.com">john@chiraldynamics.com</a>> wrote:<br type="attribution"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Thanks,<br>
just about to try that MTU setting.<br>
<br>
It's a small lustre system... 2 routers, MDS/MGS pair, OSS pair, JBOD pair (112 drives for OST)<br>
and yes, routing between EDR & 100GbE<br>
<br>
-john<br>
<br>
On 11/28/17 7:28 PM, Raj wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
John, increasing MTU size on Ethernet side should increase the b/w. I also have a feeling that some lnet routers and/or<br>
intermediate switches/routers does not have jumbo frame turned on (some switches needs to be set at 9212 bytes ).<br>
How many LNet  routers are you using? I believe you are routing between EDR IB and 100GbE.<br>
<br>
<br>
On Tue, Nov 28, 2017 at 7:21 PM John Casu <<a href="mailto:john@chiraldynamics.com" target="_blank">john@chiraldynamics.com</a> <mailto:<a href="mailto:john@chiraldynamics.com" target="_blank">john@chiraldynamics.co<wbr>m</a>>> wrote:<br>
<br>
    just built a system w. lnet routers that bridge Infiniband & 100GbE, using Centos built in Infiniband support<br>
    servers are Infiniband, clients are 100GbE (connectx-4 cards)<br>
<br>
    my direct write performance from clients over Infiniband is around 15GB/s<br>
<br>
    When I introduced the lnet routers, performance dropped to 10GB/s<br>
<br>
    Thought the problem was an MTU of 1500, but when I changed the MTUs to 9000<br>
    performance dropped to 3GB/s.<br>
<br>
    When I tuned according to John Fragella's LUG slides, things went even slower (1.5GB/s write)<br>
<br>
    does anyone have any ideas on what I'm doing wrong??<br>
<br>
    thanks,<br>
    -john c.<br>
<br>
    ______________________________<wbr>_________________<br>
    lustre-discuss mailing list<br>
    <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.or<wbr>g</a> <mailto:<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.l<wbr>ustre.org</a>><br>
    <a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listin<wbr>fo.cgi/lustre-discuss-lustre.<wbr>org</a><br>
<br>
</blockquote>
______________________________<wbr>_________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.or<wbr>g</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listin<wbr>fo.cgi/lustre-discuss-lustre.<wbr>org</a><br>
</blockquote></div></div>