<div dir="ltr"><div class="gmail_default" style="font-size:small">Hello, I&#39;m trying to set up some new Lustre routers between a set of Infiniband connected Lustre servers and a few hosts connected to an external 100G Ethernet network.   The problem I&#39;m having is that the routers work just fine for a minute or two, and then shortly thereafter they&#39;re marked as &#39;down&#39; and all traffic stops.  If I unload/reload the lustre modules on the router, it&#39;ll work again for a short time and then stop again.  The router shows errors like:</div><div class="gmail_default" style="font-size:small">[236528.801275] LNetError: 54389:0:(lib-move.c:2120:lnet_parse_get()) 10.10.104.2@tcp2: Unable to send REPLY for GET from 12345-10.10.104.201@tcp2: -113<br><br></div><div class="gmail_default" style="font-size:small"></div>My Lustre router has a Mellanox ConnectX-3 interface connecting to the Lustre servers, and a Mellanox ConnectX-5 <div style="font-size:small;display:inline" class="gmail_default">\u200b100G \u200b</div>interface connecting to a 100G switch to which my test client is connected.<div style="font-size:small;display:inline" class="gmail_default">\u200b  \u200b</div>On the Infiniband side, I&#39;ve got <div style="font-size:small;display:inline" class="gmail_default">\u200blnet\u200b</div>\u200b configured as o2ib1<div style="font-size:small;display:inline" class="gmail_default">\u200b\u200b</div>, and on the Ethernet side, as tcp2.<div class="gmail_default" style="font-size:small"><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Clients and servers are all running Lustre 2.8.  The Lustre router at the moment is running Lustre 2.10.1, because of software dependencies to support the 100G card.</div><div class="gmail_default" style="font-size:small"></div></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I&#39;ve verified that I have stable network connectivity on both the IB and Ethernet sides.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">At the moment, I have very simple lnet configurations, using the built in defaults.  lnet.conf on the server:</div><div class="gmail_default" style="font-size:small"></div><div class="gmail_default" style="font-size:small">options lnet ip2nets=&quot;o2ib1(ib0) 192.168.[64-95].*; tcp1 10.103.[128-159].*&quot; routes=&quot;tcp0 192.168.64.[78-79]@o2ib1; tcp2 192.168.64.[78-79]@o2ib1&quot;<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">On the lustre router:</div><div class="gmail_default" style="font-size:small">options lnet networks=&quot;o2ib1(ib0),tcp2(p1p1.104)&quot; &quot;forwarding=enabled&quot;<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">And on the client:</div><div class="gmail_default" style="font-size:small">options lnet networks=&quot;tcp2(p4p1.104)&quot; routes=&quot;o2ib1 10.10.104.[2-3]@tcp2&quot;<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">All of the hosts (client, server, router) have the following in ko2iblnd.conf:</div><div class="gmail_default" style="font-size:small"><br>alias ko2iblnd-opa ko2iblnd<br>options ko2iblnd-opa peer_credits=128 peer_credits_hiw=64 credits=1024 concurrent_sends=256 ntx=2048 map_on_demand=32 fmr_pool_size=2048 fmr_flush_trigger=512 fmr_cache=1 conns_per_peer=4<br><br>install ko2iblnd /usr/sbin/ko2iblnd-probe<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Does anyone see anything I&#39;ve missed, or have any thoughts on where I should look next?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Thanks,</div><div class="gmail_default" style="font-size:small">Kevin</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">--</div><div class="gmail_default" style="font-size:small">Kevin Hildebrand</div><div class="gmail_default" style="font-size:small">University of Maryland, College Park<br></div></div>