<div dir="ltr"><div class="gmail_default" style="font-size:small">I just updated some of my clients to RHEL 7.7, Lustre 2.12.3, MOFED 4.7.</div><div class="gmail_default" style="font-size:small">Server version is 2.10.8.<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">I'm now getting errors mounting the filesystem on the client.  In fact, I can't even do an 'lctl ping' to any of the servers without getting an I/O error.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Debug logs show this message when I attempt an lctl ping:<br></div><div class="gmail_default" style="font-size:small">00000800:00020000:0.0:1581538955.090767:0:20471:0:(o2iblnd.c:941:kiblnd_create_conn()) Can't create QP: -12, send_wr: 32634, recv_wr: 254, send_sge: 2, recv_sge: 1</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"># lctl list_nids<br>10.11.80.65@o2ib3</div><div class="gmail_default" style="font-size:small"># lctl ping 10.11.80.50@o2ib3<br>failed to ping 10.11.80.50@o2ib3: Input/output error</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Interestingly, if I do an 'lctl ping' to the client _from_ the server, the ping succeeds, and from that point on pings from client _to_ server work fine until the client is rebooted or lnet is reloaded.<br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">ko2iblnd parameters match on clients and servers, namely:<br>options ko2iblnd peer_credits=128 peer_credits_hiw=64 credits=1024 concurrent_sends=256 ntx=2048 map_on_demand=32 fmr_pool_size=2048 fmr_flush_trigger=512 fmr_cache=1 <br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Anyone have any thoughts?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Thanks,</div><div class="gmail_default" style="font-size:small">Kevin</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">--</div><div class="gmail_default" style="font-size:small">Kevin Hildebrand</div><div class="gmail_default" style="font-size:small">University of Maryland</div><div class="gmail_default" style="font-size:small">Division of IT<br></div></div>