
<html><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""><blockquote type="cite" class="">On Dec 3, 2017, at 11:55 AM, Riccardo Veraldi &lt;<a href="mailto:riccardo.veraldi@gmail.com" class="">riccardo.veraldi@gmail.com</a>&gt; wrote:<br class=""><br class="">Hello,<br class="">are you using Infiniband ?<br class=""></blockquote><br class="">Yes - Mellanox FDR (Connect-IB, ConnectX-3)<br class=""><br class=""><blockquote type="cite" class="">if so what are the peer credit settings ?<br class=""></blockquote><br class="">Defaults. &nbsp;Note that while we are in the process of upgrading our clients to 2.10.1, most are still 2.5.3.90.<div class="">I think I indicated previously that we saw this with both 2.5.3.90 and 2.10.1 using the same client (i.e. we upgraded it to try the 2.10.1 client modules).</div><div class=""><br class=""></div><div class="">Although we saw this on our standard 128G haswell clients with this particular application, they may have been RAM constrained which is why we went to the \u201cbigmem\u201d host. &nbsp;However, the \u201cbigmem\u201d host is a bit of an odd bird itself so we may have just traded one client issue for another. &nbsp;</div><div class=""><br class=""></div><div class="">The application ran successfully (just finished Friday) on a newer \u201cbigmem\u201d server without being evicted. &nbsp;I\u2019d like to understand what was causing the client to fail to respond to the OSS in a timely fashion but that may take more effort than is warranted at this point.</div><div class=""><br class=""><blockquote type="cite" class=""><br class="">&nbsp;cat /proc/sys/lnet/nis&nbsp;<br class=""></blockquote><div class=""><br class=""></div><font face="Courier" class="">nid &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;status alive refs peer &nbsp;rtr &nbsp; max &nbsp; &nbsp;tx &nbsp; min<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;2 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">0@lo &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; up &nbsp; &nbsp; 0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp;0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0 &nbsp; &nbsp; 0<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;1 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;32<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;42<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;26<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;30<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;43<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;34<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;30<br class="">10.13.136.74@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;up &nbsp; &nbsp;-1 &nbsp; &nbsp;0 &nbsp; &nbsp;8 &nbsp; &nbsp;0 &nbsp; &nbsp;64 &nbsp; &nbsp;64 &nbsp; &nbsp;47<br class=""></font><br class=""><blockquote type="cite" class="">&nbsp;cat /proc/sys/lnet/peers&nbsp;<br class=""></blockquote><div class=""><br class=""></div>[root@s5a-s23 lnet]# cat /proc/sys/lnet/peers&nbsp;<br class=""><font face="Courier" class="">nid &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;refs state &nbsp;last &nbsp; max &nbsp; rtr &nbsp; min &nbsp; &nbsp;tx &nbsp; min queue<br class="">10.13.136.159@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.15@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.28@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -16 0<br class="">10.13.136.7@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.130@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 1 0<br class="">10.13.136.164@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.20@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.156@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 1 0<br class="">10.13.136.12@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.169@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.25@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -41 0<br class="">10.13.136.4@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.161@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.17@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.51@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 6 0<br class="">10.13.136.30@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -27 0<br class="">10.13.136.153@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.9@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.166@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.22@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.1@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 0 0<br class="">10.13.136.158@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.14@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.171@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.27@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -13 0<br class="">10.13.136.6@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.129@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 7 0<br class="">10.13.136.163@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.19@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 1 0<br class="">10.13.136.32@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -46 0<br class="">10.13.136.155@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.11@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-4 0<br class="">10.13.136.168@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.24@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -65 0<br class="">10.13.136.3@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.160@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.16@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.29@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -46 0<br class="">10.13.136.8@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.165@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.21@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.157@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 1 0<br class="">10.13.136.13@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.170@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.26@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -46 0<br class="">10.13.136.5@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.162@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp;-1 0<br class="">10.13.136.18@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.31@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -40 0<br class="">10.13.136.154@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.10@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.167@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 2 0<br class="">10.13.136.23@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; -53 0<br class="">10.13.136.2@o2ib &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1 &nbsp; &nbsp;NA &nbsp; &nbsp;-1 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 &nbsp; &nbsp; 8 0</font><br class=""><div class=""><br class=""></div><br class=""><blockquote type="cite" class=""><br class=""><br class="">On 12/3/17 8:38 AM, E.S. Rosenberg wrote:<br class=""><blockquote type="cite" cite="mid:CA+K1OzT7NQ6JUNOgSyKfNQtqioy0bUs7YMwTNscrV8rcORnVog@mail.gmail.com" class="">Did you find the problem? Were there any useful&nbsp;suggestions off-list?<br class=""><br class="">On Wed, Nov 29, 2017 at 1:34 PM,&nbsp;Charles A Taylor&nbsp;&lt;<a href="mailto:chasman@ufl.edu" class="">chasman@ufl.edu</a>&gt;&nbsp;wrote:<br class=""><br class="">We have a genomics pipeline app (supernova) that fails&nbsp;consistently due to the client being evicted on the OSSs&nbsp;with a &nbsp;\u201clock callback timer expired\u201d. &nbsp;I doubled&nbsp;\u201cnlm_enqueue_min\u201d&nbsp;across the cluster but then the timer&nbsp;simply expired after 200s rather than 100s so I don\u2019t think&nbsp;that is the answer. &nbsp; The syslog/dmesg on the client shows&nbsp;no signs of distress and it is&nbsp;a \u201cbigmem\u201d machine with 1TB&nbsp;of RAM.<br class=""><br class="">The eviction appears to come while the application is&nbsp;processing a large number (~300) of data \u201cchunks\u201d (i.e.&nbsp;files) which occur in pairs.<br class=""><br class="">-rw-r--r-- 1 chasman ufhpc 24 Nov 28 23:31&nbsp;./Tdtest915/ASSEMBLER_CS/_ASSEMBLER/_ASM_SN/SHARD_ASM/fork0/join/files/chunk233.sedge_bcs<br class="">-rw-r--r-- 1 chasman ufhpc 34M Nov 28 23:31&nbsp;./Tdtest915/ASSEMBLER_CS/_ASSEMBLER/_ASM_SN/SHARD_ASM/fork0/join/files/chunk233.sedge_asm<br class=""><br class="">I assume the 24-byte file is metadata (an index or some&nbsp;such) and the 34M file is the actual data but I\u2019m just&nbsp;guessing since I\u2019m completely unfamiliar with the&nbsp;application.<br class=""><br class="">The write error is,<br class=""><br class="">&nbsp; &nbsp; #define ENOTCONN &nbsp; &nbsp; &nbsp; &nbsp;107 &nbsp; &nbsp; /* Transport endpoint is&nbsp;not connected */<br class=""><br class="">which occurs after the OSS eviction. &nbsp;This was reproducible&nbsp;under 2.5.3.90 as well. &nbsp;We hoped that upgrading to 2.10.1&nbsp;would resolve the issue but it has not.<br class=""><br class="">This is the first application (in 10 years) we have&nbsp;encountered that consistently and reliably fails when run&nbsp;over Lustre. &nbsp;I\u2019m not sure at this point whether this is a&nbsp;bug or tuning issue.<br class="">If others have encountered and overcome something like this,&nbsp;we\u2019d be grateful to hear from you.<br class=""><br class="">Regards,<br class=""><br class="">Charles Taylor<br class="">UF Research Computing<br class=""><br class="">OSS:<br class="">--------------<br class="">Nov 28 23:41:41 ufrcoss28 kernel: LustreError:&nbsp;0:0:(ldlm_lockd.c:334:waiting_locks_callback()) ###&nbsp;lock callback timer expired after 201s: evicing client at&nbsp;10.13.136.74@o2ib &nbsp;ns:&nbsp;filter-testfs-OST002e_UUID lock:&nbsp;ffff880041717400/0x9bd23c8dc69323a1 lrc: 3/0,0 mode:&nbsp;PW/PW res: [0x7ef2:0x0:0x0].0x0 rrc: 3 type: EXT&nbsp;[0-&gt;18446744073709551615] (req 4096-&gt;1802239) flags:&nbsp;0x60000400010020 nid: 10.13.136.74@o2ib remote:&nbsp;0xe54f26957f2ac591 expref: 45 pid: 6836 timeout: 6488120506&nbsp;lvb_type: 0<br class=""><br class="">Client:<br class="">\u2014\u2014\u2014\u2014\u2014\u2014\u2014<br class="">Nov 28 23:41:42 s5a-s23 kernel: LustreError: 11-0:&nbsp;testfs-OST002e-osc-ffff88c053fe3800: operation&nbsp;ost_write to node 10.13.136.30@o2ib failed: rc = -107<br class="">Nov 28 23:41:42 s5a-s23 kernel: Lustre: testfs-OST002e-osc-ffff88c053fe3800:&nbsp;Connection to testfs-OST002e (at 10.13.136.30@o2ib) was&nbsp;lost; in progress operations using this&nbsp;service will wait&nbsp;for recovery to complete<br class="">Nov 28 23:41:42 s5a-s23 kernel: LustreError: 167-0:&nbsp;testfs-OST002e-osc-ffff88c053fe3800: This client was&nbsp;evicted by testfs-OST002e; in progress operations using this&nbsp;service will&nbsp;fail.<br class="">Nov 28 23:41:42 s5a-s23 kernel: LustreError: 11-0:&nbsp;testfs-OST002c-osc-ffff88c053fe3800: operation&nbsp;ost_punch to node 10.13.136.30@o2ib failed: rc = -107<br class="">Nov 28 23:41:42 s5a-s23 kernel: Lustre: testfs-OST002c-osc-ffff88c053fe3800:&nbsp;Connection to testfs-OST002c (at 10.13.136.30@o2ib) was&nbsp;lost; in progress operations using this&nbsp;service will wait&nbsp;for recovery to complete<br class="">Nov 28 23:41:42 s5a-s23 kernel: LustreError: 167-0:&nbsp;testfs-OST002c-osc-ffff88c053fe3800: This client was&nbsp;evicted by testfs-OST002c; in progress operations using this&nbsp;service will&nbsp;fail.<br class="">Nov 28 23:41:47 s5a-s23 kernel: LustreError: 11-0:&nbsp;testfs-OST0000-osc-ffff88c053fe3800: operation&nbsp;ost_statfs to node 10.13.136.23@o2ib failed: rc = -107<br class="">Nov 28 23:41:47 s5a-s23 kernel: Lustre: testfs-OST0000-osc-ffff88c053fe3800:&nbsp;Connection to testfs-OST0000 (at 10.13.136.23@o2ib) was&nbsp;lost; in progress operations using this&nbsp;service will wait&nbsp;for recovery to complete<br class="">Nov 28 23:41:47 s5a-s23 kernel: LustreError: 167-0:&nbsp;testfs-OST0004-osc-ffff88c053fe3800: This client was&nbsp;evicted by testfs-OST0004; in progress operations using this&nbsp;service will&nbsp;fail.<br class="">Nov 28 23:43:11 s5a-s23 kernel: Lustre: testfs-OST0006-osc-ffff88c053fe3800:&nbsp;Connection restored to 10.13.136.24@o2ib (at&nbsp;10.13.136.24@o2ib)<br class="">Nov 28 23:43:38 s5a-s23 kernel: Lustre: testfs-OST002c-osc-ffff88c053fe3800:&nbsp;Connection restored to 10.13.136.30@o2ib (at&nbsp;10.13.136.30@o2ib)<br class="">Nov 28 23:43:45 s5a-s23 kernel: Lustre: testfs-OST0000-osc-ffff88c053fe3800:&nbsp;Connection restored to 10.13.136.23@o2ib (at&nbsp;10.13.136.23@o2ib)<br class="">Nov 28 23:43:48 s5a-s23 kernel: Lustre: testfs-OST0004-osc-ffff88c053fe3800:&nbsp;Connection restored to 10.13.136.23@o2ib (at&nbsp;10.13.136.23@o2ib)<br class="">Nov 28 23:43:48 s5a-s23 kernel: Lustre: Skipped 3 previous&nbsp;similar messages<br class="">Nov 28 23:43:55 s5a-s23 kernel: Lustre: testfs-OST0007-osc-ffff88c053fe3800:&nbsp;Connection restored to 10.13.136.24@o2ib (at&nbsp;10.13.136.24@o2ib)<br class="">Nov 28 23:43:55 s5a-s23 kernel: Lustre: Skipped 4 previous&nbsp;similar messages<br class=""><br class="">Some Details:<br class="">-------------------<br class="">OS: RHEL 7.4 (Linux ufrcoss28.ufhpc&nbsp;3.10.0-693.2.2.el7_lustre.x86_64)<br class="">Lustre: 2.10.1 (lustre-2.10.1-1.el7.x86_64)<br class="">Client: 2.10.1<br class="">&nbsp; &nbsp; &nbsp;1 TB RAM<br class="">&nbsp; &nbsp; &nbsp;Mellanox ConnectX-3 IB/VPI HCAs<br class="">&nbsp; &nbsp; &nbsp;Linux s5a-s23.ufhpc 2.6.32-696.13.2.el6.x86_64<br class="">&nbsp; &nbsp; &nbsp;MOFED 3.2.2 IB stack<br class="">&nbsp; &nbsp; &nbsp;Lustre 2.10.1<br class="">Servers: 10 HA OSS pairs (20 OSSs)<br class="">&nbsp; &nbsp;128 GB RAM<br class="">&nbsp; &nbsp;6 OSTs (8+2 RAID-6) per OSS<br class="">&nbsp; &nbsp;Mellanox ConnectX-3 IB/VPI HCAs<br class="">&nbsp; &nbsp;RedHat EL7 Native IB Stack (i.e. not MOFED)<br class=""><br class="">_______________________________________________<br class="">lustre-discuss mailing list<br class="">lustre-discuss@lists.lustre.org<br class="">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org<br class=""><br class=""><br class=""><br class=""><div class="">_______________________________________________</div><div class="">lustre-discuss mailing list</div><br class="Apple-interchange-newline">lustre-discuss@lists.lustre.org<br class="">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org<br class=""></blockquote><br class=""></blockquote><br class=""></div></body></html>