<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hi There,<div><br></div><div>OS=Centos 7.4</div><div>Lustre Version: Intel® Manager for Lustre* software 4.0.3.0</div><div>İnterconnect: Mellanox OFED, ConnectX-5</div><div><br></div><div>In one of my lustre client i have Input/output error in df command, i am unable to see the lustre mount point in df but mtab file shows that lustre is mounted</div><div><div><br></div><div>df -h output:</div><div><br></div><div><div>df: ‘/home’: Input/output error</div><div>df: ‘/vol1’: Input/output error</div><div>df: ‘/cm/shared’: Input/output error</div><div>Filesystem        Size  Used Avail Use% Mounted on</div></div></div><div><br></div><div><div> cat /etc/mtab |grep lustre</div><div><br></div><div>10.51.22.11@o2ib:10.51.22.10@o2ib:/lustre/home /home lustre rw,flock,lazystatfs 0 0</div><div>10.51.22.11@o2ib:10.51.22.10@o2ib:/lustre /vol1 lustre rw,flock,lazystatfs 0 0</div><div>10.51.22.11@o2ib:10.51.22.10@o2ib:/lustre/cmshared /cm/shared lustre rw,flock,lazystatfs 0 0</div></div><div><br></div><div><br></div><div>df -h output:</div><div><br></div><div><div>df: ‘/home’: Input/output error</div><div>df: ‘/vol1’: Input/output error</div><div>df: ‘/cm/shared’: Input/output error</div><div>Filesystem        Size  Used Avail Use% Mounted on</div></div><div><br></div><div><br></div><div>When i cd to the mounted point i can reach the lustre filesystem, i can create and delete files and folders. But when i cd to a large fileand run ls -lah command, response from the lustre client freezes.</div><div><br></div><div>dmesg output:</div><div> [84276.460557] Lustre: 5617:0:(client.c:2114:ptlrpc_expire_one_request()) @@@ Request sent has failed due to network error: [sent 1536408434/real 1536408489]  req@ffff882f31697800 x1610952588839712/t0(0) o8->lustre-OST0016-osc-ffff885f5fa1f000@10.52.23.5@o2ib:28/4 lens 520/544 e 0 to 1 dl 1536408714 ref 1 fl Rpc:eXN/0/ffffffff rc 0/-1</div><div>[84276.460565] Lustre: 5617:0:(client.c:2114:ptlrpc_expire_one_request()) Skipped 910 previous similar messages</div><div>[84386.986467] LustreError: 122750:0:(llite_lib.c:1772:ll_statfs_internal()) obd_statfs fails: rc = -5</div><div>[84386.986471] LustreError: 122750:0:(llite_lib.c:1772:ll_statfs_internal()) Skipped 29 previous similar messages</div><div>[84704.429967] LNet: 5429:0:(o2iblnd_cb.c:3192:kiblnd_check_conns()) Timed out tx for 10.52.23.5@o2ib: 4379575 seconds</div><div>[84704.429970] LNet: 5429:0:(o2iblnd_cb.c:3192:kiblnd_check_conns()) Skipped 863 previous similar messages</div><div>[84881.004949] Lustre: 5617:0:(client.c:2114:ptlrpc_expire_one_request()) @@@ Request sent has failed due to network error: [sent 1536409034/real 1536409095]  req@ffff882f2a6e5700 x1610952588854608/t0(0) o8->lustre-OST002e-osc-ffff885f5fa1f000@10.52.23.5@o2ib:28/4 lens 520/544 e 0 to 1 dl 1536409314 ref 1 fl Rpc:eXN/0/ffffffff rc 0/-1</div><div>[84881.004957] Lustre: 5617:0:(client.c:2114:ptlrpc_expire_one_request()) Skipped 863 previous similar messages</div><div>[85065.953686] LustreError: 123635:0:(llite_lib.c:1772:ll_statfs_internal()) obd_statfs fails: rc = -5</div><div>[85065.953689] LustreError: 123635:0:(llite_lib.c:1772:ll_statfs_internal()) Skipped 26 previous similar messages</div><div><br></div><div>fstab mount options:</div><div>lustre       flock,_netdev,x-systemd.requires=lnet.service 0 0<br></div><div><br></div><div>ib_* benchmark tests are as usual.</div><div><br></div><div>Where should i check?</div><div><br></div><div>Best Regards.</div><div><br></div></div></div></div></div></div>