<div dir="ltr"><div>Hello, <br></div><div>We've been having intermittent problems with our cluster. One node is reporting Lustre-related errors. The node connects to the Lustre filesystem over omnipath, and although we suspect this is the cause of the error, the link shows everything is fine, although if the problem is intermittent that doesn't add much. All of our other nodes don't suffer from this problem.  I was wondering if anyone could help me make sense of these issues, before I swap omnipath cables with the node next to it and see if the error moves? I've included ~50 minutes of logs stripped down to the Lustre relevant section.<br></div><div><br></div><div>Thanks for taking the time to look at this,</div><div>James<br clear="all"></div><div><br>Jan 06 02:04:44 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7ee30400<br>Jan 06 02:03:55 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b37db7800<br>Jan 06 02:03:01 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7ded2400<br>Jan 06 02:02:38 node052. kernel: Lustre: Skipped 14<br>previous similar messages<br>Jan 06 02:02:38 node052. kernel: Lustre: pscratch-<br>OST000d-osc-ffff8f7c7a874000: Connection restored to 10.12.3.4@o2ib (at<br>10.12.3.4@o2ib)<br>Jan 06 02:02:38 node052. kernel: Lustre: Skipped 14<br>previous similar messages<br>Jan 06 02:02:38 node052. kernel: Lustre: pscratch-<br>OST000d-osc-ffff8f7c7a874000: Connection to pscratch-OST000d (at 10.12.3.4@o2ib)<br>was lost; in progress operations using this service will wait for recovery to<br>complete<br>Jan 06 02:02:38 node052. kernel: Lustre: 2612:0:<br>(client.c:2169:ptlrpc_expire_one_request()) Skipped 14 previous similar messages<br>Jan 06 02:02:38 node052. kernel: Lustre: 2612:0:<br>(client.c:2169:ptlrpc_expire_one_request()) @@@ Request sent has failed due to<br>network error: [sent 1736128955/real 1736128955] req@ffff8f5708379b00<br>x1818069513346688/t0(0) o3->pscratch-OST000d-osc-<br>ffff8f7c7a874000@10.12.3.4@o2ib:6/4 lens 488/440 e 0 to 1 dl 1736128966 ref 2 fl<br>Rpc:eX/0/ffffffff rc 0/-1<br>Jan 06 02:02:38 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a32f37c00<br>Jan 06 02:02:19 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58ff316c00<br>Jan 06 01:58:45 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b752c0c00<br>Jan 06 01:57:50 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5af82b7400<br>Jan 06 01:56:08 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b752c3800<br>Jan 06 01:55:17 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58714ccc00<br>Jan 06 01:54:00 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a9429a000<br>Jan 06 01:53:13 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c6d0eb000<br>Jan 06 01:52:30 node052. kernel: Lustre: Skipped 18<br>previous similar messages<br>Jan 06 01:52:30 node052. kernel: Lustre: pscratch-<br>OST000d-osc-ffff8f7c7a874000: Connection restored to 10.12.3.4@o2ib (at<br>10.12.3.4@o2ib)<br>Jan 06 01:52:30 node052. kernel: Lustre: Skipped 19<br>previous similar messages<br>Jan 06 01:52:30 node052. kernel: Lustre: pscratch-<br>OST000d-osc-ffff8f7c7a874000: Connection to pscratch-OST000d (at 10.12.3.4@o2ib)<br>was lost; in progress operations using this service will wait for recovery to<br>complete<br>Jan 06 01:52:30 node052. kernel: Lustre: 2596:0:<br>(client.c:2169:ptlrpc_expire_one_request()) Skipped 19 previous similar messages<br>Jan 06 01:52:30 node052. kernel: Lustre: 2596:0:<br>(client.c:2169:ptlrpc_expire_one_request()) @@@ Request sent has timed out for<br>slow reply: [sent 1736128306/real 1736128306] req@ffff8f47171e5580<br>x1818069513186304/t0(0) o3->pscratch-OST000d-osc-<br>ffff8f7c7a874000@10.12.3.4@o2ib:6/4 lens 488/440 e 0 to 1 dl 1736128350 ref 2 fl<br>Rpc:X/2/ffffffff rc 0/-1<br>Jan 06 01:51:46 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f576e192400<br>Jan 06 01:50:54 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5ad7efa000<br>Jan 06 01:50:07 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7ded0c00<br>Jan 06 01:49:49 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58ff011800<br>Jan 06 01:48:44 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7aa1ec00<br>Jan 06 01:47:14 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a428d7800<br>Jan 06 01:45:53 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c67fb9c00<br>Jan 06 01:45:04 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c67fb9c00<br>Jan 06 01:44:14 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c67fb9c00<br>Jan 06 01:43:24 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c67fb9c00<br>Jan 06 01:42:00 node052. kernel: Lustre: Skipped 20<br>previous similar messages<br>Jan 06 01:42:00 node052. kernel: Lustre: pscratch-<br>OST0011-osc-ffff8f7c7a874000: Connection restored to 10.12.3.5@o2ib (at<br>10.12.3.5@o2ib)<br>Jan 06 01:42:00 node052. kernel: Lustre: Skipped 20<br>previous similar messages<br>Jan 06 01:42:00 node052. kernel: Lustre: pscratch-<br>OST0011-osc-ffff8f7c7a874000: Connection to pscratch-OST0011 (at 10.12.3.5@o2ib)<br>was lost; in progress operations using this service will wait for recovery to<br>complete<br>Jan 06 01:42:00 node052. kernel: Lustre: 2618:0:<br>(client.c:2169:ptlrpc_expire_one_request()) Skipped 20 previous similar messages<br>Jan 06 01:42:00 node052. kernel: Lustre: 2618:0:<br>(client.c:2169:ptlrpc_expire_one_request()) @@@ Request sent has timed out for<br>slow reply: [sent 1736127672/real 1736127672] req@ffff8f4d5a6cb180<br>x1818069512989632/t0(0) o3->pscratch-OST0011-osc-<br>ffff8f7c7a874000@10.12.3.5@o2ib:6/4 lens 488/440 e 0 to 1 dl 1736127719 ref 2 fl<br>Rpc:X/2/ffffffff rc 0/-1<br>Jan 06 01:41:12 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a42875800<br>Jan 06 01:40:06 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c6d0ee000<br>Jan 06 01:39:54 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c6d0ee000<br>Jan 06 01:38:55 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b0be37800<br>Jan 06 01:38:04 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c7d710800<br>Jan 06 01:36:21 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4a24fa8800<br>Jan 06 01:35:34 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4a24fa8800<br>Jan 06 01:34:48 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4a24fa8800<br>Jan 06 01:33:27 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7aa1fc00<br>Jan 06 01:32:36 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a653c8400<br>Jan 06 01:31:49 node052. kernel: Lustre: Skipped 15<br>previous similar messages<br>Jan 06 01:31:49 node052. kernel: Lustre: pscratch-<br>OST0011-osc-ffff8f7c7a874000: Connection restored to 10.12.3.5@o2ib (at<br>10.12.3.5@o2ib)<br>Jan 06 01:31:49 node052. kernel: Lustre: Skipped 15<br>previous similar messages<br>Jan 06 01:31:49 node052. kernel: Lustre: pscratch-<br>OST0011-osc-ffff8f7c7a874000: Connection to pscratch-OST0011 (at 10.12.3.5@o2ib)<br>was lost; in progress operations using this service will wait for recovery to<br>complete<br>Jan 06 01:31:49 node052. kernel: Lustre: 2608:0:<br>(client.c:2169:ptlrpc_expire_one_request()) Skipped 15 previous similar messages<br>Jan 06 01:31:49 node052. kernel: Lustre: 2608:0:<br>(client.c:2169:ptlrpc_expire_one_request()) @@@ Request sent has failed due to<br>network error: [sent 1736127107/real 1736127107] req@ffff8f54f0657980<br>x1818069512865792/t0(0) o3->pscratch-OST0011-osc-<br>ffff8f7c7a874000@10.12.3.5@o2ib:6/4 lens 504/440 e 0 to 1 dl 1736127153 ref 2 fl<br>Rpc:eX/0/ffffffff rc 0/-1<br>Jan 06 01:31:49 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c7e714800<br>Jan 06 01:30:04 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58e01d8800<br>Jan 06 01:29:12 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4f40868800<br>Jan 06 01:28:07 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c6d0ebc00<br>Jan 06 01:26:52 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a653c9000<br>Jan 06 01:25:55 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c7e714800<br>Jan 06 01:23:58 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f7c7e34cc00<br>Jan 06 01:23:04 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58f1633000<br>Jan 06 01:21:01 node052. kernel: Lustre: Skipped 24<br>previous similar messages<br>Jan 06 01:21:01 node052. kernel: Lustre: pscratch-<br>OST0001-osc-ffff8f7c7a874000: Connection restored to 10.12.3.1@o2ib (at<br>10.12.3.1@o2ib)<br>Jan 06 01:21:01 node052. kernel: Lustre: Skipped 25<br>previous similar messages<br>Jan 06 01:21:01 node052. kernel: Lustre: pscratch-<br>OST0001-osc-ffff8f7c7a874000: Connection to pscratch-OST0001 (at 10.12.3.1@o2ib)<br>was lost; in progress operations using this service will wait for recovery to<br>complete<br>Jan 06 01:21:01 node052. kernel: Lustre: 2604:0:<br>(client.c:2169:ptlrpc_expire_one_request()) Skipped 25 previous similar messages<br>Jan 06 01:21:01 node052. kernel: Lustre: 2604:0:<br>(client.c:2169:ptlrpc_expire_one_request()) @@@ Request sent has failed due to<br>network error: [sent 1736126457/real 1736126457] req@ffff8f55359ef500<br>x1818069512692032/t0(0) o3->pscratch-OST0001-osc-<br>ffff8f7c7a874000@10.12.3.1@o2ib:6/4 lens 488/440 e 0 to 1 dl 1736126504 ref 2 fl<br>Rpc:eX/0/ffffffff rc 0/-1<br>Jan 06 01:21:01 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a32f30400<br>Jan 06 01:20:00 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c7dfb9c00<br>Jan 06 01:15:34 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5a32f34000<br>Jan 06 01:14:40 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f58e01d9800<br>Jan 06 01:14:05 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4a24faa000<br>Jan 06 01:13:56 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f4a24faa000<br>Jan 06 01:13:17 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5c6d0d7400<br>Jan 06 01:12:56 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f59fb1d2c00<br>Jan 06 01:12:28 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5753e80c00<br>Jan 06 01:12:12 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5753e80c00<br>Jan 06 01:11:56 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5753e80c00<br>Jan 06 01:11:34 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b37db2c00<br>Jan 06 01:11:17 node052. kernel: LustreError: 2552:0:<br>(events.c:205:client_bulk_callback()) event type 2, status -103, desc<br>ffff8f5b37db2c00<br>Jan 06 01:11:00 node052. kernel: Lustre: Skipped 25<br>previous similar messages<br>Jan 06 01:11:00 node052. kernel: Lustre: pscratch-<br>OST0011-osc-ffff8f7c7a874000: Connection restored to 10.12.3.5@o2ib (at<br>10.12.3.5@o2ib)<br><br><br></div><div><br></div><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="color:rgb(136,136,136)">Dr James Allsopp | Research Platforms team</span><br style="color:rgb(136,136,136)"><span style="color:rgb(136,136,136)">IT Services | University of Sheffield</span><br></div></div></div>