<div dir="ltr">An updater regarding this:<br><div>UPDATE:</div><div>I have noticed that on this OST (wurfs-OST001b) The IO Scrub gets launched every ~7 seconds:</div><div>[root@storage06 wurfs-OST001b]# cat oi_scrub</div><div>name: OI_scrub</div><div>magic: 0x4c5fd252</div><div>oi_files: 64</div><div>status: completed</div><div>flags:</div><div>param:</div><div>time_since_last_completed: 8 seconds</div><div>time_since_latest_start: 8 seconds</div><div>time_since_last_checkpoint: 8 seconds</div><div>latest_start_position: 12</div><div>last_checkpoint_position: 30515713</div><div>first_failure_position: N/A</div><div>checked: 3417</div><div>updated: 0</div><div>failed: 0</div><div>prior_updated: 0</div><div>noscrub: 0</div><div>igif: 1</div><div>success_count: 2526979</div><div>run_time: 0 seconds</div><div>average_speed: 3417 objects/sec</div><div>real-time_speed: N/A</div><div>current_position: N/A</div><div>lf_scanned: 0</div><div>lf_repaired: 0</div><div>lf_failed: 0</div><div>[root@storage06 wurfs-OST001b]# cat oi_scrub </div><div>name: OI_scrub</div><div>magic: 0x4c5fd252</div><div>oi_files: 64</div><div>status: completed</div><div>flags:</div><div>param:</div><div>time_since_last_completed: 2 seconds</div><div>time_since_latest_start: 2 seconds</div><div>time_since_last_checkpoint: 2 seconds</div><div>latest_start_position: 12</div><div>last_checkpoint_position: 30515713</div><div>first_failure_position: N/A</div><div>checked: 3417</div><div>updated: 0</div><div>failed: 0</div><div>prior_updated: 0</div><div>noscrub: 0</div><div>igif: 1</div><div>success_count: 2526980</div><div>run_time: 0 seconds</div><div>average_speed: 3417 objects/sec</div><div>real-time_speed: N/A</div><div>current_position: N/A</div><div>lf_scanned: 0</div><div>lf_repaired: 0</div><div>lf_failed: 0</div><div><br></div><div>And, dumping the logs from the ring buffer i see:</div><div>00080000:02000400:24.0:1489665812.888068:0:35949:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:24.0:1489665812.888083:0:35949:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:27.0:1489665812.923388:0:40057:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:27.0:1489665812.923400:0:40057:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div>00002000:00080000:24.0:1489665822.903706:0:35949:0:(ofd_dev.c:1747:ofd_create_hdl()) wurfs-OST001b: reserve 64 objects in group 0x0 at 26893346</div><div>00100000:10000000:27.0:1489665822.903984:0:40212:0:(osd_scrub.c:660:osd_scrub_prep()) wurfs-OST001b: OI scrub prep, flags = 0x4e</div><div>00100000:10000000:27.0:1489665822.903992:0:40212:0:(osd_scrub.c:278:osd_scrub_file_reset()) wurfs-OST001b: reset OI scrub file, old flags = 0x0, add flags = 0x0</div><div>00100000:10000000:27.0:1489665822.904016:0:40212:0:(osd_scrub.c:1510:osd_scrub_main()) wurfs-OST001b: OI scrub start, flags = 0x4e, pos = 12</div><div>00080000:02000400:24.0:1489665822.904062:0:35949:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:24.0:1489665822.904079:0:35949:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:27.0:1489665822.940373:0:40212:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:27.0:1489665822.940385:0:40212:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div>00002000:00080000:8.0:1489665832.919771:0:10464:0:(ofd_dev.c:1747:ofd_create_hdl()) wurfs-OST001b: reserve 64 objects in group 0x0 at 26893346</div><div>00100000:10000000:20.0:1489665832.920031:0:40406:0:(osd_scrub.c:660:osd_scrub_prep()) wurfs-OST001b: OI scrub prep, flags = 0x4e</div><div>00100000:10000000:20.0:1489665832.920037:0:40406:0:(osd_scrub.c:278:osd_scrub_file_reset()) wurfs-OST001b: reset OI scrub file, old flags = 0x0, add flags = 0x0</div><div>00100000:10000000:20.0:1489665832.920057:0:40406:0:(osd_scrub.c:1510:osd_scrub_main()) wurfs-OST001b: OI scrub start, flags = 0x4e, pos = 12</div><div>00080000:02000400:8.0:1489665832.920094:0:10464:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:8.0:1489665832.920113:0:10464:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:20.0:1489665832.955088:0:40406:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:20.0:1489665832.955101:0:40406:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div>00002000:00080000:30.0:1489665842.935720:0:35960:0:(ofd_dev.c:1747:ofd_create_hdl()) wurfs-OST001b: reserve 64 objects in group 0x0 at 26893346</div><div>00100000:10000000:27.0:1489665842.936008:0:40553:0:(osd_scrub.c:660:osd_scrub_prep()) wurfs-OST001b: OI scrub prep, flags = 0x4e</div><div>00100000:10000000:27.0:1489665842.936015:0:40553:0:(osd_scrub.c:278:osd_scrub_file_reset()) wurfs-OST001b: reset OI scrub file, old flags = 0x0, add flags = 0x0</div><div>00100000:10000000:27.0:1489665842.936038:0:40553:0:(osd_scrub.c:1510:osd_scrub_main()) wurfs-OST001b: OI scrub start, flags = 0x4e, pos = 12</div><div>00080000:02000400:30.0:1489665842.936081:0:35960:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:30.0:1489665842.936096:0:35960:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:27.0:1489665842.972129:0:40553:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:27.0:1489665842.972141:0:40553:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div>00002000:00080000:10.0:1489665852.951770:0:35949:0:(ofd_dev.c:1747:ofd_create_hdl()) wurfs-OST001b: reserve 64 objects in group 0x0 at 26893346</div><div>00100000:10000000:18.0:1489665852.951986:0:40838:0:(osd_scrub.c:660:osd_scrub_prep()) wurfs-OST001b: OI scrub prep, flags = 0x4e</div><div>00100000:10000000:18.0:1489665852.951992:0:40838:0:(osd_scrub.c:278:osd_scrub_file_reset()) wurfs-OST001b: reset OI scrub file, old flags = 0x0, add flags = 0x0</div><div>00100000:10000000:18.0:1489665852.952017:0:40838:0:(osd_scrub.c:1510:osd_scrub_main()) wurfs-OST001b: OI scrub start, flags = 0x4e, pos = 12</div><div>00080000:02000400:10.0:1489665852.952060:0:35949:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:10.0:1489665852.952089:0:35949:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:18.0:1489665852.987792:0:40838:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:18.0:1489665852.987804:0:40838:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div>00002000:00080000:8.0:1489665862.967664:0:35949:0:(ofd_dev.c:1747:ofd_create_hdl()) wurfs-OST001b: reserve 64 objects in group 0x0 at 26893346</div><div>00100000:10000000:27.0:1489665862.967948:0:41207:0:(osd_scrub.c:660:osd_scrub_prep()) wurfs-OST001b: OI scrub prep, flags = 0x4e</div><div>00100000:10000000:27.0:1489665862.967955:0:41207:0:(osd_scrub.c:278:osd_scrub_file_reset()) wurfs-OST001b: reset OI scrub file, old flags = 0x0, add flags = 0x0</div><div>00100000:10000000:27.0:1489665862.967982:0:41207:0:(osd_scrub.c:1510:osd_scrub_main()) wurfs-OST001b: OI scrub start, flags = 0x4e, pos = 12</div><div>00080000:02000400:8.0:1489665862.968024:0:35949:0:(osd_handler.c:860:osd_fid_lookup()) wurfs-OST001b-os: trigger OI scrub by RPC for [0x1001b0000:0x19a5c22:0x0], rc = 0 [1]</div><div>00002000:00020000:8.0:1489665862.968040:0:35949:0:(ofd_dev.c:1781:ofd_create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>00100000:10000000:27.0:1489665863.004087:0:41207:0:(osd_scrub.c:758:osd_scrub_post()) wurfs-OST001b: OI scrub post, result = 1</div><div>00100000:10000000:27.0:1489665863.004098:0:41207:0:(osd_scrub.c:1520:osd_scrub_main()) wurfs-OST001b: OI scrub: stop, pos = 30515713: rc = 1</div><div><br></div><div>I tried to see where that FID leads but seems that the file doesnt actually exist;</div><div>(The customer has moved everything away from this osts)</div><div>[root@nfs01 ~]# lfs fid2path wurfs "[0x1001b0000:0x19a5c22:0x0]"</div><div>ioctl err -22: Invalid argument (22)</div><div>fid2path: error on FID [0x1001b0000:0x19a5c22:0x0]: Invalid argument<br><br>Not sure how to proceed form here</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 16 March 2017 at 11:03, Andrea del Monaco <span dir="ltr"><<a href="mailto:andrea.delmonaco@clustervision.com" target="_blank">andrea.delmonaco@clustervision.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div>Dear all,<br><br></div><div>We are facing an issue with one OST.</div><div>We have stopped pacemaker on the storage06 (which is the one that has that resource running):</div><div>[root@storage06 log]# pcs status | grep 1b</div><div>storage-ost001b (ocf::heartbeat:Filesystem): Started storage06.failover.cluster</div><div>storage-ost001b_monitor_120000 on storage06.failover.cluster 'not running' (7): call=295, status=complete, exitreason='none'</div><div>*</div><div>And then we have tried to execute e2fsck -n /dev/mapper/ost001b.</div><div>The e2fsck has reported nothing to be repaired.</div><div>Today, i noticed that there are still errors and we can't create files on this OST:</div><div>[Mon Mar 13 18:36:44 2017] LustreError: 42126:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Mon Mar 13 18:46:44 2017] LustreError: 35949:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Mon Mar 13 18:56:44 2017] LustreError: 26996:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Mon Mar 13 19:06:45 2017] LustreError: 26989:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 03:37:13 2017] LustreError: 26995:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 03:47:13 2017] LustreError: 44782:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 03:57:14 2017] LustreError: 35964:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 04:07:14 2017] LustreError: 35964:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 04:17:14 2017] LustreError: 26994:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 04:27:15 2017] LustreError: 27006:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 04:37:15 2017] LustreError: 27006:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 04:47:15 2017] LustreError: 35964:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>[Tue Mar 14 07:07:30 2017] LustreError: 35960:0:(ofd_dev.c:1781:ofd_<wbr>create_hdl()) wurfs-OST001b: unable to precreate: rc = -115</div><div>Llooking at cat /usr/include/asm-generic/<wbr>errno.h, seems that error refers to:</div><div>#define EINPROGRESS 115 /* Operation now in progress */</div><div>#define ESTALE 116 /* Stale file handle */</div><div>(on some other osts we do have error 116 as well)</div><div><br>Any idea about what to do next?<br><br>I will increase the verbose and dump the logs from the ring buffer.<br><br>Kind regards,</div>-- <br><div class="m_-4890827082586633002gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br><table height="195" width="312" style="font-size:7pt;font-family:tahoma,arial,helvetica;padding:0px;border:1px solid rgb(234,239,242)"><tbody><tr valign="top"><td colspan="2"><img alt="clustervision_logo.png" title="" src="http://www.clustervision.com/images/cv_sig.gif"></td></tr><tr><td valign="bottom" nowrap style="padding-left:12px"><font style="font-size:9pt;font-weight:bold">Andrea Del Monaco<br></font><font style="font-size:7pt">Internal Engineer<br> <br> <br> <br>Skype: delmonaco.andrea<br><a href="mailto:andrea.delmonaco@clustervision.com" style="text-decoration:none;color:rgb(57,136,194)" target="_blank">andrea.delmonaco@<wbr>clustervision.com</a></font><br> <br></td><td valign="bottom" nowrap><font style="font-size:8pt;font-weight:bold">ClusterVision BV<br></font><font style="font-size:7pt">Gyroscoopweg 56<br>1042 AC Amsterdam<br>The Netherlands<br>Tel: <a href="tel:+31%2020%20407%207550" value="+31204077550" target="_blank">+31 20 407 7550</a><br>Fax: <a href="tel:+31%2084%20759%208389" value="+31847598389" target="_blank">+31 84 759 8389</a><br><a href="http://www.clustervision.com/" style="text-decoration:none;color:rgb(0,63,119)" target="_blank">www.clustervision.com</a></font><br> </td></tr></tbody></table><br></div></div></div></div>
</div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br><table height="195" width="312" style="font-size:7pt;font-family:Tahoma,Arial,Helvetica;padding:0px;border:1px solid rgb(234,239,242)"><tbody><tr valign="top"><td colspan="2"><img alt="clustervision_logo.png" title="" src="http://www.clustervision.com/images/cv_sig.gif"></td></tr><tr><td valign="bottom" nowrap style="padding-left:12px"><font style="font-size:9pt;font-weight:bold">Andrea Del Monaco<br></font><font style="font-size:7pt">Internal Engineer<br> <br> <br> <br>Skype: delmonaco.andrea<br><a href="mailto:andrea.delmonaco@clustervision.com" style="text-decoration:none;color:rgb(57,136,194)" target="_blank">andrea.delmonaco@clustervision.com</a></font><br> <br></td><td valign="bottom" nowrap><font style="font-size:8pt;font-weight:bold">ClusterVision BV<br></font><font style="font-size:7pt">Gyroscoopweg 56<br>1042 AC Amsterdam<br>The Netherlands<br>Tel: +31 20 407 7550<br>Fax: +31 84 759 8389<br><a href="http://www.clustervision.com/" style="text-decoration:none;color:rgb(0,63,119)" target="_blank">www.clustervision.com</a></font><br> <br></td></tr></tbody></table></div></div></div></div></div></div></div>
</div>