<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Another tidbit: the 2 OST nodes showing problems have an lsfsck running and I cannot stop it<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[root@elfsa2o1 ~]# grep status /proc/fs/lustre/osd-zfs/lfsarc02-OST*/oi_scrub<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST0000/oi_scrub:status: completed<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST0002/oi_scrub:status: scanning<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST0004/oi_scrub:status: scanning<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST0006/oi_scrub:status: scanning<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST0008/oi_scrub:status: scanning<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">/proc/fs/lustre/osd-zfs/lfsarc02-OST000a/oi_scrub:status: scanning<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">An lfsck on the MDT hangs, as orphaned inodes cannot be deleted<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[ 9568.345851] LustreError: 6592:0:(osp_precreate.c:970:osp_precreate_cleanup_orphans()) lfsarc02-OST0006-osc-MDT0000: cannot cleanup orphans: rc = -22<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-family:"Courier New"">[ 9568.364339] LustreError: 6592:0:(osp_precreate.c:970:osp_precreate_cleanup_orphans()) Skipped 6590 previous similar messages<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Is there any way to stop the scans on the OSTs?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> Hebenstreit, Michael <br>
<b>Sent:</b> Tuesday, June 23, 2020 11:19<br>
<b>To:</b> lustre-discuss@lists.lustre.org<br>
<b>Subject:</b> problem after upgrading 2.10.4 to 2.12.4<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We experienced on our Archive Lustre (ZFS based, 4 OST servers with 6 OSTs pools each) the very same issues as described here:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><a href="https://jira.whamcloud.com/browse/LU-13392">https://jira.whamcloud.com/browse/LU-13392</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Certain directories cannot be accessed, and the OSTs shows thousands of errors “Can't find FID Sequence”. Unfortunately I cannot even start the recommended file system checking on the OST devices  – example:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">[root@elfsa2o1 ~]# lctl lfsck_start -o -M lfsarc02-OST0002<o:p></o:p></p>
<p class="MsoNormal">Fail to start LFSCK: Operation not permitted<o:p></o:p></p>
<p class="MsoNormal">[root@elfsa2o1 ~]# lctl lfsck_start -M lfsarc02-OST0002<o:p></o:p></p>
<p class="MsoNormal">Fail to start LFSCK: Operation not supported<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">On a similar system that was first installed as 2.10.4, then upgraded to 2.10.8, and now is also running on 2.12.4, at least the second command starts:<o:p></o:p></p>
<p class="MsoNormal"># lctl lfsck_start -M lfsarc01-OST0002<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The commands are issued on the system with the actual ZFS pools running.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Questions:<o:p></o:p></p>
<p class="MsoNormal">Is there any way to force the file system checks?<o:p></o:p></p>
<p class="MsoNormal">Has anyone found a workaround for the FID sequence errors?<o:p></o:p></p>
<p class="MsoNormal">Can I downgrade from 2.12.4 to 2.10.8 without destroying the FS?<o:p></o:p></p>
<p class="MsoNormal">Has the error described in <a href="https://jira.whamcloud.com/browse/LU-13392%20been%20fixed%20in%202.12.5">
https://jira.whamcloud.com/browse/LU-13392 been fixed in 2.12.5</a>?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thanks<o:p></o:p></p>
<p class="MsoNormal">Michael<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">------------------------------------------------------------------------<br>
Michael Hebenstreit                 Senior Cluster Architect<br>
Intel Corporation, MS: RR1-105/H14  TSACG<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Courier New";color:#222222;background:white">1600 Rio Rancho Blvd SE</span><span style="font-size:10.0pt;font-family:"Courier New"">             Tel.:   +1 505-794-3144
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">Rio Rancho, NM 87124<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Courier New"">UNITED STATES                       E-mail:
<a href="mailto:michael.hebenstreit@intel.com"><span style="color:blue">michael.hebenstreit@intel.com</span></a></span><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>