<div dir="ltr">Hi All,<div><br></div><div>I wanted to follow up and explain how I solved the issue in case anyone else encounters this situation.  All environments are different, so YMMV.</div><div><br></div><div>(Please note per my initial email, the problematic OST is marked as active before performing these steps.)</div><div><br></div><div>First, I marked the problematic OST as degraded (on the OSS):</div><div><div># lctl set_param obdfilter.<OST>.degraded=1</div><div><br></div><div>Second, I kicked off a lfsck for the Lustre filesystem (on the MDS):</div><div># lctl lfsck_start --orphan --device <MDS></div><div><br></div><div>Once the lfsck had deleted the orphaned chunks, I marked the OST as normal (on the OSS):</div><div># lctl set_param obdfilter.<OST>.degraded=0</div></div><div><br></div><div>In /var/log/messages on the OSS, I could see the orphans were deleted:</div><div>kernel: Lustre: <OST>: deleting orphan objects from 0x0:162957594 to 0x0:162957873</div><div><br></div><div>I would like to thank Shawn [Hall] and Bob [Ball] for their responses, which lead me in the right direction.</div><div><br></div><div>Thank you,</div><div>Chad</div><div><br></div><div class="gmail_extra"><div><div class="m_-8064074566569094095m_338594123266372613gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">------------------------------<wbr>------------------------------<u></u><u></u></font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">Chad DeWitt, CISSP | HPC Storage Administrator<b><u></u><u></u></b></font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">UNC Charlotte <b>| </b>ITS – University Research Computing</font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">------------------------------<wbr>------------------------------</font></span></p></div></div></div>
<br><div class="gmail_quote">On Mon, Oct 17, 2016 at 2:32 PM, DeWitt, Chad <span dir="ltr"><<a href="mailto:ccdewitt@uncc.edu" target="_blank">ccdewitt@uncc.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi All.<div><br></div><div>I am still learning Lustre and I have run into an issue.  I have referred to both the Lustre admin manual and Google, but I've had no luck in finding the answer.  We are using Lustre 2.8.0.</div><div><br></div><div>We had an OST fill due to a single large file.  I took the OST offline via the lctl deactivate command to prevent new files from being created on the OST.  While the OST was deactivated, the user deleted the file.  Now it appears the metadata is gone from the MDS (which makes sense), but the data chunks on the OST remain even after I reactivated the OST.</div><div><br></div><div>I believe that running lfsck would resolve this issue, but I am not sure if I should run it on the MDS or the OST?  If this is the fix, what options would I need to use?</div><div><br></div><div>Thank you in advance,</div><div>Chad</div><div><br></div><div><br clear="all"><div><div class="m_-8064074566569094095m_338594123266372613m_6463806000465592449gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">------------------------------<wbr>------------------------------<u></u><u></u></font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">Chad DeWitt, CISSP | HPC Storage Administrator<b><u></u><u></u></b></font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="background-color:rgba(255,255,255,0)"><font face="monospace, monospace">UNC Charlotte <b>| </b>ITS – University Research Computing</font></span></p><p style="font-size:12.8px;margin:0in 0in 0.0001pt"><span style="font-family:monospace,monospace;background-color:rgba(255,255,255,0);font-size:12.8px">------------------------------<wbr>------------------------------</span><br></p></div></div></div>
</div></div>
</blockquote></div><br></div></div>