Hi,<div><br></div>Just like Malcolm suggested, before I implemented Robinhood, I built the list and removed files (that were not accessed in more than 31 days). I found it much faster than all other methods. <div><br></div><div><font size="2"><span style="background-color:rgba(255,255,255,0)">     /usr/bin/lfs find /scratch/${folder} -A +31 -p -t f | xargs -0 -n 10 -P 8 /bin/rm</span></font></div><div><font size="2"><span style="background-color:rgba(255,255,255,0)"><br></span></font></div><div><font size="2"><span style="background-color:rgba(255,255,255,0)">10 and 8 for flags n and p worked well for me on our system. </span></font></div><div><div><br></div><div>Sreedhar. </div><div>New York University. </div><div><span></span><font size="2"><span style="background-color:rgba(255,255,255,0)">     </span></font><br><br>On Friday, July 10, 2015, Cowe, Malcolm J <<a href="javascript:_e(%7B%7D,'cvml','malcolm.j.cowe@intel.com');" target="_blank">malcolm.j.cowe@intel.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-GB" link="blue" vlink="purple">
<div>
<p class="MsoNormal">There’s something in the rm command that makes recursive deletes really expensive, although I don’t know why. I’ve found in the past that even running a regular find ... –exec rm {} \; has been quicker. Running lfs find to build the file
 list would presumably be quicker still.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Malcolm.<u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal" style="margin-left:36.0pt"><b><span lang="EN-US" style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span lang="EN-US" style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> lustre-discuss [mailto:<a>lustre-discuss-bounces@lists.lustre.org</a>]
<b>On Behalf Of </b>Andrus, Brian Contractor<br>
<b>Sent:</b> Saturday, July 11, 2015 8:05 AM<br>
<b>To:</b> <a>lustre-discuss@lists.lustre.org</a><br>
<b>Subject:</b> [lustre-discuss] Removing large directory tree<u></u><u></u></span></p>
</div>
</div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US">All,<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US">I understand that doing recursive file operations can be taxing on lustre.<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US">So, I wonder if there is a preferred performance-minded way to remove an entire directory tree that is several TB in size.<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US">The standard rm -rf ./dir seems to spike the cpu usage on my OSSes where it sits and sometimes causes clients to be evicted.<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US"><u></u> <u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US" style="color:#1f497d">Brian Andrus<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US" style="color:#1f497d">ITACS/Research Computing<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US" style="color:#1f497d">Naval Postgraduate School<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US" style="color:#1f497d">Monterey, California<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US" style="color:#1f497d">voice: 831-656-6238<u></u><u></u></span></p>
<p class="MsoNormal" style="margin-left:36.0pt"><span lang="EN-US"><u></u> <u></u></span></p>
</div>
</div>

<br>_______________________________________________<br>
lustre-discuss mailing list<br>
<a>lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
<br></blockquote></div>
</div><br><br>-- <br><div dir="ltr"><font size="2" face="arial narrow, sans-serif">Sreedhar Manchu<br>HPC Systems Administrator</font><div><font size="2" face="arial narrow, sans-serif">eSystems & Research Services<br>New York University, New York 10012</font></div><div><font face="arial narrow, sans-serif"><b><a href="http://unixoperator.blogspot.com" target="_blank">http://unixoperator.blogspot.com</a></b></font></div><div><font face="arial narrow, sans-serif"><b><a href="https://wikis.nyu.edu/display/~sm4082" target="_blank">https://wikis.nyu.edu/display/~sm4082</a></b></font></div></div><br>