<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Title" content="">
<meta name="Keywords" content="">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Courier New";
panose-1:2 7 3 9 2 2 5 2 4 4;}
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
{font-family:PMingLiU;
panose-1:2 2 5 0 0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
tt
{mso-style-priority:99;
font-family:"Courier New";}
span.apple-style-span
{mso-style-name:apple-style-span;}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:Courier;}
span.EmailStyle21
{mso-style-type:personal-reply;
font-family:Calibri;
color:windowtext;}
span.msoIns
{mso-style-type:export-only;
mso-style-name:"";
text-decoration:underline;
color:teal;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style>
</head>
<body bgcolor="white" lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri">You shouldn't enable ChangeLogs unless you have some application consuming the logs (i.e. RobinHood). Otherwise, as you observe, the ChangeLogs grow to fill all available space.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><o:p> </o:p></span></p>
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Calibri;color:black">Cheers, Andreas<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Calibri;color:black">-- <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Calibri;color:black">Andreas Dilger<o:p></o:p></span></p>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Calibri;color:black">Lustre Principal Architect<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:Calibri;color:black">Intel High Performance Data Division</span><span style="font-size:11.0pt;font-family:Calibri"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Calibri"><o:p> </o:p></span></p>
<blockquote style="border:none;border-left:solid #B5C4DF 4.5pt;padding:0in 0in 0in 4.0pt;margin-left:3.75pt;margin-right:0in">
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:Consolas;color:black">On 2016/09/29, 10:04, "lustre-discuss on behalf of Jessica Otey" <<a href="mailto:lustre-discuss-bounces@lists.lustre.org">lustre-discuss-bounces@lists.lustre.org</a> on behalf
of <a href="mailto:jotey@nrao.edu">jotey@nrao.edu</a>> wrote:<o:p></o:p></span></p>
</div>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On 9/29/16 12:36 PM, Colin Faber wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">Is the changelogs feature enabled?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</blockquote>
<p class="MsoNormal">Yes, and.. the output of lfs changelogs gives us 360,000 lines... Do you think that is the source of all the 'extra' data?<br>
<br>
<o:p></o:p></p>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<div>
<p class="MsoNormal">On Thu, Sep 29, 2016 at 8:58 AM, Jessica Otey <<a href="mailto:jotey@nrao.edu" target="_blank">jotey@nrao.edu</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt">Hello all,<br>
I write on behalf of my colleagues in Chile, who are experiencing a bizarre problem with their MDT, namely, it is filling up with 4 MB files. There is no issue with the number of inodes, of which there are hundreds of millions unused.
<o:p></o:p></p>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">[root@jaopost-mds ~]# tune2fs -l /dev/sdb2 | grep -i inode</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">device /dev/sdb2 mounted by lustre</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery flex_bg dirdata sparse_super large_file huge_file uninit_bg dir_nlink quota</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Inode count: 239730688</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Free inodes: 223553405</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Inodes per group: 32768</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Inode blocks per group: 4096</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">First inode: 11</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Inode size: 512</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Journal inode: 8</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Journal backup: inode blocks</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">User quota inode: 3</span></tt><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><tt><span style="font-size:10.0pt">Group quota inode: 4</span></tt><o:p></o:p></p>
</div>
<p class="MsoNormal"><br>
Has anyone ever encountered such a problem? The only thing unusual about this cluster is that it is using 2.5.3 MDS/OSSes while still using 1.8.9 clients—something I didn't actually believe was possible, as I thought the last version to work effectively with
1.8.9 clients was 2.4.3. However, for all I know, the version gap may have nothing to do with this phenomena.
<span style="font-family:PMingLiU"><br>
<br>
</span>Any and all advice is appreciated. Any general information on the structure of the MDT also welcome, as such info is in short supply on the internet.<br>
<br>
Thanks,<br>
Jessica<br>
<br>
Below is a look inside the O folder at the root of the MDT, where there are about 48,000 4MB files:<o:p></o:p></p>
<pre>[root@jaopost-mds O]# pwd<o:p></o:p></pre>
<pre>/lustrebackup/O<o:p></o:p></pre>
<pre>[root@jaopost-mds O]# tree -L 1<o:p></o:p></pre>
<pre>.<o:p></o:p></pre>
<pre>├── 1<o:p></o:p></pre>
<pre>├── 10<o:p></o:p></pre>
<pre>└── 200000003<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>3 directories, 0 files<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>[root@jaopost-mds O]# ls -l 1<o:p></o:p></pre>
<pre>total 2240<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d0<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d1<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 17:46 d10<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 17:46 d11<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d12<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 18:04 d13<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 18:04 d14<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d15<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 18:04 d16<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 18:04 d17<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d18<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d19<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 16:25 d2<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d20<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d21<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 18:04 d22<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 18:04 d23<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 16:11 d24<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:11 d25<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:11 d26<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:11 d27<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d28<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d29<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d3<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 16:25 d30<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 16:25 d31<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d4<o:p></o:p></pre>
<pre>drwx------ 2 root root 61440 sep 16 16:25 d5<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 16:25 d6<o:p></o:p></pre>
<pre>drwx------ 2 root root 73728 sep 16 16:25 d7<o:p></o:p></pre>
<pre>drwx------ 2 root root 65536 sep 16 17:46 d8<o:p></o:p></pre>
<pre>drwx------ 2 root root 69632 sep 16 17:46 d9<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 8 ene 4 2016 LAST_ID<o:p></o:p></pre>
<pre><o:p> </o:p></pre>
<pre>[root@jaopost-mds d0]# ls -ltr | more<o:p></o:p></pre>
<pre>total 5865240<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 252544 ene 4 2016 32<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 2396224 ene 9 2016 2720<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 9 2016 2752<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2784<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2816<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2848<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2880<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2944<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 2976<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3008<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3040<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3072<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3104<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3136<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3168<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3200<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3232<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3264<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3296<o:p></o:p></pre>
<pre>-rw-r--r-- 1 root root 4153280 ene 10 2016 3328<o:p></o:p></pre>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</blockquote>
<p class="MsoNormal"><o:p> </o:p></p>
</blockquote>
</div>
</body>
</html>