<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div apple-content-edited="true" class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">From the server:</div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""></div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">mount -t lustre<br class="">/dev/mapper/vgsrv6-lvsrv6_mgs on /mnt/mgs6 type lustre (rw)<br class="">/dev/mapper/vgsrv6-lvsrv6_mdt on /mnt/mdt_fssrv6 type lustre (rw)<br class="">/dev/mapper/vgsrv6-lvsrv6_ost on /mnt/ost_fssrv6 type lustre (rw)
</div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""></div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">From a client:</div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""></div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">lfs df -hi | grep -i fssrv6<br class="">fssrv6-MDT0000_UUID        39.1M        1.2M       37.9M   3% /mnt/volumes/5[MDT:0]<br class="">fssrv6-OST0001_UUID         4.6M        1.2M        3.4M  26% /mnt/volumes/5[OST:1]</div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""></div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">lfs df -h | grep -i fssrv6<br class="">fssrv6-MDT0000_UUID        58.6G       30.6G       24.1G  56% /mnt/volumes/5[MDT:0]<br class="">fssrv6-OST0001_UUID        77.0G       12.3G       60.7G  17% /mnt/volumes/5[OST:1]</div><div style="orphans: auto; text-align: start; text-indent: 0px; widows: auto; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><br class=""></div>
</div></div></div><br class=""><div><blockquote type="cite" class=""><div class="">On 23 Apr 2015, at 00:32, Alexander I Kulyavtsev <<a href="mailto:aik@fnal.gov" class="">aik@fnal.gov</a>> wrote:</div><br class="Apple-interchange-newline"><div class="">

<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252" class="">

<div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
<div class="">Before you remounted as ldiskfs, what is the output of</div>
<div class="">  mount -t lustre</div>
<div class="">  lfs df -hi</div>
<div class="">  lfs df -h</div>
<div class=""><br class="">
</div>
<div class="">the first command is to verify fs is actually mounted as lustre.</div>
<div class=""></div>
<div class="">Alex.</div>
<br class="">
<div class="">
<div class="">On Apr 22, 2015, at 4:23 PM, Colin Faber <<a href="mailto:cfaber@gmail.com" class="">cfaber@gmail.com</a>> wrote:</div>
<br class="Apple-interchange-newline">
<blockquote type="cite" class="">
<div dir="ltr" class="">You could look at your MDT partition directly, either unmount it and remount as ldiskfs and examine where your space is going, or use debugfs to do the same, with it mounted.
<div class=""><br class="">
</div>
</div>
<div class="gmail_extra"><br class="">
<div class="gmail_quote">On Wed, Apr 22, 2015 at 11:57 AM, Radu Popescu <span dir="ltr" class="">
<<a href="mailto:radu.popescu@amoma.com" target="_blank" class="">radu.popescu@amoma.com</a>></span> wrote:<br class="">
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div style="word-wrap:break-word" class="">
<div class="">
<div style="word-wrap:break-word" class="">
<div style="word-wrap:break-word" class="">
<div style="letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
Hi,</div>
<div style="letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
<br class="">
</div>
<div style="letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
changelog is not enabled. Iíve checked /proc/fs/lustre/mdd/NAMEOFMDT/changelog_users and got:</div>
<div style="letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
<br class="">
</div>
<div style="text-align:start;text-indent:0px;word-wrap:break-word" class="">current index: 0<br class="">
ID    index</div>
<div style="text-align:start;text-indent:0px;word-wrap:break-word" class=""><br class="">
</div>
<div style="text-align:start;text-indent:0px;word-wrap:break-word" class="">Thanks,</div>
<div style="text-align:start;text-indent:0px;word-wrap:break-word" class="">Radu</div>
<div style="letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; word-wrap: break-word;" class="">
<br class="">
</div>
</div>
</div>
</div>
<div class="">
<div class="h5"><br class="">
<div class="">
<blockquote type="cite" class="">
<div class="">On 22 Apr 2015, at 19:52, Colin Faber <<a href="mailto:cfaber@gmail.com" target="_blank" class="">cfaber@gmail.com</a>> wrote:</div>
<br class="">
<div class="">
<div dir="ltr" class="">Do you have changelogs enabled?</div>
<div class="gmail_extra"><br class="">
<div class="gmail_quote">On Wed, Apr 22, 2015 at 2:14 AM, Radu Popescu <span dir="ltr" class="">
<<a href="mailto:radu.popescu@amoma.com" target="_blank" class="">radu.popescu@amoma.com</a>></span> wrote:<br class="">
<blockquote class="gmail_quote" style="margin: 0px 0px 0px 0.8ex; border-left-width: 1px; border-left-color: rgb(204, 204, 204); border-left-style: solid; padding-left: 1ex; position: static; z-index: auto;">
<div style="word-wrap:break-word" class="">
<div class="">Hi,</div>
<div class=""><br class="">
</div>
<div class="">I have the following Lustre setup:</div>
<div class=""><br class="">
</div>
<div class="">- servers</div>
<div class="">- number: 9</div>
<div class="">- Lustre version: 2.5.3</div>
<div class="">- OS: CentOS 6.6<br class="">
- RPM URL: <a href="https://downloads.hpdd.intel.com/public/lustre/lustre-2.5.3/el6/server/RPMS/" target="_blank" class="">https://downloads.hpdd.intel.com/public/lustre/lustre-2.5.3/el6/server/RPMS/</a></div>
<div class=""><br class="">
</div>
<div class="">- clients</div>
<div class="">- number: 90</div>
<div class="">- Lustre version: 2.5.56</div>
<div class="">- OS: Debian Wheezy</div>
<div class="">- Packages were manually created from sources</div>
<div class="">- all clients have all 9 Lustre mountpoints</div>
<div class=""><br class="">
</div>
<div class="">Lustre setup:</div>
<div class=""><br class="">
</div>
<div class="">MGS + MDT + OST all stay on a single LUN which has a VG (160GB) created and 3 LVs for each of the partitions, all mounted on each server:</div>
<div class=""><br class="">
</div>
<div class="">MGS - 4GB</div>
<div class="">MDT - 78.12GB</div>
<div class="">OST - 78.14GB</div>
<div class=""><br class="">
</div>
<div class="">(Iíve chosen a comparable size for MDT and OST because of the small file size)</div>
<div class="">- Total number of files is at around 16 million, sizes between <1K and 1.7MB. They are not equally spread on all mountpoints so letís say I have a 2M maximum number of files on a Lustre volume.</div>
<div class=""><br class="">
</div>
<div class="">My problem is that MDT partition is getting full. Inodes are fine, only 3% used, which is ok, but the space used is > 50% used, and constantly dropping. So I think that within a week, Iíll be out of storage on all MDT partitions. And I didnít specify any
 special options when creating MDT partitions, so bytes per inode should be at 16K (default setting).</div>
<div class=""><br class="">
</div>
<div class="">Anyone has any ideas?</div>
<div class=""><br class="">
</div>
<div class="">Thanks,</div>
<div class="">Radu</div>
</div>
<br class="">
_______________________________________________<br class="">
lustre-discuss mailing list<br class="">
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank" class="">lustre-discuss@lists.lustre.org</a><br class="">
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank" class="">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br class="">
<br class="">
</blockquote>
</div>
<br class="">
</div>
</div>
</blockquote>
</div>
<br class="">
</div>
</div>
</div>
</blockquote>
</div>
<br class="">
</div>
_______________________________________________<br class="">
lustre-discuss mailing list<br class="">
<a href="mailto:lustre-discuss@lists.lustre.org" class="">lustre-discuss@lists.lustre.org</a><br class="">
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" class="">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br class="">
</blockquote>
</div>
<br class="">
</div>

</div></blockquote></div><br class=""></body></html>