
<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">Hi,</div><div class=""><br class=""></div><div class="">I have the following Lustre setup:</div><div class=""><br class=""></div><div class="">- servers</div><div class="">- number: 9</div><div class="">- Lustre version: 2.5.3</div><div class="">- OS: CentOS 6.6<br class="">- RPM URL: <a href="https://downloads.hpdd.intel.com/public/lustre/lustre-2.5.3/el6/server/RPMS/" class="">https://downloads.hpdd.intel.com/public/lustre/lustre-2.5.3/el6/server/RPMS/</a></div><div class=""><br class=""></div><div class="">- clients</div><div class="">- number: 90</div><div class="">- Lustre version: 2.5.56</div><div class="">- OS: Debian Wheezy</div><div class="">- Packages were manually created from sources</div><div class="">- all clients have all 9 Lustre mountpoints</div><div class=""><br class=""></div><div class="">Lustre setup:</div><div class=""><br class=""></div><div class="">MGS + MDT + OST all stay on a single LUN which has a VG (160GB) created and 3 LVs for each of the partitions, all mounted on each server:</div><div class=""><br class=""></div><div class="">MGS - 4GB</div><div class="">MDT - 78.12GB</div><div class="">OST - 78.14GB</div><div class=""><br class=""></div><div class="">(I’ve chosen a comparable size for MDT and OST because of the small file size)</div><div class="">- Total number of files is at around 16 million, sizes between <1K and 1.7MB. They are not equally spread on all mountpoints so let’s say I have a 2M maximum number of files on a Lustre volume.</div><div class=""><br class=""></div><div class="">My problem is that MDT partition is getting full. Inodes are fine, only 3% used, which is ok, but the space used is > 50% used, and constantly dropping. So I think that within a week, I’ll be out of storage on all MDT partitions. And I didn’t specify any special options when creating MDT partitions, so bytes per inode should be at 16K (default setting).</div><div class=""><br class=""></div><div class="">Anyone has any ideas?</div><div class=""><br class=""></div><div class="">Thanks,</div><div class="">Radu</div></body></html>