<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">I believe this was discussed a while ago, but I was unable to find clear answers, so I\u2019ll re-ask in hopefully a slightly different way.<div class=""><br class=""></div><div class="">On an OST, I have 30 drives, each at 7.6TB. I create 3 raidz2 zpools of 10 devices (ashift=12):</div><div class=""><br class=""></div><div class=""><div class=""><font face="Courier New" class="">[root@lustre47b ~]# zpool list</font></div><div class=""><font face="Courier New" class="">NAME &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;SIZE &nbsp;ALLOC &nbsp; FREE &nbsp;CKPOINT &nbsp;EXPANDSZ &nbsp; FRAG &nbsp; &nbsp;CAP &nbsp;DEDUP &nbsp; &nbsp;HEALTH &nbsp;ALTROOT</font></div><div class=""><font face="Courier New" class="">oss55-0 &nbsp;69.9T &nbsp;37.3M &nbsp;69.9T &nbsp; &nbsp; &nbsp; &nbsp;- &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; 0% &nbsp; &nbsp; 0% &nbsp;1.00x &nbsp; &nbsp;ONLINE &nbsp;-</font></div><div class=""><font face="Courier New" class="">oss55-1 &nbsp;69.9T &nbsp;37.3M &nbsp;69.9T &nbsp; &nbsp; &nbsp; &nbsp;- &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; 0% &nbsp; &nbsp; 0% &nbsp;1.00x &nbsp; &nbsp;ONLINE &nbsp;-</font></div><div class=""><font face="Courier New" class="">oss55-2 &nbsp;69.9T &nbsp;37.4M &nbsp;69.9T &nbsp; &nbsp; &nbsp; &nbsp;- &nbsp; &nbsp; &nbsp; &nbsp; - &nbsp; &nbsp; 0% &nbsp; &nbsp; 0% &nbsp;1.00x &nbsp; &nbsp;ONLINE &nbsp;-</font></div><div class=""><font face="Courier New" class="">[root@lustre47b ~]#</font></div></div><div class=""><br class=""></div><div class="">Running a mkfs.lustre against these (and the lustre mount) and I see:</div><div class=""><br class=""></div><div class=""><div class=""><font face="Courier New" class="">[root@lustre47b ~]# df -h | grep ost</font></div><div class=""><font face="Courier New" class="">oss55-0/ost165 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52T &nbsp; 27M &nbsp; 52T &nbsp; 1% /lustre/ost165</font></div><div class=""><font face="Courier New" class="">oss55-1/ost166 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52T &nbsp; 27M &nbsp; 52T &nbsp; 1% /lustre/ost166</font></div><div class=""><font face="Courier New" class="">oss55-2/ost167 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 52T &nbsp; 27M &nbsp; 52T &nbsp; 1% /lustre/ost167</font></div><div class=""><font face="Courier New" class="">[root@lustre47b ~]#</font></div></div><div class=""><br class=""></div><div class="">Basically, we\u2019re seeing a pretty dramatic loss in capacity (156TB vs 209.7TB, so a loss of about 50TB). Is there any insight on where this capacity is disappearing to? If there some mkfs.lustre or zpool option I missed in creating this? Is something just reporting slightly off and that space really is there?</div><div class=""><br class=""></div><div class="">Thanks.</div><div class=""><br class=""><div class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div style="color: rgb(0, 0, 0); letter-spacing: normal; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div class="">\u2014<br class=""></div><div class=""><br class=""></div><div class="">Makia Minich<br class=""></div><div class="">Chief Architect<br class=""></div><div class="">System Fabric Works<br class="">"Fabric Computing that Works\u201d<br class=""><br class="">"Oh, I don't know. I think everything is&nbsp;just as it should be, y'know?\ufeff\u201d<br class="">- Frank Fairfield</div></div></div></div></div>
</div>
<br class=""></div></body></html>