<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<span style="font-size:12pt">> I am not sure about the discrepancy of 3T.  Maybe that is due to some ZFS and/or Lustre overhead?</span></div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<div style="font-size:12pt">
<div><br>
</div>
<div>Slop space?</div>
<div><br>
</div>
<div>   https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Module%20Parameters.html#spa-slop-shift</div>
<div><br>
</div>
-Laura</div>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div id="appendonsend"></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" face="Calibri, sans-serif" color="#000000"><b>Od:</b> lustre-discuss <lustre-discuss-bounces@lists.lustre.org> v imenu Mohr, Rick via lustre-discuss <lustre-discuss@lists.lustre.org><br>
<b>Poslano:</b> torek, 06. april 2021 16:34<br>
<b>Za:</b> Makia Minich <makia@systemfabricworks.com>; lustre-discuss@lists.lustre.org <lustre-discuss@lists.lustre.org><br>
<b>Zadeva:</b> Re: [lustre-discuss] [EXTERNAL] ZFS and OST Space Difference</font>
<div> </div>
</div>
<div class="BodyFragment"><font size="2"><span style="font-size:11pt">
<div class="PlainText">Makia,<br>
<br>
The drive sizes are 7.6 TB which translates to about 6.9 TiB (which is the unit that zpool uses for "T").  So the zpool sizes as just 10 x 6.9T = 69T since zpool shows the total amount of disk space available to the pool.  The usable space (which is what df
 is reporting) should be more like 0.8 x 69T = 55T.  I am not sure about the discrepancy of 3T.  Maybe that is due to some ZFS and/or Lustre overhead?<br>
<br>
--Rick<br>
<br>
On 4/6/21, 3:49 PM, "lustre-discuss on behalf of Makia Minich" <lustre-discuss-bounces@lists.lustre.org on behalf of makia@systemfabricworks.com> wrote:<br>
<br>
    I believe this was discussed a while ago, but I was unable to find clear answers, so I’ll re-ask in hopefully a slightly different way.<br>
    On an OST, I have 30 drives, each at 7.6TB. I create 3 raidz2 zpools of 10 devices (ashift=12):<br>
<br>
    [root@lustre47b ~]# zpool list<br>
    NAME            SIZE  ALLOC   FREE  CKPOINT  EXPANDSZ   FRAG    CAP  DEDUP    HEALTH  ALTROOT<br>
    oss55-0  69.9T  37.3M  69.9T        -         -     0%     0%  1.00x    ONLINE  -<br>
    oss55-1  69.9T  37.3M  69.9T        -         -     0%     0%  1.00x    ONLINE  -<br>
    oss55-2  69.9T  37.4M  69.9T        -         -     0%     0%  1.00x    ONLINE  -<br>
    [root@lustre47b ~]#<br>
<br>
<br>
    Running a mkfs.lustre against these (and the lustre mount) and I see:<br>
<br>
    [root@lustre47b ~]# df -h | grep ost<br>
    oss55-0/ost165             52T   27M   52T   1% /lustre/ost165<br>
    oss55-1/ost166             52T   27M   52T   1% /lustre/ost166<br>
    oss55-2/ost167             52T   27M   52T   1% /lustre/ost167<br>
    [root@lustre47b ~]#<br>
<br>
<br>
    Basically, we’re seeing a pretty dramatic loss in capacity (156TB vs 209.7TB, so a loss of about 50TB). Is there any insight on where this capacity is disappearing to? If there some mkfs.lustre or zpool option I missed in creating this? Is something just
 reporting slightly off and that space really is there?<br>
<br>
    Thanks.<br>
<br>
    —<br>
<br>
<br>
    Makia Minich<br>
<br>
    Chief Architect<br>
<br>
    System Fabric Works<br>
    "Fabric Computing that Works”<br>
<br>
    "Oh, I don't know. I think everything is just as it should be, y'know?”<br>
    - Frank Fairfield<br>
<br>
<br>
<br>
<br>
<br>
<br>
<br>
_______________________________________________<br>
lustre-discuss mailing list<br>
lustre-discuss@lists.lustre.org<br>
<a href="https://urldefense.proofpoint.com/v2/url?u=http-3A__lists.lustre.org_listinfo.cgi_lustre-2Ddiscuss-2Dlustre.org&d=DwIGaQ&c=CJqEzB1piLOyyvZjb8YUQw&r=897kjkV-MEeU1IVizIfc5Q&m=habzcIRCKUXYLTbJVvgv2fPgmEuBnVtUdsgTfIsAHZY&s=M7RWFzL5Xm7uDovhMY_cI9Hvk-jWavZyfLWjpMSAs1E&e=">https://urldefense.proofpoint.com/v2/url?u=http-3A__lists.lustre.org_listinfo.cgi_lustre-2Ddiscuss-2Dlustre.org&d=DwIGaQ&c=CJqEzB1piLOyyvZjb8YUQw&r=897kjkV-MEeU1IVizIfc5Q&m=habzcIRCKUXYLTbJVvgv2fPgmEuBnVtUdsgTfIsAHZY&s=M7RWFzL5Xm7uDovhMY_cI9Hvk-jWavZyfLWjpMSAs1E&e=</a>
<br>
</div>
</span></font></div>
</body>
</html>