<div dir="ltr"><div class="gmail_default" style="font-size:small">Today, in our lustre 2.10.3 filesystem, the MDT ran out of inodes. We are using ZFS as the backing filesystem.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"><span style="font-family:monospace">[loforbes@mds02 ~]$ df -i -t lustre<br>Filesystem                    Inodes    IUsed IFree IUse% Mounted on<br>digdug-meta/lustre2-mgt-mdt 83703636 83703636     0  100% /mnt/lustre/local/lustre2-MDT0000</span><br></div><div class="gmail_default" style="font-size:small"><span style="font-family:monospace">[loforbes@mds02 ~]$ sudo zpool list -v<br>NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT<br>digdug-meta   744G   721G  23.2G         -    86%    96%  1.00x  ONLINE  -<br>  mirror   372G   368G  4.25G         -    84%    98%<br>    scsi-35000c5003017156b      -      -      -         -      -      -<br>    scsi-35000c500301715e7      -      -      -         -      -      -<br>  mirror   372G   353G  19.0G         -    88%    94%<br>    scsi-35000c5003017155f      -      -      -         -      -      -<br>    scsi-35000c500301715a7      -      -      -         -      -      -</span></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">When we try to delete files, we get the error message:</div><div class="gmail_default" style="font-size:small"><span style="font-family:monospace">  rm: cannot remove XXXXX: No space left on device</span></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Is there a way to unlink files and free up inodes?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Is it possible to expand the existing zpool and filesystem for the MDT?</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Is it possible to do a backup of just our MDT? If so, how?<br clear="all"></div><br>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Regards,<br>-liam<br><br>-There are uncountably more irrational fears than rational ones. -P. Dolan<br>Liam Forbes           <a href="mailto:loforbes@alaska.edu" target="_blank">loforbes@alaska.edu</a>                       ph: 907.450.8618<br>UAF GI Research Computing Systems Manager</div><div><a href="https://calendly.com/ualoforbes/30min" target="_blank">https://calendly.com/ualoforbes/30min</a><br></div></div></div></div>