<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small">We were able to resolve our issue by freeing up inodes using the process outlined in <a href="https://wiki.lustre.org/ZFS_MDT_ENOSPC_Recovery" target="_blank">https://wiki.lustre.org/ZFS_MDT_ENOSPC_Recovery</a>. This resolved the "rm: cannot remove XXX: No space left on device" problem. Then we grew the MDT zpool by adding more disks using a standard `zpool add` command. We were a little concerned about that operation in particular since it was not clear if our older Lustre version supports dynamically increasing the size of the MDT. We found a few vague mentions of folks doing so, but no specific commands or versions were listed. It worked fine and we now have twice as many inodes as we had before.<br></div></div><div><br></div><div><div style="font-size:small" class="gmail_default">Upgrading the Lustre version on our servers now has a higher priority so we can get to a version that lets us do file level backups of the MDT.</div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div>Regards,<br>-liam<br><br>-There are uncountably more irrational fears than rational ones. -P. Dolan<br>Liam Forbes           <a href="mailto:loforbes@alaska.edu" target="_blank">loforbes@alaska.edu</a>                       ph: 907.450.8618<br>UAF GI Research Computing Systems Manager</div><div><a href="https://calendly.com/ualoforbes/30min" target="_blank">https://calendly.com/ualoforbes/30min</a><br></div></div></div></div>