<div><div>Hi,</div><div><br/></div><div>What version of lustre are you running?</div><div><br/></div><div><i>-cf</i></div></div><br><br>Michael Losapio &lt;mike.losapio@nyu.edu&gt; wrote:<br><br>Hey folks,<br><br>I have a bit of an anomaly...<br><br>Lustre quotas are only working on a portion of my OSTs despite having<br>the correct parameters set...<br><br>[root@balki ~]# lfs quota -u mjl19 -v /scratch<br>Disk quotas for user mjl19 (uid 1552540):<br>&nbsp;&nbsp;&nbsp;&nbsp; Filesystem&nbsp; kbytes&nbsp;&nbsp; quota&nbsp;&nbsp; limit&nbsp;&nbsp; grace&nbsp;&nbsp; files&nbsp;&nbsp; quota&nbsp;&nbsp; limit&nbsp;&nbsp; grace<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /scratch 3095592*&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 1000000 1001000&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>scratch-MDT0000_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 264&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp; 1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp; 5120&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>scratch-OST0000_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp; 1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>scratch-OST0001_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6936*&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp; 1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>scratch-OST0002_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp; 1024&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>....<br>scratch-OST001d_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3095560&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>scratch-OST001e_UUID<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -<br>....<br><br>[root@oss2 ~]# tunefs.lustre --dryrun --param /dev/mapper/ost_scratch_29<br>checking for existing Lustre data: found CONFIGS/mountdata<br>Reading CONFIGS/mountdata<br><br>&nbsp;&nbsp; Read previous values:<br>Target:&nbsp;&nbsp;&nbsp;&nbsp; scratch-OST001d<br>Index:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29<br>Lustre FS:&nbsp; scratch<br>Mount type: ldiskfs<br>Flags:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0x1002<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; (OST no_primnode )<br>Persistent mount opts: errors=remount-ro,extents,mballoc,nodelalloc,nobarrier<br>Parameters: mgsnode=10.0.1.240@o2ib mgsnode=10.0.1.239@o2ib<br>failover.node=10.0.1.236@o2ib failover.node=10.0.1.235@o2ib<br>ost.quota_type=ug<br><br>I even tried to reset the user quota (thinking that perhaps this OSS<br>was offline during the initial setting)... no change and this isn't an<br>anomaly for the user but for all users on those OSTs<br><br>Does this mean I have to run a lfs quotacheck across the entire<br>filesystem? If yes, how dangerous is it to do on a live system?<br><br>Thanks,<br><br>Mike<br>_______________________________________________<br>Lustre-discuss mailing list<br>Lustre-discuss@lists.lustre.org<br>http://lists.lustre.org/mailman/listinfo/lustre-discuss<br>