Hi,<div><br></div><div>Thank you for the info. There are around 600 clients in the setup.</div><div> </div><div>Due to an issue, i had restarted the OSS servers and remounted the OSTs yesterday.. Post which i am not seeing these errors till now.</div>
<div><br></div><div>However I will upgrade the lustre client version to 1.8.5 in all the clients.</div><div><br></div><div>Regards,</div><div>Prasad</div><div>

<br><br><div class="gmail_quote">On Tue, May 3, 2011 at 1:28 AM, Andreas Dilger <span dir="ltr"><<a href="mailto:adilger@whamcloud.com" target="_blank">adilger@whamcloud.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div>On Apr 29, 2011, at 09:04, Rajendra prasad wrote:<br>
> I am running lustre servers on 1.8.5 (recently upgraded from 1.8.2). Clients are still on 1.8.2 .<br>
><br>
> I am getting the error "ost_write operation failed with -28" in the clients. Due to this i am getting error message as "No space left on the device" oftenly. As per lfs df -h output all the OSTs are occupied around 55% only.<br>



><br>
> lfs df -h<br>
> UUID                       bytes        Used   Available Use% Mounted on<br>
> lustre-MDT0000_UUID        52.3G        4.2G       48.1G   8% /opt/lustre[MDT:0]<br>
> lustre-OST0000_UUID       442.9G      245.6G      197.3G  55% /opt/lustre[OST:0]<br>
> lustre-OST0001_UUID       442.9G      238.7G      204.3G  53% /opt/lustre[OST:1]<br>
> lustre-OST0002_UUID       442.9G      243.2G      199.7G  54% /opt/lustre[OST:2]<br>
> lustre-OST0003_UUID       442.9G      236.5G      206.5G  53% /opt/lustre[OST:3]<br>
> lustre-OST0004_UUID       442.9G      234.8G      208.1G  53% /opt/lustre[OST:4]<br>
> lustre-OST0005_UUID       442.9G      239.7G      203.3G  54% /opt/lustre[OST:5]<br>
> lustre-OST0006_UUID       442.9G      237.2G      205.7G  53% /opt/lustre[OST:6]<br>
> lustre-OST0007_UUID       442.9G      227.9G      215.0G  51% /opt/lustre[OST:7]<br>
> filesystem summary:         3.5T        1.9T        1.6T  53% /opt/lustre<br>
> As per the below bugzilla, i have upgraded one of the lustre client verstion to 1.8.5 but still the issue persist in that client.<br>
><br>
>                 <a href="https://bugzilla.lustre.org/show_bug.cgi?id=22755" target="_blank">https://bugzilla.lustre.org/show_bug.cgi?id=22755</a><br>
><br>
> Lustre clients are on Suse linux 10.1 . In order to install lustre client packages of 1.8.5, i have upgraded the Suse kernel also.<br>
<br>
</div>How many clients do you have?  I don't think this is an inode problem, since it wouldn't fail with ENOSPC during ost_write.  There is also a problem with clients holding all of the space in grants (about 32MB/client/OST) as described in the above bug.  However, unless you have upgraded ALL of the clients to 1.8.5, that problem will not be fixed.<br>



<br>
Cheers, Andreas<br>
<font color="#888888">--<br>
Andreas Dilger<br>
Principal Engineer<br>
Whamcloud, Inc.<br>
<br>
<br>
<br>
</font></blockquote></div><br></div>