Thank you Andreas,<div><br></div><div>After investigating a little deeper, one of our users' processes creates lots of smaller files and made i/o. This is the cause of the "fewer stripes" log message. And for the csum problem my investigation is still in progress.</div>
<div><br></div><div>Thanks again.<br><br><div class="gmail_quote">On Wed, Jul 1, 2009 at 12:12 AM, Andreas Dilger <span dir="ltr"><<a href="mailto:adilger@sun.com">adilger@sun.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">On Jun 29, 2009  18:35 +0300, Ender G�ler wrote:<br>
> We have lustre 1.6.5.1 installation on RHEL 5.1. The interconnect is<br>
> infiniband. I came across the errors like following, on mds:<br>
><br>
> Lustre: 21241:0:(lov_qos.c:427:qos_shrink_lsm()) using fewer stripes for<br>
> object 103514695: old 8 new 6<br>
<br>
</div>This can happen if some of your OSTs are not responsive to precreate<br>
requests.  It appears you are using a wide striping by default, which<br>
is good if you have lots of clients reading/writing from the same file<br>
on a regular basis, but is not recommended if clients normally read/write<br>
from a single file OR the bandwidth of a single OST can handle the needs<br>
of a single client.<br>
<div class="im"><br>
> And here is the errors regarding to checksum, on one of the ost's:<br>
> LustreError: 12397:0:(ost_handler.c:1225:ost_brw_write()) client csum<br>
> 41d0fa49, original server csum e388fa92, server csum now e388fa92<br>
<br>
</div>This looks like you are having network problems, or possibly you are<br>
using mmap IO?  The data is arriving at the server is different than<br>
the data that was originally checksummed by the client.  This can happen<br>
in some cases if the client is doing repeated mmap writes to the same<br>
part of the file.<br>
<br>
<br>
Cheers, Andreas<br>
<font color="#888888">--<br>
Andreas Dilger<br>
Sr. Staff Engineer, Lustre Group<br>
Sun Microsystems of Canada, Inc.<br>
<br>
</font></blockquote></div><br></div>