You didn't mention which version of Lustre you were using for the tests.  If you are using 1.8.5 or earlier it's possible you could be seeing problems caused by bugzilla 23081.  I imagine you were filling the page cache quickly with writes.  Reads could end up getting read and purged repeatedly because they are added to the wrong end of the LRU list so they get purged from memory pressure or hitting max_cached_mb.  If you have a sequential work load take a look at your read ahead stats "lctl get_param llite.*.read_ahead_stats" to see.  If you have an excessive number of "miss inside window" and "read but discarded" for your misses that might be what your seeing.<br>
<br>Jeremy<br><br><div class="gmail_quote">On Thu, Jun 2, 2011 at 5:02 PM, Roger Spellman <span dir="ltr"><<a href="mailto:Roger.Spellman@terascala.com">Roger.Spellman@terascala.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="im">> -----Original Message-----<br>
> From: Peter Grandi [mailto:<a href="mailto:pg_mh@mh.to.sabi.co.UK">pg_mh@mh.to.sabi.co.UK</a>]<br>
> Sent: Thursday, June 02, 2011 4:10 PM<br>
> To: Roger Spellman<br>
> Cc: <a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a><br>
> Subject: Re: [Lustre-discuss] Reads Starved<br>
><br>
> Unfortunately these numbers are meaningless without an idea of<br>
> the storage system and the access patterns.<br>
<br>
</div>The storage system is a Dell MD3200.<br>
<div class="im"><br>
><br>
> > But, when I have 10 clients doing reads, and a different 10<br>
> > clients doing writes, the write performance barely drops, but<br>
> > the read performance drops to about 150 MB/s.<br>
><br>
> This may be entirely the right thing for it to happen.<br>
<br>
</div>Each test is doing large block, streaming I/O.  The reads and write are<br>
accessing different files.  I am running 1 thread per client.  If I<br>
increase the thread count on the reads, the performance does increase,<br>
but not nearly to the level of the writes.<br>
<br>
I had increased max_rpcs quite large, as this gives excellent<br>
performance.  However, this turns out to be the cause of this read/write<br>
disparity.  The system can queue up many writes, but reads are issued<br>
one at a time.  By decreasing max_rpcs, the read performance increased<br>
considerably.<br>
<div class="im"><br>
Roger Spellman<br>
Staff Engineer<br>
Terascala, Inc.<br>
<a href="tel:508-588-1501" value="+15085881501">508-588-1501</a><br>
<a href="http://www.terascala.com" target="_blank">www.terascala.com</a> <<a href="http://www.terascala.com/" target="_blank">http://www.terascala.com/</a>><br>
</div><div><div></div><div class="h5">_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" target="_blank">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
</div></div></blockquote></div><br>