<div dir="ltr"><div><div>Oleg,</div><div><br></div><div>Very clear, thank you for the explanation, I misunderstood readahead. Yes the 1gb and 10gb file transfer tests was on par with NFS.</div><div><br></div><div>Our use case is typically compiling and find/grep through (30gb) amounts of source code so it seems we are stuck with small files.</div>
</div><div><br></div><div style>Andy</div><div><br></div><div><div class="gmail_extra"><div class="gmail_quote">On Fri, Jun 21, 2013 at 3:42 PM, Drokin, Oleg <span dir="ltr"><<a href="mailto:oleg.drokin@intel.com" target="_blank">oleg.drokin@intel.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Hello!<br>
<div><br>
On Jun 21, 2013, at 5:42 PM, Andrew Mast wrote:<br>
<br>
> Hello, I am new to Lustre and wanted to run a small simple small copy test between 2 virtual machines from MDT/OST server to client's local disk.<br>
<br>
> I realize small file performance is never fast, but this seems particularly slow considering the data is all buffered in memory with little to no disk activity.<br>
><br>
</div><div>> RPC stats on the client shows only 1 RPC in flight at a time. max inflight is set to 64. Is that expected behavior for a copy?<br>
<br>
</div>Well, it seems you are reading from Lustre. Small files too.<br>
So Lustre reads a single file at a time (I assume you copy with somehing like cp - single threadedly), readahead does not come into play because file size<br>
is smaller than 1 RPC.<br>
So before we are done with a single file, we cannot guess there'd be another request to the next file. That's why you have only one RPC in flight.<br>
<br>
Also Lustre metadata protocol is somewhat more heavy than NFS, which would explain why it's slower than NFS.<br>
Situation should improve once you start trying bigger files.<br>
<br>
Bye,<br>
    Oleg</blockquote></div><br></div></div></div>