<div>Hi -</div>
<div> </div>
<div>I'm new to Lustre (v1.8.0.1),</div>
<div>and I've verified that </div>
<div>I can get about 1000-megabytes-per-second aggregate throughput</div>
<div>for large file sequential reads using direct-I/O.</div>
<div>(only limited by the speed of my 10gb NIC with TCP offload engine).</div>
<div> </div>
<div>My simple I/O test</div>
<div>has the client on a separate machine than the OST's, and</div>
<div>16 separate background "dd's" reading</div>
<div>16 separate files, residing on</div>
<div>16 separate disks (OST's);</div>
<div>e.g. running on the client machine:</div>
<div>dd if=/mnt/lustre/testfile01 of=/dev/null bs=2097152 count=500 iflag=direct &</div>
<div>...                               ...</div>
<div>dd if=/mnt/lustre/testfile16 of=/dev/null bs=2097152 count=500 iflag=direct &</div>
<div> </div>
<div>As I said,</div>
<div>the above direct-I/O "dd" tests achieve about a 1000-megabyte-per-second aggregate throughput,</div>
<div>but </div>
<div>when I try the same tests with normal buffered I/O,</div>
<div>(by just running "dd" without "iflag=direct"),</div>
<div>the runs</div>
<div>only get about a 550-megabyte-per-second aggregate throughput.</div>
<div> </div>
<div>I suspect that this slowdown may have something to do with client-side-caching,</div>
<div>but normal buffered reads have not speeded up,</div>
<div>even after I've tried such adjustments as:</div>
<div>lowering the value of max_cached_mb;</div>
<div>turning off server-side-caching via read_cache_enable;</div>
<div>turning off Linux caching via /proc/sys/vm/drop_caches;</div>
<div>turning debugging off via /proc/sys/lnet/debug.</div>
<div> </div>
<div>I have also tried similar suggestions</div>
<div>discussed in the lustre-discussion list</div>
<div>July 22 entry "Lustre client memory usage very high";</div>
<div>and </div>
<div>these suggestions did not change my slower than expected results.</div>
<div> </div>
<div>I'm now going to spend some time reading detailed Lustre tuning info,</div>
<div>and running the Lustre testing programs;</div>
<div>and</div>
<div>I'd also appreciate any advice from experienced Lustre users</div>
<div>on how to speed up these large-file, buffered-I/O, sequential reads.</div>
<div> </div>
<div>Thanks for any help.</div>
<div> </div><span class="sg"><span><span>
<div>Rick Rothstein</div>
<div> </div></span></span></span>