<div dir="ltr">Ben, is it possible to quantify "faster"?<div>Understandably, for a single client on an empty cluster it may feel "faster" but on a busy cluster with many reads and writes in flight I'd have thought the limiting factor is the back end's throughput rather than the network, no? As long as the bandwidth to a client is somewhat higher than the average i/o bandwidth (back end's throughput divided by the number of clients) the client should be content.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On 19 June 2015 at 14:46, Ben Evans <span dir="ltr"><<a href="mailto:bevans@cray.com" target="_blank">bevans@cray.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" link="blue" vlink="purple">
<div>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">It is faster, but I don’t know what price/performance tradeoff is, as I only used it as an engineer.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">As an alternative, take a look at RoCE, it does much the same thing but uses normal (?) hardware.  It’s still pretty new, though, so you might have some speedbumps.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">-Ben Evans<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p>
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif"">From:</span></b><span style="font-size:10.0pt;font-family:"Tahoma","sans-serif""> lustre-discuss [mailto:<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>]
<b>On Behalf Of </b>INKozin<br>
<b>Sent:</b> Friday, June 19, 2015 5:43 AM<br>
<b>To:</b> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<b>Subject:</b> [lustre-discuss] Lustre over 10 Gb Ethernet with and without RDMA<u></u><u></u></span></p><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">My question is about performance advantages of Lustre RDMA over 10 Gb Ethernet. When using 10 Gb Ethernet to build Lustre, is it worth paying the premium for iWARP? I understand that iWARP essentially reduces latency but less sure of its
 specific implications for storage. Would it improve performance on small files? Any pointers to representative benchmarks will be very appreciated.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<p class="MsoNormal">Celsio has released a white paper in which they compare Lustre RDMA over 40 Gb Ethernet and FDR IB<u></u><u></u></p>
</div>
<p class="MsoNormal"><a href="http://www.chelsio.com/wp-content/uploads/resources/Lustre-Over-iWARP-vs-IB-FDR.pdf" target="_blank">http://www.chelsio.com/wp-content/uploads/resources/Lustre-Over-iWARP-vs-IB-FDR.pdf</a><u></u><u></u></p>
<div>
<p class="MsoNormal">where they claim comparable performance of both. <u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal">How much worse the throughput on small block sizes would be without iWARP?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thank you<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Igor <u></u><u></u></p>
</div>
</div>
</div></div></div>
</div>

</blockquote></div><br></div>