<div dir="ltr">Jeff (and Grigory - offlist),<br><div><div class="gmail_extra"><br></div><div class="gmail_extra">Thanks for your fast replies!<br></div><div class="gmail_extra"><div class="gmail_quote">On Fri, Jul 28, 2017 at 12:09 AM, Jeff Johnson <span dir="ltr"><<a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Eli,<div><br></div><div>The biggest driver is usually the drivers. Newer Mellanox hardware not yet supported, or supported well, by kernel IB. Way back in the days of old there were some interoperability issues where everything (clients and servers) needed to be the same drivers and libraries but much of that was cleaned up. There could be situations where OFED is needed on the server side to support something under the Lustre layer like OST or MDT block devices via iSER, SRP, NVMeF, etc.</div><div><br></div><div>There may be other reasons but those are off the top of my head. </div></div></blockquote><div>So currently everything seems to be working just fine without OFED, my only complaint is that the normal Linux interface counters don't report traffic properly which means I have to write my own perfquery wrappers for tools like zabbix etc.<br><br></div><div>I may try adding OFED if I have time at some point but I hope by then to at least have moved our servers to CentOS 7.3 + Lustre 2.9/10.<br><br></div><div>Has anyone ever run benchmarks of vanilla vs. OFED?<br></div><div>Thanks again,<br></div><div>Eli <br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div>--Jeff</div></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="h5">On Thu, Jul 27, 2017 at 4:55 PM, E.S. Rosenberg <span dir="ltr"><<a href="mailto:esr+lustre@mail.hebrew.edu" target="_blank">esr+lustre@mail.hebrew.edu</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="h5"><div dir="ltr"><div><div><div><div><div>Hi all,<br></div><br></div><div>How 'needed' is OFED for Lustre? In the LUG talks it is mentioned every once in a while and that got me thinking a bit.<br><br></div><div>What things are gained by installing OFED? Performance? Accurate traffic reports?<br><br></div><div>Currently I am using a lustre system without OFED but our IB hardware is from the FDR generation so not bleeding edge and probably doesn't need OFED because of that....<br><br></div><div>Thanks,<br></div><div>Eli<br><br></div><div>Tech specs:<br></div><div>Servers: CentOS 6.8 + Lustre 2.8 (kernel from Lustre RPMs)<br></div><div>Clients: Debian + kernel 4.2 + Lustre 2.8<br></div><div>IB: ConnectX-3 FDR<br></div></div></div></div></div>
<br></div></div>______________________________<wbr>_________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.or<wbr>g</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listin<wbr>fo.cgi/lustre-discuss-lustre.<wbr>org</a><br>
<br></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_-8762056246211052630gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: <a href="tel:(858)%20412-3810" value="+18584123810" target="_blank">858-412-3810 x1001</a>   f: <a href="tel:(858)%20412-3845" value="+18584123845" target="_blank">858-412-3845</a><br>m: <a href="tel:(619)%20204-9061" value="+16192049061" target="_blank">619-204-9061</a><br><br>4170 Morena Boulevard, Suite D - San Diego, CA 92117<div><br></div><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div>
</div>
</blockquote></div><br></div></div></div>