<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<base href="x-msg://97/">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"Andale Mono";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
span.apple-style-span
        {mso-style-name:apple-style-span;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Times New Roman","serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=EN-GB link=blue vlink=purple style='word-wrap: break-word;
-webkit-nbsp-mode: space;-webkit-line-break: after-white-space'>

<div class=WordSection1>

<p class=MsoNormal><span style='color:#1F497D'>Michael,<o:p></o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'>I think you may have only got 1
BRW READ in flight at a time with this script,<o:p></o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'>so I would expect the routed
throughput to be getting on for half of direct<o:p></o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'>throughput.  Can you try “--concurrency
8” to simulate the number of I/Os<o:p></o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'>a real client would keep in
flight?<o:p></o:p></span></p>

<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>

<blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>

<p class=MsoNormal><span style='color:#1F497D'>Cheers,<br>
                  
Eric <o:p></o:p></span></p>

</blockquote>

<p class=MsoNormal><span style='color:#1F497D'><o:p> </o:p></span></p>

<div style='border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt'>

<div>

<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'>

<p class=MsoNormal><span style='color:#1F497D'> </span><b><span lang=EN-US
style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span
lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> Michael
Kluge [mailto:michael.kluge@tu-dresden.de] <br>
<b>Sent:</b> 13 September 2010 10:35 PM<br>
<b>To:</b> Eric Barton<br>
<b>Cc:</b> 'Lustre Diskussionsliste'<br>
<b>Subject:</b> Re: [Lustre-discuss] lnet router tuning<o:p></o:p></span></p>

</div>

</div>

<p class=MsoNormal><o:p> </o:p></p>

<p class=MsoNormal>Hi Eric,<o:p></o:p></p>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal>basically right now I have one IB node, one 10GE node and
one router node that has both types of network interfaces.<o:p></o:p></p>

</div>

<div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal>I've got a small lnet test script on the router node, that
does the work:<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>export LST_SESSION=$$<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst new_session rw<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst add_group readers 192.168.10.8@tcp<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst add_group writers 10.148.0.94@o2ib<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst add_batch bulk_rw<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst add_test --batch bulk_rw --from writers --to readers brw
read check=simple size=1M<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst run bulk_rw<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst stat writers & sleep 30; kill $!<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>lst end_session<o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal>Is there a way to figure out the messages in flight? I
remember to have a "rpc's in flight" tunable but this is connected to
the OSC layer which does not do anything in my case (I think).<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal>Michael<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

<div>

<p class=MsoNormal><o:p> </o:p></p>

<div>

<div>

<p class=MsoNormal>Am 13.09.2010 um 03:08 schrieb Eric Barton:<o:p></o:p></p>

</div>

<p class=MsoNormal><br>
<br>
<o:p></o:p></p>

<div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'>Michael,</span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'>How are you generating load and
measuring the throughput?   I’m particularly interested in the
number</span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'>of nodes on each side of the
router and how many messages you have in flight between each one.</span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>

<div>

<p class=MsoNormal><span style='color:#1F497D'>Cheers,<br>
                  
Eric</span><o:p></o:p></p>

</div>

</blockquote>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><span style='color:#1F497D'> </span><o:p></o:p></p>

</div>

<div style='border:none;border-left:solid blue 1.5pt;padding:0cm 0cm 0cm 4.0pt;
border-width:initial;border-color:initial'>

<div>

<div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm;
border-width:initial;border-color:initial'>

<div>

<p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:
"Tahoma","sans-serif"'>From:</span></b><span class=apple-converted-space><span
lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> </span></span><span
lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'><a
href="mailto:lustre-discuss-bounces@lists.lustre.org">lustre-discuss-bounces@lists.lustre.org</a><span
class=apple-converted-space> </span>[mailto:lustre-discuss-bounces@lists.lustre.org]<span
class=apple-converted-space> </span><b>On Behalf Of<span
class=apple-converted-space> </span></b>Michael Kluge<br>
<b>Sent:</b><span class=apple-converted-space> </span>11 September 2010
12:56 AM<br>
<b>To:</b><span class=apple-converted-space> </span>Michael Kluge<br>
<b>Cc:</b><span class=apple-converted-space> </span>Lustre Diskussionsliste<br>
<b>Subject:</b><span class=apple-converted-space> </span>Re:
[Lustre-discuss] lnet router tuning</span><o:p></o:p></p>

</div>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

<div>

<div>

<p class=MsoNormal>And here are my params:<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>root@doss05:/home/tests/lnet# for F in
/sys/module/lnet/parameters/* ; do echo -n "$F: "; cat $F ; done<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/accept: secure<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/accept_backlog: 127<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/accept_port: 988<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/accept_timeout: 5<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/auto_down: 1<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/avoid_asym_router_failure: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/check_routers_before_use: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/config_on_load: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/dead_router_check_interval: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/forwarding: enabled<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/ip2nets: <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/large_router_buffers: 512<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/live_router_check_interval: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/local_nid_dist_zero: 1<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/networks: tcp0(eth2),o2ib(ib1)<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/peer_buffer_credits: 0<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/portals_compatibility: none<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/router_ping_timeout: 50<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/routes: <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/small_router_buffers: 8192<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>/sys/module/lnet/parameters/tiny_router_buffers: 1024<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>I have not used ip2nets but configure routing but put
explict routing statements into the modprobe.d/ files. Is that OK? <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>Michael<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<div>

<p class=MsoNormal>Am 10.09.2010 um 17:48 schrieb Michael Kluge:<o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal><br>
<br>
<br>
<o:p></o:p></p>

</div>

<div>

<div>

<div>

<p class=MsoNormal>OK, IB back to back is at 1,2 GB/s, 10GE back to back at 950
MB/s, with additional lnet router I see 550 MB/s. Time for lnet tuning?<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>Michael<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal><br>
<br>
<br>
<o:p></o:p></p>

</div>

<div>

<div>

<p class=MsoNormal>Hi Andreas,<o:p></o:p></p>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

<div>

<div>

<div>

<div>

<p class=MsoNormal>Am 10.09.2010 um 16:35 schrieb Andreas Dilger:<o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal><br>
<br>
<br>
<o:p></o:p></p>

</div>

<div>

<div>

<p class=MsoNormal>On 2010-09-10, at 08:23, Michael Kluge wrote:<br>
<br>
<br>
<o:p></o:p></p>

</div>

<div>

<p class=MsoNormal>I have a Lustre 1.8.3 setup where I'd like to some lnet
router performance tests with routing between DDR IB<->10GE networks.
Currently I have three nodes, one with DDR IB, one with 10GE and one with both
that does the routing. A first short lnet test shows 520-550 MB/s performance.<o:p></o:p></p>

</div>

<blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</blockquote>

<blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'>

<div>

<p class=MsoNormal>Has anyone an idea which of the variables of the lnet module
are worth playing with to get this number a bit closer to 1GB/s?<o:p></o:p></p>

</div>

</blockquote>

<div>

<p class=MsoNormal><br>
I would start by testing the performance on just the 10GigE side, and then
separately on the IB side, to verify you are getting the expected performance
from the components before trying them both together.  Often it is
necessary to tune the ethernet send/receive buffers.<o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>Ethernet back to back is at 950 MB/s. I have not looked at
IB back to back yet.<o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<div>

<p class=MsoNormal>Michael<o:p></o:p></p>

</div>

</div>

<div>

<div>

<div>

<p class=MsoNormal><br>
-- <br>
<br>
Michael Kluge, M.Sc.<br>
<br>
Technische Universität Dresden<br>
Center for Information Services and<br>
High Performance Computing (ZIH)<br>
D-01062 Dresden<br>
Germany<br>
<br>
Contact:<br>
Willersbau, Room WIL A 208<br>
Phone:  (+49) 351 463-34217<br>
Fax:    (+49) 351 463-37773<br>
e-mail: <a href="mailto:michael.kluge@tu-dresden.de">michael.kluge@tu-dresden.de</a><br>
WWW:    <a href="http://www.tu-dresden.de/zih">http://www.tu-dresden.de/zih</a><o:p></o:p></p>

</div>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

</div>

</div>

<div>

<p class=MsoNormal>_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

<div>

<div>

<div>

<p class=MsoNormal><span style='font-size:13.5pt;font-family:"Andale Mono","serif"'><br>
-- <br>
<br>
Michael Kluge, M.Sc.<br>
<br>
Technische Universität Dresden<br>
Center for Information Services and<br>
High Performance Computing (ZIH)<br>
D-01062 Dresden<br>
Germany<br>
<br>
Contact:<br>
Willersbau, Room WIL A 208<br>
Phone:  (+49) 351 463-34217<br>
Fax:    (+49) 351 463-37773<br>
e-mail: <a href="mailto:michael.kluge@tu-dresden.de">michael.kluge@tu-dresden.de</a><br>
WWW:    <a href="http://www.tu-dresden.de/zih">http://www.tu-dresden.de/zih</a></span><o:p></o:p></p>

</div>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal>_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><o:p></o:p></p>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

<div>

<div>

<div>

<p class=MsoNormal><span style='font-size:13.5pt;font-family:"Andale Mono","serif";
color:black'><br>
-- <br>
<br>
Michael Kluge, M.Sc.<br>
<br>
Technische Universität Dresden<br>
Center for Information Services and<br>
High Performance Computing (ZIH)<br>
D-01062 Dresden<br>
Germany<br>
<br>
Contact:<br>
Willersbau, Room WIL A 208<br>
Phone:  (+49) 351 463-34217<br>
Fax:    (+49) 351 463-37773<br>
e-mail: <a href="mailto:michael.kluge@tu-dresden.de">michael.kluge@tu-dresden.de</a><br>
WWW:    <a href="http://www.tu-dresden.de/zih">http://www.tu-dresden.de/zih</a></span><o:p></o:p></p>

</div>

</div>

</div>

<div>

<p class=MsoNormal> <o:p></o:p></p>

</div>

</div>

<p class=MsoNormal>_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><o:p></o:p></p>

</div>

</div>

<p class=MsoNormal><o:p> </o:p></p>

<div>

<div>

<p class=MsoNormal><span style='font-size:13.5pt;font-family:"Andale Mono","serif";
color:black'><br>
-- <br>
<br>
Michael Kluge, M.Sc.<br>
<br>
Technische Universität Dresden<br>
Center for Information Services and<br>
High Performance Computing (ZIH)<br>
D-01062 Dresden<br>
Germany<br>
<br>
Contact:<br>
Willersbau, Room WIL A 208<br>
Phone:  (+49) 351 463-34217<br>
Fax:    (+49) 351 463-37773<br>
e-mail: <a href="mailto:michael.kluge@tu-dresden.de">michael.kluge@tu-dresden.de</a><br>
WWW:    <a href="http://www.tu-dresden.de/zih">http://www.tu-dresden.de/zih</a><o:p></o:p></span></p>

</div>

</div>

<p class=MsoNormal><o:p> </o:p></p>

</div>

</div>

</div>

</body>

</html>