
<html><head><base href="x-msg://535/"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><br><div><div>在 2010-11-20，上午8:39， Nihir Parikh 写道：</div><br class="Apple-interchange-newline"><blockquote type="cite"><span class="Apple-style-span" style="border-collapse: separate; font-family: Courier; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div lang="EN-US" link="blue" vlink="blue" style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div class="Section1" style="page: Section1; "><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; ">Hello Wang Yibin,<o:p></o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; ">Thanks for getting back to me. Yes, S2 and S3 can ping each other using lctl ping.</span></font></div></div></div></span></blockquote><div><br></div><div>This indicates that your routing is work as expected.</div><br><blockquote type="cite"><span class="Apple-style-span" style="border-collapse: separate; font-family: Courier; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div lang="EN-US" link="blue" vlink="blue" style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div class="Section1" style="page: Section1; "><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "> I was using nuttcp test and I also tried ib tests that comes with the IB utilities. I will lnet-selftest.</span></font></div></div></div></span></blockquote><div><br></div><div>These utilities do not understand lnet protocol so they won't work.</div><br><blockquote type="cite"><span class="Apple-style-span" style="border-collapse: separate; font-family: Courier; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div lang="EN-US" link="blue" vlink="blue" style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div class="Section1" style="page: Section1; "><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "><o:p></o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "><o:p> </o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; ">My goal was to measure the bandwidth when it has to reach across different network. Are there any such tests specific to lustre?</span></font></div></div></div></span></blockquote><div><br></div><div>Lnet has its own testsuite which is called lnet self-test. </div><div>To measure the bandwidth, you can load lnet_selftest module on your nodes and execute lst in brw mode.</div><br><blockquote type="cite"><span class="Apple-style-span" style="border-collapse: separate; font-family: Courier; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div lang="EN-US" link="blue" vlink="blue" style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div class="Section1" style="page: Section1; "><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "><o:p></o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "><o:p> </o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; ">Thanks<o:p></o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; ">Nihir<o:p></o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" color="navy" face="Arial"><span style="font-size: 10pt; font-family: Arial; color: navy; "><o:p> </o:p></span></font></div><div><div class="MsoNormal" align="center" style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; text-align: center; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><hr size="2" width="100%" align="center" tabindex="-1"></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><b><font size="2" face="Tahoma"><span style="font-size: 10pt; font-family: Tahoma; font-weight: bold; ">From:</span></font></b><font size="2" face="Tahoma"><span style="font-size: 10pt; font-family: Tahoma; "><span class="Apple-converted-space"> </span>Wang Yibin [mailto:wang.yibin@oracle.com]<span class="Apple-converted-space"> </span><br><b><span style="font-weight: bold; ">Sent:</span></b><span class="Apple-converted-space"> </span>Thursday, November 18, 2010 6:32 AM<br><b><span style="font-weight: bold; ">To:</span></b><span class="Apple-converted-space"> </span>Nihir Parikh<br><b><span style="font-weight: bold; ">Cc:</span></b><span class="Apple-converted-space"> </span><a href="mailto:lustre-discuss@lists.lustre.org" style="color: blue; text-decoration: underline; ">lustre-discuss@lists.lustre.org</a><br><b><span style="font-weight: bold; ">Subject:</span></b><span class="Apple-converted-space"> </span>Re: [Lustre-discuss] Help</span></font><o:p></o:p></div></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><o:p> </o:p></span></font></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; ">Hi,<o:p></o:p></span></font></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><o:p> </o:p></span></font></div><div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span lang="ZH-CN" style="font-size: 12pt; ">在</span><span class="Apple-converted-space"> </span>2010-11-17<span lang="ZH-CN">，上午</span>9:17<span lang="ZH-CN">，</span><span class="Apple-converted-space"> </span>Nihir Parikh<span class="Apple-converted-space"> </span><span lang="ZH-CN">写道：</span><o:p></o:p></font></div></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><br><br><o:p></o:p></span></font></div><span style="orphans: 2; widows: 2; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; word-spacing: 0px; "><u1:p><div link="blue" vlink="purple"><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; "> </span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; ">Now my problem is to run some network tests from S2<span class="apple-converted-space"> </span></span></font><font size="2" face="Wingdings"><span style="font-size: 10pt; font-family: Wingdings; ">à</span></font><span class="apple-converted-space"><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; "> </span></font></span><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; ">S3 and S3<span class="apple-converted-space"> </span></span></font><font size="2" face="Wingdings"><span style="font-size: 10pt; font-family: Wingdings; ">à</span></font><span class="apple-converted-space"><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; "> </span></font></span><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; ">S2 to measure the bandwidth but somehow both S2 and S3 complain that network is unreachable. What am I doing wrong?</span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div></div></u1:p></span><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><o:p> </o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; ">Your configuration seems OK to me.</span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "> </span></font>Can S2 and S3 ping each other using 'lctl ping'?<font face="Times New Roman"><span style="font-family: 'Times New Roman'; "> </span></font><o:p></o:p></div></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; ">What kind of network test did you do? Note that only lustre LNET can do the routing.</span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "> </span></font><o:p></o:p></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; ">There's a script in lustre testsuite that's specifically for testing the network connectivity - lnet-selftest.sh.<o:p></o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "><br><br><o:p></o:p></span></font></div><span style="orphans: 2; widows: 2; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; word-spacing: 0px; "><u1:p></u1:p><u1:p><div link="blue" vlink="purple"><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; "> </span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; ">Thanks<u1:p></u1:p></span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; ">Nihir<u1:p></u1:p></span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div><div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="2" face="Arial"><span style="font-size: 10pt; font-family: Arial; "><u1:p> </u1:p></span></font><font face="Times New Roman"><span style="font-family: 'Times New Roman'; "><o:p></o:p></span></font></div></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="4" face="Courier"><span style="font-size: 13.5pt; font-family: Courier; ">_______________________________________________<br>Lustre-discuss mailing list<br><a href="mailto:Lustre-discuss@lists.lustre.org" style="color: blue; text-decoration: underline; ">Lustre-discuss@lists.lustre.org</a><br><a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" style="color: blue; text-decoration: underline; ">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><o:p></o:p></span></font></div></div></u1:p></span></div><div style="margin-top: 0in; margin-right: 0in; margin-bottom: 0.0001pt; margin-left: 0in; font-size: 12pt; font-family: SimSun; "><font size="3" face="SimSun"><span style="font-size: 12pt; "></span><o:p> </o:p></font></div></div></div>_______________________________________________<br>Lustre-discuss mailing list<br><a href="mailto:Lustre-discuss@lists.lustre.org" style="color: blue; text-decoration: underline; ">Lustre-discuss@lists.lustre.org</a><br><a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" style="color: blue; text-decoration: underline; ">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br></div></span></blockquote></div><br></body></html>