<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page Section1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.Section1
{page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-IN link=blue vlink=purple>
<div class=Section1>
<p class=MsoNormal>Hi All,<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>I am trying to run Lustre over iWARP. For this I have compiled
Lustre-1.8.1.1 with linux-2.6.18-128.7.1 source and OFED-1.5 source.<o:p></o:p></p>
<p class=MsoNormal>I have installed all the required rpms for lustre.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>After this I booted into the lustre patched kernel and
gave the following option in /etc/modprobe.conf for lnet to work with o2ib<o:p></o:p></p>
<p class=MsoNormal>#> cat /etc/modprobe.conf<o:p></o:p></p>
<p class=MsoNormal>options lnet networks="o2ib0(eth2)"<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>I loaded our RDMA adapter modules and the lnet and ko2iblnd modules
as follows:<o:p></o:p></p>
<p class=MsoNormal>#> modprobe cxgb3<o:p></o:p></p>
<p class=MsoNormal>#> modprobe iw_cxgb3<o:p></o:p></p>
<p class=MsoNormal>#> modprobe rdma_ucm<o:p></o:p></p>
<p class=MsoNormal>#> modprobe lnet<o:p></o:p></p>
<p class=MsoNormal>#> modprobe ko2iblnd<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>I was able to load all the modules successfully.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Then I assigned the ip address to eth2 interface and brought
it up<o:p></o:p></p>
<p class=MsoNormal>#> ifconfig eth2 102.88.88.188/24 up<o:p></o:p></p>
<p class=MsoNormal>#> ifconfig<o:p></o:p></p>
<p class=MsoNormal>eth0 Link encap:Ethernet
HWaddr 00:30:48:C7:8F:8E<o:p></o:p></p>
<p class=MsoNormal> inet
addr:10.193.184.188 Bcast:10.193.187.255 Mask:255.255.252.0<o:p></o:p></p>
<p class=MsoNormal> inet6
addr: fe80::230:48ff:fec7:8f8e/64 Scope:Link<o:p></o:p></p>
<p class=MsoNormal> UP
BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></p>
<p class=MsoNormal> RX
packets:13224 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p>
<p class=MsoNormal> TX
packets:797 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p>
<p class=MsoNormal> collisions:0
txqueuelen:1000<o:p></o:p></p>
<p class=MsoNormal> RX
bytes:1523344 (1.4 MiB) TX bytes:203205 (198.4 KiB)<o:p></o:p></p>
<p class=MsoNormal>
Memory:dea20000-dea40000<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>eth2 Link encap:Ethernet
HWaddr 00:07:43:05:07:35<o:p></o:p></p>
<p class=MsoNormal> inet
addr:102.88.88.188 Bcast:102.88.88.255 Mask:255.255.255.0<o:p></o:p></p>
<p class=MsoNormal> inet6
addr: fe80::207:43ff:fe05:735/64 Scope:Link<o:p></o:p></p>
<p class=MsoNormal> UP
BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></p>
<p class=MsoNormal> RX
packets:153 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p>
<p class=MsoNormal> TX
packets:47 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p>
<p class=MsoNormal>
collisions:0 txqueuelen:1000<o:p></o:p></p>
<p class=MsoNormal> RX
bytes:22537 (22.0 KiB) TX bytes:8500 (8.3 KiB)<o:p></o:p></p>
<p class=MsoNormal>
Interrupt:185 Memory:de801000-de801fff<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>lo Link
encap:Local Loopback<o:p></o:p></p>
<p class=MsoNormal> inet
addr:127.0.0.1 Mask:255.0.0.0<o:p></o:p></p>
<p class=MsoNormal> inet6
addr: ::1/128 Scope:Host<o:p></o:p></p>
<p class=MsoNormal> UP
LOOPBACK RUNNING MTU:16436 Metric:1<o:p></o:p></p>
<p class=MsoNormal> RX
packets:1607 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p>
<p class=MsoNormal> TX
packets:1607 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p>
<p class=MsoNormal>
collisions:0 txqueuelen:0<o:p></o:p></p>
<p class=MsoNormal> RX
bytes:3196948 (3.0 MiB) TX bytes:3196948 (3.0 MiB)<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>After this I tried to bring the lnet network up as follows:<o:p></o:p></p>
<p class=MsoNormal>#> lctl network up<o:p></o:p></p>
<p class=MsoNormal>LNET configured<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Above command gave me following error in dmesg<o:p></o:p></p>
<p class=MsoNormal>#> dmesg<o:p></o:p></p>
<p class=MsoNormal>Lustre: Listener bound to eth2:102.88.88.188:987:cxgb3_0<o:p></o:p></p>
<p class=MsoNormal>Lustre: Register global MR array, MR size: 0xffffffff, array
size: 2<o:p></o:p></p>
<p class=MsoNormal>fmr_pool: Device cxgb3_0 does not support FMRs<o:p></o:p></p>
<p class=MsoNormal>LustreError:
4134:0:(o2iblnd.c:1393:kiblnd_create_fmr_pool()) Failed to create FMR pool: -38<o:p></o:p></p>
<p class=MsoNormal>Lustre: Added LNI 102.88.88.188@o2ib [8/64/0/0]<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>I repeat the same procedure on the other node of lustre and
found the same result.<o:p></o:p></p>
<p class=MsoNormal>Then I tried to do lctl ping between two nodes of lustre,
which gave me following error:<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>#> lctl ping 102.88.88.184@o2ib<o:p></o:p></p>
<p class=MsoNormal>failed to ping 102.88.88.184@o2ib: Input/output error<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>dmesg has shown following error:<o:p></o:p></p>
<p class=MsoNormal>#> dmesg<o:p></o:p></p>
<p class=MsoNormal>LustreError: 2453:0:(o2iblnd.c:801:kiblnd_create_conn())
Can't create QP: -12, send_wr: 2056, recv_wr: 18<o:p></o:p></p>
<p class=MsoNormal>Lustre:
2453:0:(o2iblnd_cb.c:1953:kiblnd_peer_connect_failed()) Deleting messages for
102.88.88.184@o2ib: connection failed<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>I found one thread where it has given the patch to support
FMR in o2ib. But I don’t think this patch is applicable for
lustre-1.8.1.1.<o:p></o:p></p>
<p class=MsoNormal>http://lists.lustre.org/pipermail/lustre-discuss/2008-February/006502.html<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Can anyone please guide me on this.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Thank you very much in advance.<o:p></o:p></p>
<p class=MsoNormal>Vipul<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
</div>
</body>
</html>