Hello Vipul,<br>                <br><br><div class="gmail_quote">On Fri, Feb 12, 2010 at 7:23 PM, Vipul Pandya <span dir="ltr"><<a href="mailto:vipul@chelsio.com">vipul@chelsio.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">









<div link="blue" vlink="purple" lang="EN-IN">

<div>

<p class="MsoNormal">Hi All,</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">I am trying to run Lustre over iWARP. For this I have compiled
Lustre-1.8.1.1 with linux-2.6.18-128.7.1 source and OFED-1.5 source.</p>

<p class="MsoNormal">I have installed all the required rpms for lustre.</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">After this I booted into  the lustre patched kernel and
gave the following option in /etc/modprobe.conf for lnet to work with o2ib</p>

<p class="MsoNormal">#> cat /etc/modprobe.conf</p>

<p class="MsoNormal">options lnet networks="o2ib0(eth2)"</p></div></div></blockquote><div>I am not familiar with Lustre over iWARP interconnect but still is eth2 the device associated with IP over iWARP .<br></div>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div link="blue" vlink="purple" lang="EN-IN"><div>

<p class="MsoNormal"> </p>

<p class="MsoNormal">I loaded our RDMA adapter modules and the lnet and ko2iblnd modules
as follows:</p>

<p class="MsoNormal">#> modprobe cxgb3</p>

<p class="MsoNormal">#> modprobe iw_cxgb3</p>

<p class="MsoNormal">#> modprobe rdma_ucm</p>

<p class="MsoNormal">#> modprobe lnet</p>

<p class="MsoNormal">#> modprobe ko2iblnd</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">I was able to load all the modules successfully.</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">Then I assigned the ip address to eth2 interface and brought
it up</p>

<p class="MsoNormal">#> ifconfig eth2 <a href="http://102.88.88.188/24" target="_blank">102.88.88.188/24</a> up</p>

<p class="MsoNormal">#> ifconfig</p>

<p class="MsoNormal">eth0      Link encap:Ethernet 
HWaddr 00:30:48:C7:8F:8E</p>

<p class="MsoNormal">          inet
addr:10.193.184.188  Bcast:10.193.187.255  Mask:255.255.252.0</p>

<p class="MsoNormal">          inet6
addr: fe80::230:48ff:fec7:8f8e/64 Scope:Link</p>

<p class="MsoNormal">          UP
BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1</p>

<p class="MsoNormal">          RX
packets:13224 errors:0 dropped:0 overruns:0 frame:0</p>

<p class="MsoNormal">          TX
packets:797 errors:0 dropped:0 overruns:0 carrier:0</p>

<p class="MsoNormal">          collisions:0
txqueuelen:1000</p>

<p class="MsoNormal">          RX
bytes:1523344 (1.4 MiB)  TX bytes:203205 (198.4 KiB)</p>

<p class="MsoNormal">         
Memory:dea20000-dea40000</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">eth2      Link encap:Ethernet 
HWaddr 00:07:43:05:07:35</p>

<p class="MsoNormal">          inet
addr:102.88.88.188  Bcast:102.88.88.255  Mask:255.255.255.0</p>

<p class="MsoNormal">          inet6
addr: fe80::207:43ff:fe05:735/64 Scope:Link</p>

<p class="MsoNormal">          UP
BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1</p>

<p class="MsoNormal">          RX
packets:153 errors:0 dropped:0 overruns:0 frame:0</p>

<p class="MsoNormal">          TX
packets:47 errors:0 dropped:0 overruns:0 carrier:0</p>

<p class="MsoNormal">         
collisions:0 txqueuelen:1000</p>

<p class="MsoNormal">          RX
bytes:22537 (22.0 KiB)  TX bytes:8500 (8.3 KiB)</p>

<p class="MsoNormal">         
Interrupt:185 Memory:de801000-de801fff</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">lo        Link
encap:Local Loopback</p>

<p class="MsoNormal">          inet
addr:127.0.0.1  Mask:255.0.0.0</p>

<p class="MsoNormal">          inet6
addr: ::1/128 Scope:Host</p>

<p class="MsoNormal">          UP
LOOPBACK RUNNING  MTU:16436  Metric:1</p>

<p class="MsoNormal">          RX
packets:1607 errors:0 dropped:0 overruns:0 frame:0</p>

<p class="MsoNormal">          TX
packets:1607 errors:0 dropped:0 overruns:0 carrier:0</p>

<p class="MsoNormal">         
collisions:0 txqueuelen:0</p>

<p class="MsoNormal">          RX
bytes:3196948 (3.0 MiB)  TX bytes:3196948 (3.0 MiB)</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">After this I tried to bring the lnet network up as follows:</p>

<p class="MsoNormal">#> lctl network up</p>

<p class="MsoNormal">LNET configured</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">Above command gave me following error in dmesg</p>

<p class="MsoNormal">#> dmesg</p>

<p class="MsoNormal">Lustre: Listener bound to eth2:102.88.88.188:987:cxgb3_0</p>

<p class="MsoNormal">Lustre: Register global MR array, MR size: 0xffffffff, array
size: 2</p>

<p class="MsoNormal">fmr_pool: Device cxgb3_0 does not support FMRs</p>

<p class="MsoNormal">LustreError:
4134:0:(o2iblnd.c:1393:kiblnd_create_fmr_pool()) Failed to create FMR pool: -38</p>

<p class="MsoNormal">Lustre: Added LNI 102.88.88.188@o2ib [8/64/0/0]</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">I repeat the same procedure on the other node of lustre and
found the same result.</p>

<p class="MsoNormal">Then I tried to do lctl ping between two nodes of lustre,
which gave me following error:</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">#> lctl ping 102.88.88.184@o2ib</p>

<p class="MsoNormal">failed to ping 102.88.88.184@o2ib: Input/output error</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">dmesg has shown following error:</p>

<p class="MsoNormal">#> dmesg</p>

<p class="MsoNormal">LustreError: 2453:0:(o2iblnd.c:801:kiblnd_create_conn())
Can't create QP: -12, send_wr: 2056, recv_wr: 18</p>

<p class="MsoNormal">Lustre:
2453:0:(o2iblnd_cb.c:1953:kiblnd_peer_connect_failed()) Deleting messages for
102.88.88.184@o2ib: connection failed</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">I found one thread where it has given the patch to support
FMR in o2ib. But I don’t think this patch is applicable for
lustre-1.8.1.1.</p>

<p class="MsoNormal"><a href="http://lists.lustre.org/pipermail/lustre-discuss/2008-February/006502.html" target="_blank">http://lists.lustre.org/pipermail/lustre-discuss/2008-February/006502.html</a></p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">Can anyone please guide me on this.</p>

<p class="MsoNormal"> </p>

<p class="MsoNormal">Thank you very much in advance.</p>

<p class="MsoNormal">Vipul</p>

<p class="MsoNormal"> </p>

</div>

</div>


<br>_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" target="_blank">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Regards--<br>Rishi Pathak<br>National PARAM Supercomputing Facility<br>Center for Development of Advanced Computing(C-DAC)<br>Pune University Campus,Ganesh Khind Road<br>
Pune-Maharastra<br>