<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
font-size:12.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:12.0pt;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt">This is my first attempt to configure Lustre for RDMA (Mellanox RoCEv2).
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">lnetctl net show<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">net:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> - net type: lo<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> local NI(s):<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> - nid: 0@lo<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> status: up<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Below results in an error. The interface (ens800f0) is working and I can ping other nodes on that network.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">lnetctl net add --net o2ib --if ens800f0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">add:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> - net:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> errno: -100<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> descr: "cannot add network: Network is down"<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[root@inst-fknk9-relaxing-louse ~]# dmesg | tail<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1399.903159] Lustre: Lustre: Build Version: 2.12.6<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1427.411527] LNetError: 20092:0:(o2iblnd.c:2781:kiblnd_dev_failover()) Failed to bind ens800f0:192.168.169.112 to device( (null)): -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1427.564213] LNetError: 20092:0:(o2iblnd.c:3314:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1428.681259] LNetError: 105-4: Error -100 starting up LNI o2ib<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1474.343671] LNetError: 20260:0:(o2iblnd.c:2781:kiblnd_dev_failover()) Failed to bind ens800f0:192.168.169.112 to device( (null)): -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1474.496347] LNetError: 20260:0:(o2iblnd.c:3314:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1475.610993] LNetError: 105-4: Error -100 starting up LNI o2ib<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1535.441463] LNetError: 20549:0:(o2iblnd.c:2781:kiblnd_dev_failover()) Failed to bind ens800f0:192.168.169.112 to device( (null)): -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1535.594183] LNetError: 20549:0:(o2iblnd.c:3314:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[ 1536.709841] LNetError: 105-4: Error -100 starting up LNI o2ib<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Interface: ens800f0 is the 100Gbps RDMA Mlnx NIC:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">ip addr<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> inet 127.0.0.1/8 scope host lo<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> valid_lft forever preferred_lft forever<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">2: ens300f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 9000 qdisc mq state UP group default qlen 1000<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> link/ether b8:ce:f6:25:ff:5e brd ff:ff:ff:ff:ff:ff<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> inet 172.16.5.112/22 brd 172.16.7.255 scope global dynamic ens300f0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> valid_lft 84734sec preferred_lft 84734sec<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">3: ens300f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> link/ether b8:ce:f6:25:ff:5f brd ff:ff:ff:ff:ff:ff<o:p></o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt">4: ens800f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000<o:p></o:p></span></b></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> link/ether 04:3f:72:e3:08:42 brd ff:ff:ff:ff:ff:ff<o:p></o:p></span></b></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> inet 192.168.169.112/22 brd 192.168.171.255 scope global ens800f0<o:p></o:p></span></b></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> valid_lft forever preferred_lft forever<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">5: ens800f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN group default qlen 1000<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> link/ether 04:3f:72:e3:08:43 brd ff:ff:ff:ff:ff:ff<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">OS: RHCK 7.9 3.10.0-1160.2.1.el7_lustre.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">OFED: Mellanox<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">ofed_info -n<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">4.9-3.1.5.0<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">cat /etc/lnet.conf is empty <o:p>
</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">cat /etc/modprobe.d/lnet.conf<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">cat: /etc/modprobe.d/lnet.conf: No such file or directory<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[root@inst-fknk9-relaxing-louse ~]# modprobe -v lustre<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/obdclass.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/ptlrpc.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/fld.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/fid.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/lov.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/osc.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/mdc.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/lmv.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/lustre.ko<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[root@inst-fknk9-relaxing-louse ~]#<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Based on discussion threads from Google search, one thread said to add this, still same error.
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">echo 'options lnet networks="o2ib(ens800f0)" ' > /etc/modprobe.d/lustre.conf<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">echo 'options lnet networks="o2ib(ens800f0)" ' > /etc/modprobe.d/lnet.conf<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Pinkesh Valdria<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Principal Solutions Architect \u2013 HPC<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>