<div dir="ltr">Hi Parag,<div><br></div><div>You may need to confirm that the in-kernel IB and the IB in the kernel module "match" (are compatible).  I think that loading the module (`sudo modprobe -v ko2iblnd`) may be sufficient to verify the match (it's been a while, others may correct me).<br></div><div><br></div><div>Please indicate which kernel and which IB you are using.</div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Brett</div><div>--<br></div><div dir="ltr"><span style="font-size:small">Protect yourself a</span><span style="font-size:small"><span><span style="font-size:small">gainst</span></span> cybercrime</span><br><div><div>PDS Software Solutions</div><div><a href="https://www.trustpds.com/" target="_blank">https://www.TrustPDS.com</a></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Fri, Nov 10, 2017 at 8:30 PM, Parag Khuraswar <span dir="ltr"><<a href="mailto:parag_k@citilindia.com" target="_blank">parag_k@citilindia.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div lang="EN-US"><div class="gmail-m_8884962771233506054WordSection1"><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">Hi Keith,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">Below errors I am getting while adding lnet and mounting mdt.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">dmesg logs while adding lnet <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">==============================<wbr>===========<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317831.432182] LNetError: 28362:0:(api-ni.c:1861:lnet_<wbr>startup_lndnet()) Can't load LND o2ib, module ko2iblnd, rc=256<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">==============================<wbr>===========<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">dmesg logs while mounting mdt<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">==============================<wbr>============<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[290476.172602] LNetError: 23040:0:(api-ni.c:1861:lnet_<wbr>startup_lndnet()) Can't load LND o2ib, module ko2iblnd, rc=256<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317478.730515] LDISKFS-fs (dm-1): mounted filesystem with ordered data mode. Opts: errors=remount-ro<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.166277] LDISKFS-fs (dm-1): mounted filesystem with ordered data mode. Opts: user_xattr,errors=remount-ro,<wbr>no_mbcache,nodelalloc<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.313296] LustreError: 28268:0:(ldlm_lib.c:483:<wbr>client_obd_setup()) can't add initial connection<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.313600] LustreError: 28268:0:(obd_config.c:608:<wbr>class_setup()) setup MGC10.2.1.204@o2ib failed (-2)<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.313603] LustreError: 28268:0:(obd_mount.c:202:<wbr>lustre_start_simple()) MGC10.2.1.204@o2ib setup error -2<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.313632] LustreError: 28268:0:(obd_mount_server.c:<wbr>1573:server_put_super()) no obd home-MDT0000<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.313635] LustreError: 28268:0:(obd_mount_server.c:<wbr>132:server_deregister_mount()) home-MDT0000 not registered<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.433934] Lustre: server umount home-MDT0000 complete<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">[317480.433940] LustreError: 28268:0:(obd_mount.c:1504:<wbr>lustre_fill_super()) Unable to mount  (-2)<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">==============================<wbr>============<u></u><u></u></span></p><div><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)">Regards,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)">Parag<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)"><u></u> <u></u></span></p></div><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(181,196,223);padding:3pt 0in 0in"><p class="MsoNormal"><b><span style="font-size:10pt;font-family:Tahoma,sans-serif">From:</span></b><span style="font-size:10pt;font-family:Tahoma,sans-serif"> Mannthey, Keith [mailto:<a href="mailto:keith.mannthey@intel.com" target="_blank">keith.mannthey@intel.<wbr>com</a>] <br><b>Sent:</b> Saturday, November , 2017 2:06 AM</span></p><div><div class="gmail-h5"><br><b>To:</b> Parag Khuraswar; <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.<wbr>org</a><br><b>Subject:</b> RE: [lustre-discuss] error while configuring lnet<u></u><u></u></div></div><p></p></div></div><div><div class="gmail-h5"><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><a name="m_8884962771233506054__MailEndCompose"><span style="color:rgb(31,73,125)">If you have ib0 device check dmesg for more hints on what is going wrong. </span></a><span style="color:rgb(31,73,125)"><u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Keith <u></u><u></u></span></p><div style="border-style:none none none solid;border-left-width:1.5pt;border-left-color:blue;padding:0in 0in 0in 4pt"><div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(225,225,225);padding:3pt 0in 0in"><p class="MsoNormal"><a name="m_8884962771233506054______replyseparator"></a><b>From:</b> Parag Khuraswar [mailto:<a href="mailto:parag_k@citilindia.com" target="_blank">parag_k@citilindia.com</a><wbr>] <br><b>Sent:</b> Friday, November 10, 2017 10:59 AM<br><b>To:</b> Mannthey, Keith <<a href="mailto:keith.mannthey@intel.com" target="_blank">keith.mannthey@intel.com</a>>; <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.<wbr>org</a><br><b>Subject:</b> RE: [lustre-discuss] error while configuring lnet<u></u><u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">Hi,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">Basically I am trying to add lnet. Deleting is just try whether it is happing or not.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">Main is I want to add o2ib network. Which is giving error “invalid argument ”<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">==================<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]# lnetctl net add --net o2ib --if ib0<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">add:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">    - net:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          errno: -22<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          descr: "cannot add network: Invalid argument"<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">================<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">I am really not able to understand what argument is invalid in my command.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)">I am able to ping ib0 network<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><div><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)">Regards,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)">Parag<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(31,73,125)"><u></u> <u></u></span></p></div><p class="MsoNormal"><span style="font-size:14pt;color:rgb(31,73,125)"><u></u> <u></u></span></p><div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(181,196,223);padding:3pt 0in 0in"><p class="MsoNormal"><b><span style="font-size:10pt;font-family:Tahoma,sans-serif">From:</span></b><span style="font-size:10pt;font-family:Tahoma,sans-serif"> Mannthey, Keith [<a href="mailto:keith.mannthey@intel.com" target="_blank">mailto:keith.mannthey@intel.<wbr>com</a>] <br><b>Sent:</b> Friday, November , 2017 10:51 PM<br><b>To:</b> Parag Khuraswar; <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.<wbr>org</a><br><b>Subject:</b> RE: [lustre-discuss] error while configuring lnet<u></u><u></u></span></p></div></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">What are you trying to accomplish? <u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">From below:<u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><a href="mailto:10.1.1.205@tcp" target="_blank">10.1.1.205@tcp</a><span style="color:rgb(31,73,125)"> is on 0@lo not eno1 and in general you should not need the “—if” option to delete a fabric. <u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Try: # lnetctl net del --net tcp<u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Can you do a normal ping over ib0? <u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">“dmesg” can sometime provide greater details about errors like this. <u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Thanks,<u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)">Keith <u></u><u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="color:rgb(31,73,125)"><u></u> <u></u></span></p><div style="border-style:none none none solid;border-left-width:1.5pt;border-left-color:blue;padding:0in 0in 0in 4pt"><div><div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(225,225,225);padding:3pt 0in 0in"><p class="MsoNormal"><b>From:</b> lustre-discuss [<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">mailto:lustre-discuss-<wbr>bounces@lists.lustre.org</a>] <b>On Behalf Of </b>Parag Khuraswar<br><b>Sent:</b> Friday, November 10, 2017 9:10 AM<br><b>To:</b> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.<wbr>org</a><br><b>Subject:</b> [lustre-discuss] error while configuring lnet<u></u><u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">Hi,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">I am trying to add lnet but getting below error. <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">======================<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]# lnetctl net show<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">net:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">    - net type: lo<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">      local NI(s):<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">        - nid: 0@lo<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          status: up<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">    - net type: tcp<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">      local NI(s):<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">        - nid: <a href="mailto:10.1.1.205@tcp" target="_blank">10.1.1.205@tcp</a><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          status: up<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]# lnetctl net add --net o2ib --if ib0<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">add:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">    - net:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          errno: -22<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          descr: "cannot add network: Invalid argument"<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]# lnetctl net del --net tcp --if eno1<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">del:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">    - net:<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          errno: -22<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">          descr: "cannot del network: Invalid argument"<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]# lctl list_nids<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)"><a href="mailto:10.1.1.205@tcp" target="_blank">10.1.1.205@tcp</a><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">[root@mds2 ~]#<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:14pt;color:rgb(54,95,145)">==============================<wbr>======<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(54,95,145)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(54,95,145)"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(54,95,145)">Regards,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(54,95,145)">Parag<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:12pt;color:rgb(54,95,145)"><u></u> <u></u></span></p><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></div><br>______________________________<wbr>_________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.<wbr>org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/<wbr>listinfo.cgi/lustre-discuss-<wbr>lustre.org</a><br>
<br></blockquote></div><br></div></div>