<div dir="ltr"><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small;color:rgb(153,51,153)">Hi All, </div><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small;color:rgb(153,51,153)">I was able to get the lustre client mounted successfully.</div><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small;color:rgb(153,51,153)"><br></div><div class="gmail_default" style=""><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">I was getting this error whenever i tried to mount client via tcp/o2ib network. </font></div><div class="gmail_default" style=""><span style="color:rgb(153,51,153);font-family:tahoma,sans-serif"><br></span></div><div class="gmail_default" style=""><font face="monospace, monospace"><span style="color:rgb(153,51,153)">[867363.885584] LustreError: 162-5: Missing mount data: check that /sbin/mount.lustre isinstalled.</span><br></font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">[867363.885637] LustreError: 13214:0:(obd_mount.c:1325:lustre_fill_super()) Unable to mount  (-22)</font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">[867363.885659] LustreError: 13214:0:(obd_mount.c:1325:lustre_fill_super()) Skipped 1 previous similar message</font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">[867364.107157] LustreError: 15c-8: MGC192.168.111.52@tcp: The configuration from log 'mylustre-client' failed (-2). This may be the result of communication errors between this node and the MGS, a bad configuration, or other errors. See the syslog for more information.</font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">[867364.107209] LustreError: 13215:0:(llite_lib.c:1046:ll_fill_super()) Unable to process log: -2</font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">[867364.107729] Lustre: Unmounted mylustre-client</font></div><div class="gmail_default" style=""><font color="#993399" face="monospace, monospace">MGC192.168.111.52@tcp</font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif"><br></font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">but when checked on the mgs with cat /proc/fs/lustre/device, i could not see any entry for MGC192.168.111.52@tcp . Only MGC192.168.200.52@o2ib was present. Also some of the disks were missing. Which led me to look into my disks health. To my surprise the iscsi disks in zpool were "Degraded". Not sure what caused that. So i reconfigured the entire setup and was able to mount the client via o2ib without any issues. Couple of other tweaks i did this time is </font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif"><br></font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">1. Disabled the firewalld and ufw ( earlier i added an exception to allow the iscsi disks )</font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">2. used the following command to mount MGS and mdt ( both in single command).</font></div><div class="gmail_default" style=""><font color="#993399"><font face="monospace, monospace">mkfs.lustre --fsname=lustre --mgs --mdt --backfstype=zfs mgs01/data --index 0</font><br></font></div><div class="gmail_default" style=""><font color="#993399"><font face="monospace, monospace"><br></font></font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">earlier i used below two commands</font></div><div class="gmail_default" style=""><span style="font-family:monospace,monospace;color:rgb(153,51,153)">mkfs.lustre --mgs --backfstype=zfs mds1_1/mgs</span><br></div><div class="gmail_default" style=""><font color="#993399"><font face="monospace, monospace">mkfs.lustre --mdt --backfstype=zfs --fsname=mylustre --index=1 --mgsnode=192.168.200.52@o2ib mds1_1/mdt1<br></font></font></div><div class="gmail_default" style=""><font color="#993399"><font face="monospace, monospace"><br></font></font></div><div class="gmail_default" style=""><font color="#993399" face="tahoma, sans-serif">3. modified lustre.conf to have the preferred network as first parameter. Not sure if thats how its supposed to work.</font></div><div class="gmail_default" style=""><font color="#a64d79"><span style="font-size:14px"><font face="monospace, monospace">options lnet networks=o2ib(ib0),tcp0(eth0)</font></span><span style="font-family:Calibri,sans-serif;font-size:14px"> if i want to connect over o2ib</span><font face="monospace, monospace"><br></font></font></div><div class="gmail_default" style=""><font color="#a64d79"><font face="monospace, monospace"><span style="font-size:14px">options lnet networks=</span><span style="font-size:14px">tcp0(eth0),</span><span style="font-size:14px">o2ib(ib0)</span></font><span style="font-family:Calibri,sans-serif;font-size:14px"> if i want to connect over tcp</span></font></div><div class="gmail_default" style=""><font color="#993399"><font face="monospace, monospace"><br></font></font></div><div style="color:rgb(153,51,153);font-family:tahoma,sans-serif;font-size:small">Thanks all for your help. Hopefully my learning's will help others.</div></div><div class="gmail_default" style="font-family:tahoma,sans-serif;font-size:small;color:rgb(153,51,153)"><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Aug 1, 2016 at 7:42 AM, Mohr Jr, Richard Frank (Rick Mohr) <span dir="ltr"><<a href="mailto:rmohr@utk.edu" target="_blank">rmohr@utk.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><span class=""><br>
> On Jul 28, 2016, at 9:54 PM, sohamm <<a href="mailto:sohamm@gmail.com">sohamm@gmail.com</a>> wrote:<br>
><br>
> Client is configured for IB interface.<br>
<br>
</span>So it looks like there might be something wrong with the LNet config on the client then.  Based on the output from “lctl ping” that you ran from the server, the client only reported a NID on the tcp network.<br>
<span class=""><br>
> in my understanding i can specific the network of choice in the mount command. tried both tcp and ib.<br>
<br>
</span>That is true, but sometimes if the client and server both have interfaces on two different networks (like ethernet and IB) there can be some subtle issues.  When you specify the NID for the MGS to mount the file system, the client will retrieve information about the MDS/OSS servers from the MGS you specified.  This information includes the NIDS that the MDS/OSS servers will listen for requests.  If a client sees that a server has a NID on tcp0 and a NID on o2ib0, and the client also has NIDs on tcp0 and o2ib0, then the client sees that there are two paths to the same server and it will just pick one of the paths (which might not be the one you want).  And if the path it chooses happens to be down, it won’t matter if the other path is up.<br>
<br>
(Now, I should make a disclaimer about the above statements.  I believe that is how it worked on Lustre versions like 1.8 and 2.4.  I have not tried this with newer Lustre versions, so the behavior could be different.  I also have not experimented with anything like specifying weights for LNet routes, so I don’t know if that could be used to prefer one interface over another.)<br>
<div class=""><div class="h5"><br>
--<br>
Rick Mohr<br>
Senior HPC System Administrator<br>
National Institute for Computational Sciences<br>
<a href="http://www.nics.tennessee.edu" rel="noreferrer" target="_blank">http://www.nics.tennessee.edu</a><br>
<br>
</div></div></blockquote></div><br></div></div>