<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Verdana;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle21
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Any thoughts on why an error -11 is being generated? See below for logs and configuration details.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">MGS/MDT on one machine (172.20.24.227)<o:p></o:p></p>
<p class="MsoNormal">OST on one machine (172.20.24.228)<o:p></o:p></p>
<p class="MsoNormal">Lustre client on one machine (172.20.24.217)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">MGS/MDT ‘lctl dl’ Output:<o:p></o:p></p>
<p class="MsoNormal">0 UP osd-zfs mgsZFS-MDT0000-osd mgsZFS-MDT0000-osd_UUID 8<o:p></o:p></p>
<p class="MsoNormal">  1 UP mgs MGS MGS 7<o:p></o:p></p>
<p class="MsoNormal">  2 UP mgc <a href="mailto:MGC172.20.24.227@tcp">MGC172.20.24.227@tcp</a> e681e692-c8aa-5c2b-b88b-3dacbcb2d20a 5<o:p></o:p></p>
<p class="MsoNormal">  3 UP mds MDS MDS_uuid 3<o:p></o:p></p>
<p class="MsoNormal">  4 UP lod mgsZFS-MDT0000-mdtlov mgsZFS-MDT0000-mdtlov_UUID 4<o:p></o:p></p>
<p class="MsoNormal">  5 UP mdt mgsZFS-MDT0000 mgsZFS-MDT0000_UUID 5<o:p></o:p></p>
<p class="MsoNormal">  6 UP mdd mgsZFS-MDD0000 mgsZFS-MDD0000_UUID 4<o:p></o:p></p>
<p class="MsoNormal">  7 UP qmt mgsZFS-QMT0000 mgsZFS-QMT0000_UUID 4<o:p></o:p></p>
<p class="MsoNormal">  8 UP lwp mgsZFS-MDT0000-lwp-MDT0000 mgsZFS-MDT0000-lwp-MDT0000_UUID 5<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">OST ‘lctl dl’ Output:<o:p></o:p></p>
<p class="MsoNormal">  0 UP osd-zfs ossZFS-OST0000-osd ossZFS-OST0000-osd_UUID 5<o:p></o:p></p>
<p class="MsoNormal">  1 UP mgc <a href="mailto:MGC172.20.24.227@tcp">MGC172.20.24.227@tcp</a> 441d1cfe-e390-8e3a-d88c-bd9d5d74d0e0 5<o:p></o:p></p>
<p class="MsoNormal">  2 UP ost OSS OSS_uuid 3<o:p></o:p></p>
<p class="MsoNormal">  3 UP obdfilter ossZFS-OST0000 ossZFS-OST0000_UUID 3<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The client just hangs forever once the following comment is executed: mount -t lustre
<a href="mailto:172.20.24.227@tcp0:/mgsZFS">172.20.24.227@tcp0:/mgsZFS</a> /mnt/lustre. The connection list shows both the OST and the client connected.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">MGS/MDT Connection list:<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.228@tcp">12345-172.20.24.228@tcp</a> I[0]mgs01.localdomain ->oss01.localdomain:1021 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.228@tcp">12345-172.20.24.228@tcp</a> O[0]mgs01.localdomain ->oss01.localdomain:1022 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.228@tcp">12345-172.20.24.228@tcp</a> C[0]mgs01.localdomain ->oss01.localdomain:1023 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.217@tcp">12345-172.20.24.217@tcp</a> I[0]mgs01.Localdomain ->lc01.localdomain:1021 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.217@tcp">12345-172.20.24.217@tcp</a> O[0]mgs01.localdomain ->lc01.localdomain:1022 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.217@tcp">12345-172.20.24.217@tcp</a> C[0]mgs01.localdomain ->lc01.localdomain:1023 87040/369280 nonagle<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">MGS/MDT /var/log/messages entries upon mount from client:<o:p></o:p></p>
<p class="MsoNormal">Dec 29 09:44:51 mgs01 kernel: Lustre: MGS: Connection restored to 1557f55a-2cae-e908-6533-58d54eb4a274 (at
<a href="mailto:172.20.24.217@tcp">172.20.24.217@tcp</a>)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Lustre Client /var/log/messages entries upon mount to MGS/MDT:<o:p></o:p></p>
<p class="MsoNormal">Dec 29 09:44:55 lc01 kernel: LustreError: 6996:0:(lmv_obd.c:1402:lmv_statfs()) can't stat MDS #0 (mgsZFS-MDT0000-mdc-ffff8800ede07800), error -11<o:p></o:p></p>
<p class="MsoNormal">Dec 29 09:44:55 lc01 kernel: Lustre: Unmounted mgsZFS-client<o:p></o:p></p>
<p class="MsoNormal">Dec 29 09:44:55 lc01 kernel: LustreError: 6996:0:(obd_mount.c:1449:lustre_fill_super()) Unable to mount  (-11)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Luster Client response to lctl ping 172.20.24.227:<o:p></o:p></p>
<p class="MsoNormal">12345-0@lo<o:p></o:p></p>
<p class="MsoNormal"><a href="mailto:12345-172.20.24.227@tcp">12345-172.20.24.227@tcp</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Below are the steps I followed to get the Lustre systems up and running:<o:p></o:p></p>
<p class="MsoNormal">Using CentOS 7.3.1611 with the following roles enabled:<o:p></o:p></p>
<p class="MsoNormal">               File and Storage Server<o:p></o:p></p>
<p class="MsoNormal">               Guest Agents (if in a VM)<o:p></o:p></p>
<p class="MsoNormal">               Large System Performance<o:p></o:p></p>
<p class="MsoNormal">               Network File System Client<o:p></o:p></p>
<p class="MsoNormal">               Performance Tools<o:p></o:p></p>
<p class="MsoNormal">               Compatibility Libraries<o:p></o:p></p>
<p class="MsoNormal">               Development Tools<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">hostname {YOUR SERVER NAME}<o:p></o:p></p>
<p class="MsoNormal">systemctl stop firewalld<o:p></o:p></p>
<p class="MsoNormal">systemctl disable firewalld<o:p></o:p></p>
<p class="MsoNormal">vi /etc/selinux/config<o:p></o:p></p>
<p class="MsoNormal">               SELINUX=disabled<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">yum -y install <a href="http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-8.noarch.rpm">
http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-8.noarch.rpm</a><o:p></o:p></p>
<p class="MsoNormal">yum clean all<o:p></o:p></p>
<p class="MsoNormal">vi /etc/yum.repos.d/lustre_server.repo<o:p></o:p></p>
<p class="MsoNormal">               [lustre-server]<o:p></o:p></p>
<p class="MsoNormal">               name=CentOS-$releasever - Lustre server<o:p></o:p></p>
<p class="MsoNormal">               baseurl=https://downloads.hpdd.intel.com/public/lustre/lustre-2.9.0/el7.3.1611/server/<o:p></o:p></p>
<p class="MsoNormal">               gpgcheck=0<o:p></o:p></p>
<p class="MsoNormal">kernel_version=`yum list --showduplicates kernel | grep lustre-server | awk '{print $2}'`<o:p></o:p></p>
<p class="MsoNormal">kernel_firmware_version=`yum list --showduplicates kernel-firmware | grep lustre-server | awk '{print $2}'`<o:p></o:p></p>
<p class="MsoNormal">yum -y install --nogpgcheck --setopt=protected_multilib=false kernel-${kernel_version} kernel-firmware-${kernel_firmware_version} kernel-devel-${kernel_version} kernel-headers-${kernel_version}<o:p></o:p></p>
<p class="MsoNormal">yum clean all<o:p></o:p></p>
<p class="MsoNormal">yum -y install yum-plugin-versionlock<o:p></o:p></p>
<p class="MsoNormal">yum versionlock add kernel<o:p></o:p></p>
<p class="MsoNormal">yum versionlock add kernel-firmware<o:p></o:p></p>
<p class="MsoNormal">yum versionlock add kernel-devel<o:p></o:p></p>
<p class="MsoNormal">yum versionlock add kernel-headers<o:p></o:p></p>
<p class="MsoNormal">yum clean all<o:p></o:p></p>
<p class="MsoNormal">yum-config-manager --disable lustre-server<o:p></o:p></p>
<p class="MsoNormal">yum -y install <a href="http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm">
http://download.zfsonlinux.org/epel/zfs-release.el7_3.noarch.rpm</a><o:p></o:p></p>
<p class="MsoNormal">yum clean all<o:p></o:p></p>
<p class="MsoNormal">yum-config-manager --disable zfs<o:p></o:p></p>
<p class="MsoNormal">yum-config-manager --enable zfs-kmod<o:p></o:p></p>
<p class="MsoNormal">reboot<o:p></o:p></p>
<p class="MsoNormal">yum -y install wget<o:p></o:p></p>
<p class="MsoNormal">yum -y install rpm-build<o:p></o:p></p>
<p class="MsoNormal">yum -y install kmod-zfs-devel libzfs2-devel<o:p></o:p></p>
<p class="MsoNormal">yum -y install libselinux-devel libtool<o:p></o:p></p>
<p class="MsoNormal">rm -f lustre-2.9.0-1.src.rpm&& wget -q <a href="https://downloads.hpdd.intel.com/public/lustre/lustre-2.9.0/el7/server/SRPMS/lustre-2.9.0-1.src.rpm">
https://downloads.hpdd.intel.com/public/lustre/lustre-2.9.0/el7/server/SRPMS/lustre-2.9.0-1.src.rpm</a><o:p></o:p></p>
<p class="MsoNormal">rm -rf ~rpmbuild&& rpmbuild --rebuild --with zfs lustre-2.9.0-1.src.rpm<o:p></o:p></p>
<p class="MsoNormal">cd ~/rpmbuild/RPMS/`uname -m`/&& yum -y install kmod-lustre-osd-zfs-2.9.0* kmod-lustre-2.9.0* lustre-osd-zfs-mount-2.9.0* lustre-2.9.0* lustre-iokit*<o:p></o:p></p>
<p class="MsoNormal">modprobe zfs<o:p></o:p></p>
<p class="MsoNormal">echo "options lnet networks=tcp0(eth0)" > /etc/modprobe.d/lustre.conf<o:p></o:p></p>
<p class="MsoNormal">zpool create -f mgs01-pool mirror /dev/sd[b-c]<o:p></o:p></p>
<p class="MsoNormal">mkfs.lustre --mdt --mgs --backfstype=zfs --fsname=mgsZFS --index=0 --mgsnode=[MGS IP ADDRESS]@tcp0 mgs01-pool/mgsZFS<o:p></o:p></p>
<p class="MsoNormal">mkdir /mnt/mgsZFS<o:p></o:p></p>
<p class="MsoNormal">mount -t lustre mgs01-pool/mgsZFS /mnt/mgsZFS<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:black">Jeff Slapp
</span></b><b><span style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:#D40A00">|</span></b><b><span style="font-size:8.5pt;font-family:"Verdana",sans-serif">
</span></b><span style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:black">Director, Systems Engineering and Solution Architecture</span><span style="font-size:8.0pt;font-family:"Verdana",sans-serif"><br>
<br>
</span><b><span lang="EN-GB" style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:#D40A00">DataCore Software Corporation<br>
</span></b><span lang="EN-GB" style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:black">Corporate Park<br>
6300 NW 5th Way<br>
Ft. Lauderdale, FL 33309</span><span lang="EN-GB" style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:#1F497D"><br>
</span><a href="http://www.datacore.com/" target="_blank"><span lang="EN-GB" style="font-size:8.5pt;font-family:"Verdana",sans-serif">http://www.datacore.com</span></a><span lang="EN-GB" style="font-size:8.5pt;font-family:"Verdana",sans-serif;color:#1F497D"><o:p></o:p></span></p>
<p class="MsoNormal" style="margin-bottom:12.0pt"><b><span lang="EN-GB" style="font-size:7.0pt;font-family:"Verdana",sans-serif;color:black">THE DATA INFRASTRUCTURE SOFTWARE COMPANY</span></b><o:p></o:p></p>
<p class="MsoNormal" style="margin-bottom:12.0pt"><o:p> </o:p></p>
</div>
</body>
</html>