<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=utf-8">
<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Consolas;
panose-1:2 11 6 9 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
{mso-style-priority:34;
margin-top:0in;
margin-right:0in;
margin-bottom:0in;
margin-left:.5in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri",sans-serif;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
/* List Definitions */
@list l0
{mso-list-id:4404091;
mso-list-type:hybrid;
mso-list-template-ids:1238373472 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
{mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level2
{mso-level-number-format:alpha-lower;
mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level3
{mso-level-number-format:roman-lower;
mso-level-tab-stop:none;
mso-level-number-position:right;
text-indent:-9.0pt;}
@list l0:level4
{mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level5
{mso-level-number-format:alpha-lower;
mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level6
{mso-level-number-format:roman-lower;
mso-level-tab-stop:none;
mso-level-number-position:right;
text-indent:-9.0pt;}
@list l0:level7
{mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level8
{mso-level-number-format:alpha-lower;
mso-level-tab-stop:none;
mso-level-number-position:left;
text-indent:-.25in;}
@list l0:level9
{mso-level-number-format:roman-lower;
mso-level-tab-stop:none;
mso-level-number-position:right;
text-indent:-9.0pt;}
ol
{margin-bottom:0in;}
ul
{margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link="#0563C1" vlink="#954F72"><div class=WordSection1><p class=MsoNormal>Hello All,<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I am new to Lustre. I started by using the docs on this page to deploy Lustre on Virtual machines running CentOS 7.x (CentOS-7-2018.08.15-0). Included below are the content of the scripts I used and the error I get. <o:p></o:p></p><p class=MsoNormal>I have not done any setup for “<span style='font-size:10.5pt;font-family:Consolas;color:black;background:white'>o2ib0(ib0)” and lnet is using tcp. All the nodes are on the same network & subnet and cannot communicate on my protocol and port #. <o:p></o:p></span></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Thanks for your help. I am completely blocked and looking for ideas. (already did google search <span style='font-family:"Segoe UI Emoji",sans-serif'>☹</span>). <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I have 2 questions: <o:p></o:p></p><ol style='margin-top:0in' start=1 type=1><li class=MsoListParagraph style='margin-left:0in;mso-list:l0 level1 lfo1'>The MDT mounted on MDS has no permissions (no read , no write, no execute), even for root user on MDS/MGS node. Is that expected? . See “<u>MGS/MDS node setup” section for more details on what I did. </u><o:p></o:p></li></ol><p class=MsoListParagraph>[root@lustre-mds-server-1 opc]# mount -t lustre /dev/sdb /mnt/mdt<o:p></o:p></p><p class=MsoListParagraph><o:p> </o:p></p><p class=MsoListParagraph>[root@lustre-mds-server-1 opc]# ll /mnt<o:p></o:p></p><p class=MsoListParagraph>total 0<o:p></o:p></p><p class=MsoListParagraph>d---------. 1 root root 0 Jan 1 1970 mdt<o:p></o:p></p><p class=MsoListParagraph>[root@lustre-mds-server-1 opc]#<o:p></o:p></p><ol style='margin-top:0in' start=2 type=1><li class=MsoListParagraph style='margin-left:0in;mso-list:l0 level1 lfo1'>Assuming if the above is not an issue, after setting up OSS/OST and Client node, When my client tries to mount, I get the below error: <o:p></o:p></li></ol><p class=MsoNormal style='margin-left:.5in'>[root@lustre-client-1 opc]# mount -t lustre 10.0.2.4@tcp:/lustrewt /mnt<o:p></o:p></p><p class=MsoNormal style='margin-left:.5in'>mount.lustre: mount 10.0.2.4@tcp:/lustrewt at /mnt failed: Input/output error<o:p></o:p></p><p class=MsoNormal style='margin-left:.5in'>Is the MGS running?<o:p></o:p></p><p class=MsoNormal style='margin-left:.5in'>[root@lustre-client-1 opc]#<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>dmesg shows the below error on the client node: <o:p></o:p></p><p class=MsoNormal>[root@lustre-client-1 opc]# dmesg<o:p></o:p></p><p class=MsoNormal> [35639.535862] Lustre: 11730:0:(client.c:2114:ptlrpc_expire_one_request()) @@@ Request sent has timed out for slow reply: [sent 1549386846/real 1549386846] req@ffff9259bb518c00 x1624614953288208/t0(0) o250->MGC10.0.2.4@tcp@10.0.2.4@tcp:26/25 lens 520/544 e 0 to 1 dl 1549386851 ref 1 fl Rpc:XN/0/ffffffff rc 0/-1<o:p></o:p></p><p class=MsoNormal>[35640.535877] LustreError: 7718:0:(mgc_request.c:251:do_config_log_add()) MGC10.0.2.4@tcp: failed processing log, type 1: rc = -5<o:p></o:p></p><p class=MsoNormal>[35669.535028] Lustre: 11730:0:(client.c:2114:ptlrpc_expire_one_request()) @@@ Request sent has timed out for slow reply: [sent 1549386871/real 1549386871] req@ffff9259bb428f00 x1624614953288256/t0(0) o250->MGC10.0.2.4@tcp@10.0.2.4@tcp:26/25 lens 520/544 e 0 to 1 dl 1549386881 ref 1 fl Rpc:XN/0/ffffffff rc 0/-1<o:p></o:p></p><p class=MsoNormal>[35670.546671] LustreError: 15c-8: MGC10.0.2.4@tcp: The configuration from log 'lustrewt-client' failed (-5). This may be the result of communication errors between this node and the MGS, a bad configuration, or other errors. See the syslog for more information.<o:p></o:p></p><p class=MsoNormal>[35670.557472] Lustre: Unmounted lustrewt-client<o:p></o:p></p><p class=MsoNormal>[35670.560432] LustreError: 7718:0:(obd_mount.c:1582:lustre_fill_super()) Unable to mount (-5)<o:p></o:p></p><p class=MsoNormal>[root@lustre-client-1 opc]#<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>I have firewall turned off on all nodes (client, mds/mgs, oss), selinux is disabled/setenforce=0 . I can telnet to the MDS/MGS node from client machine. <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Given below is the setup I have on different nodes: <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><u>MGS/MDS node setup <o:p></o:p></u></p><p class=MsoNormal>#!/bin/bash<o:p></o:p></p><p class=MsoNormal>service firewalld stop<o:p></o:p></p><p class=MsoNormal>chkconfig firewalld off<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>cat > /etc/yum.repos.d/lustre.repo << EOF<o:p></o:p></p><p class=MsoNormal>[hpddLustreserver]<o:p></o:p></p><p class=MsoNormal>name=CentOS- - Lustre<o:p></o:p></p><p class=MsoNormal>baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7.6.1810/server/<o:p></o:p></p><p class=MsoNormal>gpgcheck=0<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[e2fsprogs]<o:p></o:p></p><p class=MsoNormal>name=CentOS- - Ldiskfs<o:p></o:p></p><p class=MsoNormal>baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/<o:p></o:p></p><p class=MsoNormal>gpgcheck=0<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[hpddLustreclient]<o:p></o:p></p><p class=MsoNormal>name=CentOS- - Lustre<o:p></o:p></p><p class=MsoNormal>baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7.6.1810/client/<o:p></o:p></p><p class=MsoNormal>gpgcheck=0<o:p></o:p></p><p class=MsoNormal>EOF<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>sudo yum install lustre-tests -y<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>cp /etc/selinux/config /etc/selinux/config.backup<o:p></o:p></p><p class=MsoNormal>sed 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>setenforce 0<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>echo "complete. rebooting now"<o:p></o:p></p><p class=MsoNormal>reboot<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>After reboot is complete, I login to the MGS/MDS node as root and run the following steps: <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>The node has a block storage device attached: /dev/sdb<o:p></o:p></p><p class=MsoNormal>Run the below command: <o:p></o:p></p><p class=MsoNormal>pvcreate -y /dev/sdb<o:p></o:p></p><p class=MsoNormal>mkfs.xfs -f /dev/sdb<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# setenforce 0<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# mkfs.lustre --fsname=lustrewt --index=0 --mgs --mdt /dev/sdb<o:p></o:p></p><p class=MsoNormal> Permanent disk data:<o:p></o:p></p><p class=MsoNormal>Target: lustrewt:MDT0000<o:p></o:p></p><p class=MsoNormal>Index: 0<o:p></o:p></p><p class=MsoNormal>Lustre FS: lustrewt<o:p></o:p></p><p class=MsoNormal>Mount type: ldiskfs<o:p></o:p></p><p class=MsoNormal>Flags: 0x65<o:p></o:p></p><p class=MsoNormal> (MDT MGS first_time update )<o:p></o:p></p><p class=MsoNormal>Persistent mount opts: user_xattr,errors=remount-ro<o:p></o:p></p><p class=MsoNormal>Parameters:<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>checking for existing Lustre data: not found<o:p></o:p></p><p class=MsoNormal>device size = 51200MB<o:p></o:p></p><p class=MsoNormal>formatting backing filesystem ldiskfs on /dev/sdb<o:p></o:p></p><p class=MsoNormal> target name lustrewt:MDT0000<o:p></o:p></p><p class=MsoNormal> 4k blocks 13107200<o:p></o:p></p><p class=MsoNormal> options -J size=2048 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F<o:p></o:p></p><p class=MsoNormal>mkfs_cmd = mke2fs -j -b 4096 -L lustrewt:MDT0000 -J size=2048 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F /dev/sdb 13107200<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# mkdir -p /mnt/mdt<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# mount -t lustre /dev/sdb /mnt/mdt<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# modprobe lnet<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# lctl network up<o:p></o:p></p><p class=MsoNormal>LNET configured<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# lctl list_nids<o:p></o:p></p><p class=MsoNormal>10.0.2.4@tcp<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]# ll /mnt<o:p></o:p></p><p class=MsoNormal>total 0<o:p></o:p></p><p class=MsoNormal>d---------. 1 root root 0 Jan 1 1970 mdt<o:p></o:p></p><p class=MsoNormal>[root@lustre-mds-server-1 opc]#<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>OSS/OST node<o:p></o:p></p><p class=MsoNormal>1 OSS node with 1 block device for OST (/dev/sdb). The setup to update kernel was the same as MGS/MDS node (described above), then I ran the below commands: <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>mkfs.lustre --ost --fsname=lustrewt --index=0 --mgsnode=10.0.2.4@tcp /dev/sdb<o:p></o:p></p><p class=MsoNormal>mkdir -p /ostoss_mount<o:p></o:p></p><p class=MsoNormal>mount -t lustre /dev/sdb /ostoss_mount<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Client node<o:p></o:p></p><p class=MsoNormal>1 client node. The setup to update kernel was the same as MGS/MDS node (described above), then I ran the below commands: <o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>[root@lustre-client-1 opc]# modprobe lustre<o:p></o:p></p><p class=MsoNormal>[root@lustre-client-1 opc]# mount -t lustre 10.0.2.3@tcp:/lustrewt /mnt (This fails with below error):<o:p></o:p></p><p class=MsoNormal style='margin-left:.5in'>mount.lustre: mount 10.0.2.4@tcp:/lustrewt at /mnt failed: Input/output error<o:p></o:p></p><p class=MsoNormal style='margin-left:.5in'>Is the MGS running?<o:p></o:p></p><p class=MsoNormal>[root@lustre-client-1 opc]#<o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Thanks,<o:p></o:p></p><p class=MsoNormal>Pinkesh Valdria<o:p></o:p></p><p class=MsoNormal>OCI – Big Data<o:p></o:p></p><p class=MsoNormal>Principal Solutions Architect <o:p></o:p></p><p class=MsoNormal>m: +1-206-234-4314<o:p></o:p></p><p class=MsoNormal><a href="mailto:pinkesh.valdria@oracle.com">pinkesh.valdria@oracle.com</a><o:p></o:p></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><o:p> </o:p></p></div></body></html>