<div dir="ltr"><div><div><div><div>I came across a similar situation.<br><br></div>Below is the log of machine state. These steps worked on some setups while on some it didnt.<br><br></div>Armaan,<br><br></div>Were you able to get over the problem ? Any workaround ?<br>
<br></div>Thanks in advance for all your help.<br><div><div><div><div><div><div><br><br clear="all"><div><div dir="ltr">Warm Regards,<br>Abhay Dandekar<b><br></b></div></div>
<br><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Abhay Dandekar</b> <span dir="ltr"><<a href="mailto:dandekar.abhay@gmail.com">dandekar.abhay@gmail.com</a>></span><br>
Date: Wed, Aug 6, 2014 at 12:18 AM<br>Subject: Lustre configuration failure : lwp-MDT0000: Communicating with 0@lo, operation mds_connect failed with -11.<br>To: <a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a><br>
<br><br><div dir="ltr"><br>Hi All,<br><br>I have come across an lustre installation failure where the MGS is always trying to reach "lo" config instead of configured ethernet.<br><br>These same steps worked on a different machine, somehow they are failing here.<br>

<br>Here are the logs <br><br>Lustre installation is success with all the packages installed without any error.<br><br>0. Lustre version <br><br>Aug  5 23:07:37 lfs-server kernel: LNet: HW CPU cores: 1, npartitions: 1<br>

Aug  5 23:07:37 lfs-server modprobe: FATAL: Error inserting crc32c_intel (/lib/modules/2.6.32-431.17.1.el6_lustre.x86_64/kernel/arch/x86/crypto/crc32c-intel.ko): No such device<br>Aug  5 23:07:37 lfs-server kernel: alg: No test for crc32 (crc32-table)<br>

Aug  5 23:07:37 lfs-server kernel: alg: No test for adler32 (adler32-zlib)<br>Aug  5 23:07:41 lfs-server modprobe: FATAL: Error inserting padlock_sha (/lib/modules/2.6.32-431.17.1.el6_lustre.x86_64/kernel/drivers/crypto/padlock-sha.ko): No such device<br>

Aug  5 23:07:41 lfs-server kernel: padlock: VIA PadLock Hash Engine not detected.<br>Aug  5 23:07:45 lfs-server kernel: Lustre: Lustre: Build Version: 2.5.2-RC2--PRISTINE-2.6.32-431.17.1.el6_lustre.x86_64<br>Aug  5 23:07:45 lfs-server kernel: LNet: Added LNI 192.168.122.50@tcp [8/256/0/180]<br>

Aug  5 23:07:45 lfs-server kernel: LNet: Accept secure, port 988<br><br><br>1. Mkfs<br><br>[root@lfs-server ~]# mkfs.lustre --fsname=lustre --mgs --mdt --index=0 /dev/sdb <br><br>   Permanent disk data:<br>Target:     lustre:MDT0000<br>

Index:      0<br>Lustre FS:  lustre<br>Mount type: ldiskfs<br>Flags:      0x65<br>              (MDT MGS first_time update )<br>Persistent mount opts: user_xattr,errors=remount-ro<br>Parameters:<br><br>checking for existing Lustre data: not found<br>

device size = 10240MB<br>formatting backing filesystem ldiskfs on /dev/sdb<br>    target name  lustre:MDT0000<br>    4k blocks     2621440<br>    options        -J size=400 -I 512 -i 2048 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F<br>

mkfs_cmd = mke2fs -j -b 4096 -L lustre:MDT0000  -J size=400 -I 512 -i 2048 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F /dev/sdb 2621440<br>Aug  5 17:16:47 lfs-server kernel: LDISKFS-fs (sdb): mounted filesystem with ordered data mode. quota=on. Opts: <br>

Writing CONFIGS/mountdata<br>[root@lfs-server ~]#<br><br>2. Mount<br><br>[root@lfs-server ~]# mount -t lustre /dev/sdb /mnt/mgs <br>Aug  5 17:18:01 lfs-server kernel: LDISKFS-fs (sdb): mounted filesystem with ordered data mode. quota=on. Opts: <br>

Aug  5 17:18:01 lfs-server kernel: LDISKFS-fs (sdb): mounted filesystem with ordered data mode. quota=on. Opts: <br>Aug  5 17:18:02 lfs-server kernel: Lustre: ctl-lustre-MDT0000: No data found on store. Initialize space<br>

Aug  5 17:18:02 lfs-server kernel: Lustre: lustre-MDT0000: new disk, initializing<br>Aug  5 17:18:02 lfs-server kernel: Lustre: MGS: non-config logname received: params<br>Aug  5 17:18:02 lfs-server kernel: LustreError: 11-0: lustre-MDT0000-lwp-MDT0000: Communicating with 0@lo, operation mds_connect failed with -11.<br>

[root@lfs-server ~]# <br><br><br>3. Unmount<br>[root@lfs-server ~]# umount /dev/sdb <br>Aug  5 17:19:46 lfs-server kernel: Lustre: Failing over lustre-MDT0000<br>Aug  5 17:19:52 lfs-server kernel: Lustre: 1338:0:(client.c:1908:ptlrpc_expire_one_request()) @@@ Request sent has timed out for slow reply: [sent 1407239386/real 1407239386]  req@ffff88003d795c00 x1475596948340888/t0(0) o251->MGC192.168.122.50@tcp@0@lo:26/25 lens 224/224 e 0 to 1 dl 1407239392 ref 2 fl Rpc:XN/0/ffffffff rc 0/-1<br>

[root@lfs-server ~]# Aug  5 17:19:53 lfs-server kernel: Lustre: server umount lustre-MDT0000 complete<br><br>[root@lfs-server ~]# <br><br><br>4. [root@mgs ~]# cat /etc/modprobe.d/lustre.conf <br>options lnet networks=tcp(eth0)<br>

[root@mgs ~]# <br><br>5.Even the lnet configuration is in place, it does not pick up the required eth0.<br><br>[root@mgs ~]# lctl dl <br>  0 UP osd-ldiskfs lustre-MDT0000-osd lustre-MDT0000-osd_UUID 8<br>  1 UP mgs MGS MGS 5<br>

  2 UP mgc MGC192.168.122.50@tcp c6ea84c0-b3b2-9d25-8126-32d85956ae4d 5<br>  3 UP mds MDS MDS_uuid 3<br>  4 UP lod lustre-MDT0000-mdtlov lustre-MDT0000-mdtlov_UUID 4<br>  5 UP mdt lustre-MDT0000 lustre-MDT0000_UUID 5<br>
  6 UP mdd lustre-MDD0000 lustre-MDD0000_UUID 4<br>
  7 UP qmt lustre-QMT0000 lustre-QMT0000_UUID 4<br>  8 UP lwp lustre-MDT0000-lwp-MDT0000 lustre-MDT0000-lwp-MDT0000_UUID 5<br>[root@mgs ~]# <br><br>Any pointers to go ahead ??<br><br><br clear="all"><div><div dir="ltr">Warm Regards,<br>

Abhay Dandekar<b><br></b></div></div>
</div>
</div><br></div></div></div></div></div></div></div>