Hi everyone ! <br><br>i currently have a serious trouble with OST - MDS connecting. My lustre file system have 1 MDS  and 3 OSTs ( each MDS and OST have backup node by synchronize by drdb ). <br>Yesterday, maybe because my partner move CATALOGS file when mount our devices at ldiskfs type, everything goes down, all of our OSTs can't connect to my MDS. I tried umounting all and remount but it didn't help. Everything is ok when i mount my disk on MDS and OST, but after recovering, in MDS log, we saw error like this: <br>
<br>Sep 26 05:46:51 MDS1 kernel: LustreError: 6161:0:(mds_lov.c:984:__mds_<br>lov_synchronize()) lustre-OST0003_UUID failed at update_mds: -22<br><br>and MDS deactivate our OST, all of our OSTs are in the INACTIVE state with MDS : <br>
<br>lctl dl<br>  0 UP mgs MGS MGS 15<br>  1 UP mgc MGC192.168.1.78@tcp dd7b40bd-ab09-d972-7e3a-fc62205b4968 5<br>  2 UP mdt MDS MDS_uuid 3<br>  3 UP lov lustre-mdtlov lustre-mdtlov_UUID 4<br>  4 UP mds lustre-MDT0000 lustre-MDT0000_UUID 7<br>
  5 IN osc lustre-OST0003-osc lustre-mdtlov_UUID 5<br>  6 IN osc lustre-OST0000-osc lustre-mdtlov_UUID 5<br>  7 IN osc lustre-OST0006-osc lustre-mdtlov_UUID 5<br>  8 IN osc lustre-OST0005-osc lustre-mdtlov_UUID 5<br>  9 IN osc lustre-OST0004-osc lustre-mdtlov_UUID 5<br>
<br><br><br>Because of rc: -22 report, i tried changing parameters in our OSTs ( in face, i only erase and set it with the old parameter, because it's work well with this info during 4 months, i don't think we had a problem in using parameter here ) but i didn't help and show me an other error: <br>
<br>When i mount one of my OST ( both OST and MDS are justified parameter by tunefs.lustre ), i get this: <br><br>mount.lustre: mount /dev/sdc at /mnt/lustre failed: Input/output error<br>Is the MGS running?<br><br>OST and MDS completely can connect together, by both ping and lctc ping !!!!!<br>
<br>I also mounted my mdt as ldiskfs type and remove CATALOGS and CONFIGS, didn't help :( <br>As trying in vain, i reformat OST and MDS like this: <br><br>mkfs.lustre --reformat --verbose --writeconf --ost --mgsnode=192.168.1.78@tcp:192.168.1.80@tcp --failover=192.168.1.82@tcp --index=1 /dev/sdc<br>
<br>mkfs.lustre --reformat --mgs --mdt --failover=192.168.1.80@tcp --writeconf /dev/sda4<br><br>After reformat, everything is at the stand still, i still get : Is the MGS running error :( <br><br><br>With all of our problems i showed you above, could you please give me and advice or solution ? it's really really a disaster with me now ? <br>
<br>Is there any way to fix the failed at update_mds -22 error ? <br>Is there any way to fix the " is MGS running error ? " <br><br>I still have all of my data in MGS - backup node ( it have the same problem with MDS1 but didn't be formatted ), could anyone please show me how to move it safely to my new MDS ? <br>
<br><br>Any help could be highly appreciated :( <br><br>Hope you can reply us as soon as possible . Many thanks <br><br><br><br>