<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META content="text/html; charset=gb2312" http-equiv=Content-Type>
<STYLE>
BLOCKQUOTE {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px; MARGIN-LEFT: 2em
}
OL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
UL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
BODY {
        LINE-HEIGHT: 1.5; FONT-FAMILY: Î¢ÈíÑźÚ; COLOR: #000000; FONT-SIZE: 10.5pt
}
P {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
</STYLE>

<META name=GENERATOR content="MSHTML 8.00.7601.19038"></HEAD>
<BODY style="MARGIN: 10px; FONT-FAMILY: verdana; FONT-SIZE: 10pt">
<DIV style="FONT-FAMILY: Verdana">
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Hi all, <?xml:namespace prefix = o ns = 
"urn:schemas-microsoft-com:office:office" /><o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri> </FONT></o:p></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>We meet a  ¡°no free catalog slots for log¡± 
problem yesterday. Users got ¡°Bad address¡± error when they are trying to delete 
or create a new file.</FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN 
lang=EN-US></SPAN> </P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US></SPAN><SPAN 
lang=EN-US><FONT size=3><FONT face=Calibri> Here are some console logs on 
MDS:<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Dec<SPAN style="mso-spacerun: yes">  </SPAN>1 
23:14:41  kernel: LustreError: 
23658:0:(llog_cat.c:82:llog_cat_new_log()) no free catalog slots for 
log...<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Dec<SPAN style="mso-spacerun: yes">  </SPAN>1 
23:14:42 kernel: LustreError: 23635:0:(llog_cat.c:82:llog_cat_new_log()) no 
free catalog slots for log...<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Dec<SPAN style="mso-spacerun: yes">  </SPAN>1 
23:14:42  kernel: LustreError: 23635:0:(llog_cat.c:82:llog_cat_new_log()) 
Skipped 3029 previous similar messages<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Dec 1 23:14:42   kernel: LustreError: 
23316:0:(mdd_dir.c:783:mdd_changelog_ns_store()) changelog failed: rc=-28, op6 
jobOptions_sim_digam_10.txt.bosslog c[0x200010768:0x2118:0x0] 
p[0x200012a20:0x186c8:0x0]</FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri><o:p></o:p></FONT></FONT></SPAN> </P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>We solved the problem by deregistering the cl1 user 
just as someone mentioned in this thread:</FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><A 
href="https://jira.hpdd.intel.com/browse/LU-1586"><FONT color=#0563c1 size=3 
face=Calibri>https://jira.hpdd.intel.com/browse/LU-1586</FONT></A><o:p></o:p></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri> </FONT></o:p></SPAN><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri># lctl --device besfs-MDT0000 changelog_deregister cl1 
<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>The process has taken 230:41.21 minutes, and has not 
finished yet. Good news is that MDS service became normal just after we 
executed the command. To avoid the recurrence of this problem before we know why 
it happens, we unmasked all the changelog operations and stopped robinhood. 
<o:p></o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri> </FONT></o:p></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri></FONT></o:p></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>We are running Lustre 2.5.3 and Robinhood 2.5.3. 
Currently, there are 80 million files. Usage of MDT is 65% capacity 19% inodes. 
The size of changelog_catlog is only 4M. </FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri><o:p>-rw-r--r--  1 root root  4153280 Jul 21 
15:18 changelog_catalog </o:p></FONT></FONT></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri>And the index of cl1 log 
is:</FONT></o:p></SPAN></P><SPAN lang=EN-US><o:p><!--StartFragment -->
<DIV> lctl get_param mdd.besfs-MDT0000.changelog_users<BR>mdd.besfs-MDT0000.changelog_users=current index: 4199610352<BR>ID    index<BR>cl1   49035933 
</DIV></o:p></SPAN>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN 
lang=EN-US><o:p> </o:p></SPAN></P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><o:p><FONT 
size=3 face=Calibri></FONT></o:p></SPAN> </P>
<P style="MARGIN: 0cm 0cm 0pt" class=MsoNormal><SPAN lang=EN-US><FONT 
size=3><FONT face=Calibri>Here are 4 questions which we cannot find answers 
in LU-1586: </FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN 
style="mso-fareast-font-family: Calibri; mso-fareast-theme-font: minor-latin; mso-bidi-font-family: Calibri; mso-bidi-theme-font: minor-latin" 
lang=EN-US><SPAN style="mso-list: Ignore"><FONT size=3 
face=Calibri>1.</FONT><SPAN 
style="FONT: 7pt 'Times New Roman'">       
</SPAN></SPAN></SPAN><SPAN lang=EN-US><FONT size=3><FONT face=Calibri>According 
to Andres¡¯s reply, there should some unconsumed changelog files on our MDT, and 
these files have taken all the space (file quotas?) Lustre gives to changelog. 
With Lustre 2.1, these files are under OBJECTS directory and can be listed in 
ldiskfs mode. In our case, with Lustre 2.5.3, there is no OBJECTS directory can 
be found. In this case, how can we monitor the situation before the unconsumed 
changelogs takes up all the disk space? <o:p></o:p></FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN 
style="mso-fareast-font-family: Calibri; mso-fareast-theme-font: minor-latin; mso-bidi-font-family: Calibri; mso-bidi-theme-font: minor-latin" 
lang=EN-US><SPAN style="mso-list: Ignore"><FONT size=3 
face=Calibri>2.</FONT><SPAN 
style="FONT: 7pt 'Times New Roman'">      
 </SPAN></SPAN></SPAN><SPAN lang=EN-US><FONT size=3><FONT face=Calibri>Why 
there are so many unconsumed changelogs? Could it related to our frequent 
remount of MDT( abort_recovery mode )? </FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3><FONT 
face=Calibri>3.   When we remount the MDT, robinhood is still 
running. Why robinhood can not consume those old changelogs after MDT service is 
recovered? </FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3><FONT 
face=Calibri>4.   Why there is a huge difference between current 
index(<FONT face=Verdana>4199610352 </FONT>) and cl1(<FONT 
face=Verdana>49035933</FONT>) index?  </FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3><FONT 
face=Calibri></FONT></FONT></SPAN> </P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3><FONT face=Calibri>Thank 
you for your time and help !</FONT></FONT></SPAN></P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3 
face=Calibri></FONT></SPAN> </P>
<P 
style="TEXT-INDENT: -18pt; MARGIN: 0cm 0cm 0pt 18pt; mso-char-indent-count: 0; mso-list: l0 level1 lfo1" 
class=MsoListParagraph><SPAN lang=EN-US><FONT size=3 
face=Calibri>Wang,Lu</FONT></SPAN></P></DIV>
<DIV> </DIV>
<HR style="WIDTH: 210px; HEIGHT: 1px" align=left color=#b5c4df SIZE=1>

<DIV>====================================================================</DIV>
<DIV>Computing center,the Institute of High Energy Physics, CAS, China</DIV>
<DIV>Wang, Lu ( Íô è´ 
)                       
Tel: (+86) 10 8823 6087</DIV>
<DIV>P.O. Box 
918-7                           
Fax: (+86) 10 8823 6839</DIV>
<DIV>Beijing 100049  P.R. 
China               
Email: Lu.Wang@ihep.ac.cn</DIV>
<DIV>====================================================================</DIV></BODY></HTML>