
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<HTML><HEAD>

<META content="text/html; charset=us-ascii" http-equiv=Content-Type>

<META name=GENERATOR content="MSHTML 8.00.6001.18852"><LINK rel=stylesheet 

href="BLOCKQUOTE{margin-Top: 0px; margin-Bottom: 0px; margin-Left: 2em}"></HEAD>

<BODY style="MARGIN: 10px; FONT-FAMILY: verdana; FONT-SIZE: 10pt">

<DIV><FONT face=Verdana>Hi,dearlist</FONT></DIV>

<DIV>&nbsp;</DIV>

<DIV>We got a high frequency of logining node crash these days. The scene is 

that we can't remote access to the nodes but we can access them in the terminal. 

We run the command :</DIV>

<DIV>ps -ef |grep ldlm</DIV>

<DIV>&nbsp;</DIV>

<DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3823&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_00]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3824&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_01]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3825&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_02]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3826&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_03]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3827&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_04]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3828&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_05]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3829&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_06]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3830&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_bl_07]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3831&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_00]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3832&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_01]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3834&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_02]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3835&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_03]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3836&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_04]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3837&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_05]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3838&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_06]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3839&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cn_07]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3840&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_00]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3841&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_01]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3842&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_02]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3843&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_03]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3844&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_04]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3845&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_05]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3846&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_06]</DIV>

<DIV>root&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3847&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1&nbsp;&nbsp;0&nbsp;10:57&nbsp;?&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;00:00:00&nbsp;[ldlm_cb_07]</DIV></DIV>

<DIV>.</DIV>

<DIV>.</DIV>

<DIV>.</DIV>

<DIV>&nbsp;</DIV>

<DIV>&nbsp;</DIV>

<DIV>we can see many processes about ldlm, it's up to hundreds. As a result, the 

load avarage is too high (155.0 165.0 145.0) to work normally.However, we have 

no idea and&nbsp;have to restart the nodes. At the same time,we can get the log 

as follows:</DIV>

<DIV>The filesystem features:</DIV>

<DIV>&nbsp;</DIV>

<DIV>Server: lustre 1.6.6</DIV>

<DIV>Client: lustre 1.6.5</DIV>

<DIV>&nbsp;</DIV>

<DIV>Can someone else get the same problem? </DIV>

<DIV>I will appreciate for your any help!</DIV>

<DIV>&nbsp;</DIV>

<DIV>&nbsp;</DIV>

<DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Got&nbsp;rc&nbsp;-11&nbsp;from&nbsp;cancel&nbsp;RPC:&nbsp;canceling&nbsp;anyway</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Skipped&nbsp;10&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;ldlm_cli_cancel_list:&nbsp;-11</DIV>

<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;12745,1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;92%</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Skipped&nbsp;10&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;ldlm_cli_cancel_list:&nbsp;-11</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:10&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30586:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;Skipped&nbsp;10&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:14&nbsp;lxslc22&nbsp;hm[4390]:&nbsp;Server&nbsp;went&nbsp;down,&nbsp;finding&nbsp;new&nbsp;server.</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:24:49&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:25:04&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;3&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:25:08&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;Request&nbsp;x1111842&nbsp;sent&nbsp;from&nbsp;MGC192.168.50.32@tcp&nbsp;to&nbsp;NID&nbsp;192.168.50.32@tcp&nbsp;500s&nbsp;ago&nbsp;has&nbsp;timed&nbsp;out&nbsp;(limit&nbsp;500s).</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:25:08&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;Skipped&nbsp;29&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:25:09&nbsp;lxslc22&nbsp;hm[4390]:&nbsp;Server&nbsp;went&nbsp;down,&nbsp;finding&nbsp;new&nbsp;server.</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:25:44&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:26:49&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:27:09&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;4&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:27:13&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;3728:0:(import.c:395:import_select_connection())&nbsp;besfs-MDT0000-mdc-f7e14200:&nbsp;tried&nbsp;all&nbsp;connections,&nbsp;increasing&nbsp;latency&nbsp;to&nbsp;51s</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:27:13&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;3728:0:(import.c:395:import_select_connection())&nbsp;Skipped&nbsp;17&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:27:14&nbsp;lxslc22&nbsp;hm[4390]:&nbsp;Server&nbsp;went&nbsp;down,&nbsp;finding&nbsp;new&nbsp;server.</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:27:49&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:28:54&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:29:59&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:31:04&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:32:09&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:33:14&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:19&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:54&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:55&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30521:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Got&nbsp;rc&nbsp;-11&nbsp;from&nbsp;cancel&nbsp;RPC:&nbsp;canceling&nbsp;anyway</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:55&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30521:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Skipped&nbsp;10&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:55&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30521:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;ldlm_cli_cancel_list:&nbsp;-11</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;09:34:55&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30521:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;Skipped&nbsp;10&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:02:38&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;Request&nbsp;x1113069&nbsp;sent&nbsp;from&nbsp;besfs-OST0008-osc-f7e14200&nbsp;to&nbsp;NID&nbsp;192.168.50.40@tcp&nbsp;500s&nbsp;ago&nbsp;has&nbsp;timed&nbsp;out&nbsp;(limit&nbsp;500s).</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:02:38&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;Skipped&nbsp;18&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:02:39&nbsp;lxslc22&nbsp;hm[4390]:&nbsp;Server&nbsp;went&nbsp;down,&nbsp;finding&nbsp;new&nbsp;server.</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:03:14&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:04:19&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:04:39&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;4&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:04:43&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;3728:0:(import.c:395:import_select_connection())&nbsp;besfs-MDT0000-mdc-f7e14200:&nbsp;tried&nbsp;all&nbsp;connections,&nbsp;increasing&nbsp;latency&nbsp;to&nbsp;51s</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:04:43&nbsp;lxslc22&nbsp;kernel:&nbsp;Lustre:&nbsp;3728:0:(import.c:395:import_select_connection())&nbsp;Skipped&nbsp;34&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:04:44&nbsp;lxslc22&nbsp;hm[4390]:&nbsp;Server&nbsp;went&nbsp;down,&nbsp;finding&nbsp;new&nbsp;server.</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:05:19&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;7&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:24&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;13&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:44&nbsp;lxslc22&nbsp;last&nbsp;message&nbsp;repeated&nbsp;4&nbsp;times</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:46&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30582:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Got&nbsp;rc&nbsp;-11&nbsp;from&nbsp;cancel&nbsp;RPC:&nbsp;canceling&nbsp;anyway</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:46&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30582:0:(ldlm_request.c:986:ldlm_cli_cancel_req())&nbsp;Skipped&nbsp;9&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:46&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30582:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;ldlm_cli_cancel_list:&nbsp;-11</DIV>

<DIV>Nov&nbsp;&nbsp;6&nbsp;10:06:46&nbsp;lxslc22&nbsp;kernel:&nbsp;LustreError:&nbsp;30582:0:(ldlm_request.c:1575:ldlm_cli_cancel_list())&nbsp;Skipped&nbsp;9&nbsp;previous&nbsp;similar&nbsp;messages</DIV>

<DIV>&nbsp;</DIV>

<DIV>&nbsp;</DIV>

<DIV>Thanks,</DIV>

<DIV>Sarea</DIV></DIV></DIV>

<DIV><FONT face=Verdana></FONT>&nbsp;</DIV>

<DIV align=left><FONT color=#c0c0c0 face=Verdana>2009-11-06 </FONT></DIV><FONT 

face=Verdana>

<HR style="WIDTH: 122px; HEIGHT: 2px" align=left SIZE=2>


<DIV><FONT color=#c0c0c0 face=Verdana><SPAN>huangql</SPAN> 

</FONT></DIV></FONT></BODY></HTML>