<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-3">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Hi Firat,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
Thanks for your reply. Apologies if I am being silly here, but there is no route configured for that network. We have the networks tcp (10.110.0.0/16) and tcp1 (10.10.0.0/16). The servers have interfaces on both, but the clients only have an interface on tcp1.
 I'm not sure why the client is trying to route to 10.110.0.21@tcp:</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
client # mount /net/lustre/
<div>mount.lustre: mount hmeta1@tcp1:hmeta2@tcp1:/lustre at /net/lustre failed: Input/output error</div>
Is the MGS running?<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
hmeta1 resolves to 10.10.0.91, on tcp1.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Thanks,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Mark</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> fırat yılmaz <firatyilmazz@gmail.com><br>
<b>Sent:</b> 01 December 2020 11:55<br>
<b>To:</b> Mark Lundie <mark.lundie@manchester.ac.uk><br>
<b>Cc:</b> lustre-discuss@lists.lustre.org <lustre-discuss@lists.lustre.org><br>
<b>Subject:</b> Re: [lustre-discuss] lnet routing issue - 2.12.5 client with 2.10.3 server</font>
<div> </div>
</div>
<div>
<div dir="ltr">Hi Mark,
<div><br>
</div>
<div><span style="color:rgb(0,0,0); font-family:Calibri,Arial,Helvetica,sans-serif; font-size:16px">[Tue Dec  1 11:07:55 2020] LNetError: 2127:0:(lib-move.c:1999:lnet_</span><span style="color:rgb(0,0,0); font-family:Calibri,Arial,Helvetica,sans-serif; font-size:16px">handle_find_routed_path())
 no route to 10.110.0.21@tcp from <?></span><br>
</div>
<div><br>
</div>
<div>I would suggest checking  lnetctl routing show and remove the route to  10.110.0.21@tcp and try to mount.</div>
<div><a href="https://wiki.lustre.org/LNet_Router_Config_Guide">https://wiki.lustre.org/LNet_Router_Config_Guide</a><br>
</div>
<div><span style="color:rgb(0,0,0); font-family:Calibri,Arial,Helvetica,sans-serif; font-size:16px"><br>
<br>
</span></div>
<div><span style="color:rgb(0,0,0); font-family:Calibri,Arial,Helvetica,sans-serif; font-size:16px"><br>
</span></div>
</div>
<br>
<div class="x_gmail_quote">
<div dir="ltr" class="x_gmail_attr">On Tue, Dec 1, 2020 at 2:41 PM Mark Lundie <<a href="mailto:mark.lundie@manchester.ac.uk">mark.lundie@manchester.ac.uk</a>> wrote:<br>
</div>
<blockquote class="x_gmail_quote" style="margin:0px 0px 0px 0.8ex; border-left:1px solid rgb(204,204,204); padding-left:1ex">
<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
Hi all,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
I've just run in to an issue mounting on a newly upgraded client running 2.12.5 with 2.10.3 servers. Just to give some background, we're about to replace our existing Lustre storage, but will run it concurrently with the replacement for a couple of months.
 We'll be running 2.12.5 server on the new MDS and OSSs and I plan to update all clients to the same version. I would like to avoid updating the existing servers though.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
The problem is this. The servers have two tcp LNET networks, tcp and tcp1, on separate subnets and VLANs. The clients only see tcp1 (a small number are also on tcp3, routed via 2 lnet routers), which has been fine until now. With the 2.12.5 client, however,
 it is trying to mount from tcp. 2.10.3 to 2.12.5 is obviously a bit of a jump, but does anyone have any ideas on what has changed and what I could do here please? </div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
meta# lnetctl net show
<div>net:</div>
<div>    - net type: lo</div>
<div>      local NI(s):</div>
<div>        - nid: 0@lo</div>
<div>          status: up</div>
<div>    - net type: tcp</div>
<div>      local NI(s):</div>
<div>        - nid: 10.110.0.21@tcp</div>
<div>          status: up</div>
<div>          interfaces:</div>
<div>              0: bond0.22</div>
<div>    - net type: tcp1</div>
<div>      local NI(s):</div>
<div>        - nid: 10.10.0.91@tcp1</div>
<div>          status: up</div>
<div>          interfaces:</div>
<div>              0: bond0</div>
<div><br>
</div>
<div>meta# lnetctl route show
<div>route:</div>
<div>    - net: tcp2</div>
<div>      gateway: 10.10.0.254@tcp1</div>
<div>    - net: tcp3</div>
<div>      gateway: 10.10.0.254@tcp1</div>
<br>
</div>
<br>
client# lnetctl net show
<div>net:</div>
<div>    - net type: lo</div>
<div>      local NI(s):</div>
<div>        - nid: 0@lo</div>
<div>          status: up</div>
<div>    - net type: o2ib</div>
<div>      local NI(s):</div>
<div>        - nid: 10.12.170.47@o2ib</div>
<div>          status: up</div>
<div>          interfaces:</div>
<div>              0: ib0</div>
<div>    - net type: tcp1</div>
<div>      local NI(s):</div>
<div>        - nid: 10.10.170.47@tcp1</div>
<div>          status: up</div>
<div>          interfaces:</div>
<div>              0: em1</div>
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
[Tue Dec  1 11:07:55 2020] LNetError: 2127:0:(lib-move.c:1999:lnet_handle_find_routed_path()) no route to 10.110.0.21@tcp from <?>
<div>[Tue Dec  1 11:08:01 2020] LustreError: 1792:0:(mgc_request.c:249:do_config_log_add()) MGC10.10.0.91@tcp1: failed processing log, type 1: rc = -5</div>
<div>[Tue Dec  1 11:08:08 2020] LustreError: 2169:0:(mgc_request.c:599:do_requeue()) failed processing log: -5</div>
<div>[Tue Dec  1 11:08:19 2020] LNetError: 2127:0:(lib-move.c:1999:lnet_handle_find_routed_path()) no route to 10.110.0.22@tcp from <?></div>
[Tue Dec  1 11:08:30 2020] LustreError: 15c-8: MGC10.10.0.91@tcp1: The configuration from log 'lustre-client' failed (-5). This may be the result of communication errors between this node and the MGS, a bad configuration, or other errors. See the syslog for
 more information.<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
client# lctl ping 10.10.0.91@tcp1
<div>12345-0@lo</div>
<div>12345-10.110.0.21@tcp</div>
12345-10.10.0.91@tcp1</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
Any suggestions will be greatly appreciated!</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
Many thanks,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0); background-color:rgb(255,255,255)">
Mark</div>
<div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div id="x_gmail-m_3535144636297484693Signature">
<div>
<div></div>
<div></div>
<div style="font-family:Tahoma; font-size:13px"><b style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; text-align:start">Dr Mark Lundie</b><span style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; font-weight:normal; text-align:start; background-color:rgb(255,255,255); display:inline"><span> </span>|
 Research IT Systems Administrator | Research IT | Directorate of IT Services | B39, Sackville Street Building | The University of Manchester | Manchester | M1 3WE</span><span style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; font-weight:normal; text-align:start"></span><span style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; font-weight:normal; text-align:start"></span><span style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; font-weight:normal; text-align:start; background-color:rgb(255,255,255); display:inline"><span> </span>|
 0161 275 8403 |<span> </span></span><a style="font-family:monospace; font-size:14.6667px; font-weight:normal; text-align:start">ri.itservices.manchester.ac.uk</a></div>
<div style="font-family:Tahoma; font-size:13px"><span style="color:rgb(61,61,61); font-family:monospace; font-size:14.6667px; text-align:start; background-color:rgb(255,255,255); display:inline"><br>
</span></div>
<div><font color="#3d3d3d" face="monospace"><span style="font-size:14.6667px">Working Hours: Tues - Thurs 0730-1730; Fri 0730-1630</span></font></div>
</div>
</div>
</div>
</div>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote>
</div>
</div>
</body>
</html>