I'm trying to configure a lustre router so I can mount a test lustre FS over our standard network here (NYU federated ethernet).<div><br></div><div>We have a small rocks cluster with one MDS/MGS and 3 OSSs on a private switch. Its a pretty standard rocks configuration. </div>
<div>The cluster network is <a href="http://10.1.255.0/24">10.1.255.0/24</a>.</div><div><br></div><div>== OSS / Router ==</div><div>One of the OSS (oss-0-2) is configured as follows:</div><div>eth0 - 10.1.255.247</div><div>
eth1 - 128.122.x.y</div><div><br></div><div>In its /etc/modprobe.conf I have the following</div><div><div>options lnet forwarding="enabled"</div><div>options lnet accept=all</div><div>options lnet networks="tcp0(eth0),tcp1(eth1)"</div>
<div><br></div><div><div>[root@oss-0-2 ~]# lctl list_nids</div><div>10.1.255.247@tcp</div><div>128.122.x.y@tcp1</div><div><br></div><div>== Routed Client ==</div><div>Then I have another client on the 128.122.x.* network. Let's call it 128.122.x.z</div>
<div>It just has eth0 configured as 128.122.x.z</div><div><br></div><div>and in its modprobe.conf</div><div>options lnet networks=tcp0(eth0) routes="tcp1 128.122.x.y@tcp0"</div><div><br></div><div>Now should I be able to mount the lustre fs as such?</div>
<div>mount.lustre 10.1.255.252@tcp0:/scratch /scratch</div><div>mount.lustre: mount 10.1.255.252@tcp:/scratch at /scratch failed: Cannot send after transport endpoint shutdown</div><div><div><br></div><div>I don't see it sending any traffic to the router with tcpdump running on the router. </div>
<div><br></div><div>What am I doing wrong? Should I be useing the 128.122 address of the router to try to mount? Am I missing a configuration somewhere?</div><div><br></div><div>Thanks</div><div>Erik Froese</div><div>NYU</div>
</div></div></div>