<br><br><div class="gmail_quote">On Mon, Apr 4, 2011 at 1:32 PM, David Noriega <span dir="ltr"><<a href="mailto:tsk133@my.utsa.edu">tsk133@my.utsa.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Reading up on LNET routing and have a question. Currently have nothing<br>
special going on, simply specified tcp0(bond0) on the OSSs and MDS.<br>
Same for all the clients as well, we have an internal network for our<br>
cluster, 192.168.x.x.  How would I go about doing the following?<br>
<br>
Data1,Data2 = OSS, Meta1,Meta2 = MDS.<br>
<br>
Internally its 192.168.1.x for cluster nodes, 192.168.5.x for lustre nodes.<br>
<br>
But I would like a 1) a 'forwarding' sever, which would be our file<br>
server which exports lustre via samba/nfs to also be the outside<br>
world's access point to lustre(outside world being the rest of the<br>
campus). 2) a second internal network simply connecting the OSSs and<br>
MDS to the backup client to do backups outside of the cluster network.<br></blockquote><div><br></div><div>Slightly confused am I.</div><div> 1) is just a samba/nfs exporter, while you might</div><div>have two networks in the one box, you wouldn't be doing any routing, </div>
<div>the Lustre client is re-exporting the FS.</div><div>The Lustre client has to find the Lustre servers, the samba/NFS clients only</div><div>have to find the Lustre client. </div><div><br></div><div>2) if the second internal net connects backup clients directly to OSS/MDS </div>
<div>you  again need no routing. </div><div><br></div><div>Lustre Routing is really to connect disparte network hardware for </div><div>Lustre traffic, for example Infiniband routed to TCP/IP, or Quadratics to IB. </div><div>
<br></div><div>Also, file servers are never routers, since they have direct connections to </div><div>all clients. Routers are dedicated nodes that have both hardware interfaces and</div><div>sit between a client and server.</div>
<div>Typical setup are things like a cluster with server and clients on IB, you </div><div>wish to add a second client pool on TCP/IP, you have to build nodes that</div><div>have both TCP/IP and IB interfaces, and those are Lustre Routers. </div>
<div><br></div><div>Since all your traffic is TCP/IP, sounds like normal TCP/IP network manipulation</div><div>is all you are needing. You would need the 'lnet networks' stuff to </div><div>align nets with interfaces, and that part looks correct.</div>
<div>cliffw</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<br>
So would I do the following?<br>
<br>
OSS/MDS<br>
options lnet networks=tcp0(bond0),tcp1(eth3) routes="tcp2 192.168.2.1"<br>
<br>
Backup client<br>
options lnet networks=tcp1(eth1)<br>
<br>
Cluster clients<br>
options lnet networks=tcp0(eth0)<br>
<br>
File Server<br>
options lnet networks=tcp0(eth1),tcp2(eth2) forwarding="enabled"<br>
<br>
And for any outside clients I would do the following?<br>
options lnet networks=tcp2(eth0)<br>
<br>
And when mounting from the outside I would use in /etc/fstab the external ip?<br>
x.x.x.x@tcp2:/lustre /lustre lustre defaults,_netdev 0 0<br>
<br>
Is this how it would work? Also can I do this piece-meal or does it<br>
have to be done all at once?<br>
<br>
Thanks<br>
David<br>
<br>
--<br>
Personally, I liked the university. They gave us money and facilities,<br>
we didn't have to produce anything! You've never been out of college!<br>
You don't know what it's like out there! I've worked in the private<br>
sector. They expect results. -Ray Ghostbusters<br>
_______________________________________________<br>
Lustre-discuss mailing list<br>
<a href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-discuss" target="_blank">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
</blockquote></div><br><br clear="all"><br>-- <br>cliffw<div>Support Guy</div><div>WhamCloud, Inc. </div><div><a href="http://www.whamcloud.com" target="_blank">www.whamcloud.com</a></div><div><br></div><br>