<br><tt><font size=2><br>
Hi Daire,</font></tt>
<br>
<br><tt><font size=2>In your thread discussing &quot;e2scan MDT backup&quot;,
I was very interested in finding out more about how you initially setup
your OST's and MDT's with LVM. &nbsp;We're implementing a new set of production
Lustre servers and had Sun come on-site last fall to help get us started.
&nbsp;Our Sun Lustre consultant was very knowledgeable and helpful and
he setup our environment as follows:</font></tt>
<br>
<br><tt><font size=2>MGS/MDT Servers:</font></tt>
<br>
<br><tt><font size=2>MGS# df -h</font></tt>
<br><tt><font size=2>Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size
&nbsp;Used Avail Use% Mounted on</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvroot</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;5.3G &nbsp;3.9G &nbsp;58% /</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtmp</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 992M &nbsp; 34M &nbsp;908M &nbsp; 4% /tmp</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlawsonusr</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp; 68M &nbsp;1.8G &nbsp; 4% /lawson/usr</font></tt>
<br><tt><font size=2>/dev/xvda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;122M
&nbsp; 85M &nbsp; 31M &nbsp;74% /boot</font></tt>
<br><tt><font size=2>tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 8.0G &nbsp; &nbsp; 0 &nbsp;8.0G &nbsp; 0% /dev/shm</font></tt>
<br><tt><font size=2><b>/dev/xvdb &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1008M
&nbsp; 34M &nbsp;923M &nbsp; 4% /mnt/mgs</b></font></tt>
<br>
<br><tt><font size=2>MDT# df -h</font></tt>
<br><tt><font size=2>Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size
&nbsp;Used Avail Use% Mounted on</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvroot</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;6.5G &nbsp;2.8G &nbsp;71% /</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtmp</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 992M &nbsp; 34M &nbsp;908M &nbsp; 4% /tmp</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlawsonusr</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp;1.3G &nbsp;609M &nbsp;68% /lawson/usr</font></tt>
<br><tt><font size=2>/dev/xvda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;122M
&nbsp; 85M &nbsp; 31M &nbsp;74% /boot</font></tt>
<br><tt><font size=2>tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 8.0G &nbsp; &nbsp; 0 &nbsp;8.0G &nbsp; 0% /dev/shm</font></tt>
<br><tt><font size=2><b>/dev/xvdj &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
3.5G &nbsp;173M &nbsp;3.2G &nbsp; 6% /mnt/lusfs01/mdt</b></font></tt>
<br><tt><font size=2><b>/dev/xvdk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
3.5G &nbsp;170M &nbsp;3.2G &nbsp; 6% /mnt/lusfs02/mdt</b></font></tt>
<br><tt><font size=2><b>/dev/xvdl &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
3.5G &nbsp;169M &nbsp;3.2G &nbsp; 5% /mnt/lusfs03/mdt</b></font></tt>
<br><tt><font size=2><b>/dev/xvdm &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
3.5G &nbsp;173M &nbsp;3.2G &nbsp; 6% /mnt/lusfs04/mdt</b></font></tt>
<br><tt><font size=2><b>/dev/xvdn &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
3.5G &nbsp;170M &nbsp;3.2G &nbsp; 6% /mnt/lusfs05/mdt</b></font></tt>
<br>
<br><tt><font size=2>OSS Servers:</font></tt>
<br>
<br><tt><font size=2>OSS1# df -h</font></tt>
<br><tt><font size=2>Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size
&nbsp;Used Avail Use% Mounted on</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvroot</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;7.7G &nbsp;1.6G &nbsp;84% /</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtmp</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 992M &nbsp; 34M &nbsp;908M &nbsp; 4% /tmp</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlawsonusr</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp; 68M &nbsp;1.8G &nbsp; 4% /lawson/usr</font></tt>
<br><tt><font size=2>/dev/xvda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;122M
&nbsp; 85M &nbsp; 31M &nbsp;74% /boot</font></tt>
<br><tt><font size=2>tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 8.0G &nbsp; &nbsp; 0 &nbsp;8.0G &nbsp; 0% /dev/shm</font></tt>
<br><tt><font size=2><b>/dev/xvde1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;174G
&nbsp;461M &nbsp;165G &nbsp; 1% /mnt/lusfs01/ost01</b></font></tt>
<br><tt><font size=2><b>/dev/xvdg1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;174G
&nbsp;461M &nbsp;165G &nbsp; 1% /mnt/lusfs01/ost03</b></font></tt>
<br><tt><font size=2><b>/dev/xvde2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;106G
&nbsp;461M &nbsp;100G &nbsp; 1% /mnt/lusfs02/ost01</b></font></tt>
<br><tt><font size=2><b>/dev/xvdg2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;106G
&nbsp;461M &nbsp;100G &nbsp; 1% /mnt/lusfs02/ost03</b></font></tt>
<br><tt><font size=2><b>/dev/xvde3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;439M &nbsp; 14G &nbsp; 3% /mnt/lusfs03/ost01</b></font></tt>
<br><tt><font size=2><b>/dev/xvdg3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;439M &nbsp; 14G &nbsp; 3% /mnt/lusfs03/ost03</b></font></tt>
<br><tt><font size=2><b>/dev/xvde5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;7.6G
&nbsp;331M &nbsp;6.9G &nbsp; 5% /mnt/lusfs04/ost01</b></font></tt>
<br><tt><font size=2><b>/dev/xvdg5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;7.6G
&nbsp;331M &nbsp;6.9G &nbsp; 5% /mnt/lusfs04/ost03</b></font></tt>
<br><tt><font size=2><b>/dev/xvde6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;2.2G &nbsp; 13G &nbsp;15% /mnt/lusfs05/ost01</b></font></tt>
<br><tt><font size=2><b>/dev/xvdg6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;2.9G &nbsp; 12G &nbsp;21% /mnt/lusfs05/ost03</b></font></tt>
<br>
<br><tt><font size=2>OSS2# df -h</font></tt>
<br><tt><font size=2>Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size
&nbsp;Used Avail Use% Mounted on</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvroot</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;7.2G &nbsp;2.1G &nbsp;78% /</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtmp</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 992M &nbsp; 34M &nbsp;908M &nbsp; 4% /tmp</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlawsonusr</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp; 68M &nbsp;1.8G &nbsp; 4% /lawson/usr</font></tt>
<br><tt><font size=2>/dev/xvda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;122M
&nbsp; 85M &nbsp; 31M &nbsp;74% /boot</font></tt>
<br><tt><font size=2>tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 8.0G &nbsp; &nbsp; 0 &nbsp;8.0G &nbsp; 0% /dev/shm</font></tt>
<br><tt><font size=2><b>/dev/xvdd1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;174G
&nbsp;461M &nbsp;165G &nbsp; 1% /mnt/lusfs01/ost00</b></font></tt>
<br><tt><font size=2><b>/dev/xvdd2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;106G
&nbsp;461M &nbsp;100G &nbsp; 1% /mnt/lusfs02/ost00</b></font></tt>
<br><tt><font size=2><b>/dev/xvdf2 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;106G
&nbsp;461M &nbsp;100G &nbsp; 1% /mnt/lusfs02/ost02</b></font></tt>
<br><tt><font size=2><b>/dev/xvdd3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;439M &nbsp; 14G &nbsp; 3% /mnt/lusfs03/ost00</b></font></tt>
<br><tt><font size=2><b>/dev/xvdf3 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;439M &nbsp; 14G &nbsp; 3% /mnt/lusfs03/ost02</b></font></tt>
<br><tt><font size=2><b>/dev/xvdd5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;7.6G
&nbsp;331M &nbsp;6.9G &nbsp; 5% /mnt/lusfs04/ost00</b></font></tt>
<br><tt><font size=2><b>/dev/xvdf5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;7.6G
&nbsp;331M &nbsp;6.9G &nbsp; 5% /mnt/lusfs04/ost02</b></font></tt>
<br><tt><font size=2><b>/dev/xvdd6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;2.5G &nbsp; 12G &nbsp;18% /mnt/lusfs05/ost00</b></font></tt>
<br><tt><font size=2><b>/dev/xvdf6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
16G &nbsp;1.1G &nbsp; 14G &nbsp; 8% /mnt/lusfs05/ost02</b></font></tt>
<br><tt><font size=2><b>/dev/xvdf1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;174G
&nbsp;461M &nbsp;165G &nbsp; 1% /mnt/lusfs01/ost02</b></font></tt>
<br>
<br><tt><font size=2>Lustre client server:</font></tt>
<br>
<br><tt><font size=2>CLIENT# df -h</font></tt>
<br><tt><font size=2>Filesystem &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;Size
&nbsp;Used Avail Use% Mounted on</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvroot</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;3.6G &nbsp;5.7G &nbsp;39% /</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlawsonusr</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp; 68M &nbsp;1.8G &nbsp; 4% /lawson/usr</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvwebsphere</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 9.7G &nbsp;1.7G &nbsp;7.6G &nbsp;18% /websphere</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtest</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 2.0G &nbsp; 68M &nbsp;1.8G &nbsp; 4% /test</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvtmp</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 992M &nbsp; 34M &nbsp;908M &nbsp; 4% /tmp</font></tt>
<br><tt><font size=2>/dev/xvda1 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;122M
&nbsp; 77M &nbsp; 39M &nbsp;67% /boot</font></tt>
<br><tt><font size=2>tmpfs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 8.0G &nbsp; &nbsp; 0 &nbsp;8.0G &nbsp; 0% /dev/shm</font></tt>
<br><tt><font size=2>/dev/mapper/vgroot-lvlogs</font></tt>
<br><tt><font size=2>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 5.0G &nbsp;139M &nbsp;4.6G &nbsp; 3% /logs</font></tt>
<br><tt><font size=2><b>10.203.4.100@tcp,10.203.4.101@tcp:/lusfs01</b></font></tt>
<br><tt><font size=2><b>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 694G &nbsp;1.9G &nbsp;657G &nbsp; 1% /content</b></font></tt>
<br><tt><font size=2><b>10.203.4.100@tcp,10.203.4.101@tcp:/lusfs02</b></font></tt>
<br><tt><font size=2><b>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; 423G &nbsp;1.8G &nbsp;400G &nbsp; 1% /newproducts</b></font></tt>
<br><tt><font size=2><b>10.203.4.100@tcp,10.203.4.101@tcp:/lusfs04</b></font></tt>
<br><tt><font size=2><b>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;31G &nbsp;1.3G &nbsp; 28G &nbsp; 5% /gid</b></font></tt>
<br><tt><font size=2><b>10.203.4.100@tcp,10.203.4.101@tcp:/lusfs03</b></font></tt>
<br><tt><font size=2><b>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;61G &nbsp;1.8G &nbsp; 56G &nbsp; 3% /products</b></font></tt>
<br><tt><font size=2><b>10.203.4.100@tcp,10.203.4.101@tcp:/lusfs05</b></font></tt>
<br><tt><font size=2><b>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;61G &nbsp;8.6G &nbsp; 49G &nbsp;15% /scs/content</b></font></tt>
<br>
<br><tt><font size=2>As you can see, our Sun consultant set our production
environment up to use standard disk partitions that are striped across
two sets of servers for our five Lustre filesystems (which is working fine
and we can grow it no problems). &nbsp;We're running RHEL 5.2 XEN MGS/MDT/OSS
servers using Linux Heartbeat for STONITH and failover. &nbsp;The XEN domU's
are LVM-backed on EMC SAN. &nbsp;Lustre was compiled into the XEN kernel
and we've compiled and are using the patchless Lustre client (Lustre 1.6.6).</font></tt>
<br>
<br><tt><font size=2>What I'm really curious about is how to go about setting
up this environment under LVM2. &nbsp;Is it as simple as taking the &quot;xvd?&quot;
disk on the OSS and MDS servers, doing a pvcreate, vgcreate, lvcreate,
mkfs? &nbsp;Do you have to be careful about anything (striping as seen
above)? &nbsp;May I ask if you might be able to give an example? &nbsp;I'd
like to test LVM in our Lustre certification environment, but would like
to make sure I have an idea of what I'm doing before I mess up my working
cert environment. &nbsp;Are there any pros / cons for LVM2 versus disk
partitions? &nbsp;Backup issues, speed, performance, etc?</font></tt>
<br>
<br><tt><font size=2>&gt; Once you move to LVM then you can snapshot the
MDT and mount that without<br>
&gt; unmounting the production MDT. You should probably destroy the snapshot<br>
&gt; afterwards as it affects performance somewhat.<br>
&gt;<br>
&gt; Regards,<br>
&gt;<br>
&gt; Daire<br>
</font></tt>
<br><font size=2 face="sans-serif">Cheers and many thanks for your consideration
and time,<br>
<br>
Ms. Andrea D. Rucks<br>
Sr. Unix Systems Administrator,<br>
Lawson ITS Unix Server Team</font>