Dmitry, <div><br></div><div>The point of the note is the opposite of what you write, namely that backend systems in fact do not solve this, unless they are guaranteed to be bug free.<div><br></div><div>Peter<br><br><div class="gmail_quote">
On Fri, Jul 2, 2010 at 2:52 PM, Dmitry Zogin <span dir="ltr"><<a href="mailto:dmitry.zoguine@oracle.com">dmitry.zoguine@oracle.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">



  

<div bgcolor="#ffffff" text="#000000">
Hello Peter,<br>
<br>
These are really good questions posted there, but I don't think they
are Lustre specific. These issues are sort of common to any file
systems. Some of the mature file systems, like Veritas already solved
this by<br>
<br>
1. Integrating the Volume management and File system. The file system
can be spread across many volumes.<br>
2. Dividing the file system into a group of file sets(like data,
metadata, checkpoints) , and allowing the policies to keep different
filesets on different volumes. <br>
3. Creating the checkpoints (they are sort of like volume snapshots,
but they are created inside the file system itself). The checkpoints
are simply the copy-on-write filesets created instantly inside the fs
itself. Using copy-on-write techniques allows to save the physical
space and make the process of the file sets creation instantaneous.
They do allow to revert back to a certain point instantaneously, as the
modified blocks are kept aside, and the only thing that has to be done
is to point back to the old blocks of information.<br>
4. Parallel fsck - if the filesystem consists of the allocation units -
a sort of the sub- file systems, or cylinder groups,  then the fsck can
be started in parallel on those units.<br>
<br>
Well, the ZFS does solve many of these issues, but in a different way,
too.<br>
So, my point is that this probably has to be solved on the backend side
of the Lustre, rather than inside the Lustre.<br>
<br>
Best regards,<br>
<br>
Dmitry<br>
<br>
Peter Braam wrote:
<blockquote type="cite"><div><div></div><div class="h5">I wrote a blog post that pertains to Lustre scalability
and data integrity.  You can find it here:
  <div><br>
  </div>
  <div><a href="http://braamstorage.blogspot.com" target="_blank">http://braamstorage.blogspot.com</a></div>
  <div><br>
  </div>
  <div>Regards,</div>
  <div><br>
  </div>
  <div>Peter</div>
  </div></div><pre><hr size="4" width="90%">
_______________________________________________
Lustre-devel mailing list
<a href="mailto:Lustre-devel@lists.lustre.org" target="_blank">Lustre-devel@lists.lustre.org</a>
<a href="http://lists.lustre.org/mailman/listinfo/lustre-devel" target="_blank">http://lists.lustre.org/mailman/listinfo/lustre-devel</a>
  </pre>
</blockquote>
<br>
</div>

</blockquote></div><br></div></div>