<html>
  <head>
    <meta content="text/html; charset=windows-1252"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Thanks much for your reply, Olaf.<br>
    <br>
    Below for the answers.<br>
    <br>
    <div class="moz-cite-prefix">On 11/23/2015 4:35 PM, Faaland, Olaf P.
      wrote:<br>
    </div>
    <blockquote
cite="mid:43111FD6D3DBA74A9134F6C11536F04AC67FEAD9@PRDEXMBX-08.the-lab.llnl.gov"
      type="cite">
      <meta http-equiv="Content-Type" content="text/html;
        charset=windows-1252">
      <style id="owaParaStyle" type="text/css">P {margin-top:0;margin-bottom:0;}</style>
      <div style="direction: ltr;font-family: Tahoma;color:
        #000000;font-size: 10pt;">Hello Bob,<br>
        <br>
        We did something similar - our MDS's used zpools based on
        spinning disks in JBODs and we switched to SSDs without bringing
        the filesystem down, using ZFS to replicate data.  It worked
        great for us.<br>
        <br>
        How are your pools organized (ie what does zpool status show)? 
        There might be options that are more or less risky, or take more
        or less time, depending on how zfs is using the disks.<br>
      </div>
    </blockquote>
    This is a typical pool, which consists of disks on Dell MD1000
    shelves, each a single-disk raid-0 to make the JBOD group, then
    assembled via pci address into the zpools of 10 disks each.<br>
    <br>
    # zpool status ost-001<br>
      pool: ost-001<br>
     state: ONLINE<br>
      scan: none requested<br>
    config:<br>
    <br>
            NAME                                STATE     READ WRITE
    CKSUM<br>
            ost-001                             ONLINE       0     0    
    0<br>
              raidz2-0                          ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:0:0   ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:1:0   ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:2:0   ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:3:0   ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:4:0   ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:15:0  ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:16:0  ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:17:0  ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:18:0  ONLINE       0     0    
    0<br>
                pci-0000:08:00.0-scsi-0:2:19:0  ONLINE       0     0    
    0<br>
    <br>
    errors: No known data errors<br>
    <br>
    <br>
    Filesystem            Size  Used Avail Use% Mounted on<br>
    ost-001/ost0024       5.4T  3.4T  2.0T  64% /mnt/ost-001<br>
    <br>
    <blockquote
cite="mid:43111FD6D3DBA74A9134F6C11536F04AC67FEAD9@PRDEXMBX-08.the-lab.llnl.gov"
      type="cite">
      <div style="direction: ltr;font-family: Tahoma;color:
        #000000;font-size: 10pt;">
        <br>
        Also, how often are disks failing and how long does a
        replacement take to resilver, with your current disks?<br>
      </div>
    </blockquote>
    These are old systems, and the underlying WD 750GB disks are going
    at an average of 1 or 2 per week, with some 270 disks running this
    way.  Some shelves have newer larger disks, and those disks are
    giving us no issues.  We have a number of bigger, newer disk spares
    that we wanted to swap in, giving us more of the 750GB units as
    spares.  <br>
    <br>
    Resilvering typically takes 6hrs or so these days.<br>
    <br>
    bob<br>
    <br>
    <blockquote
cite="mid:43111FD6D3DBA74A9134F6C11536F04AC67FEAD9@PRDEXMBX-08.the-lab.llnl.gov"
      type="cite">
      <div style="direction: ltr;font-family: Tahoma;color:
        #000000;font-size: 10pt;">
        <br>
        -Olaf<br>
        <br>
        <hr tabindex="-1">
        <div id="divRplyFwdMsg"><font color="#000000" size="2"
            face="Tahoma"><b>From:</b> Bob Ball [<a class="moz-txt-link-abbreviated" href="mailto:ball@umich.edu">ball@umich.edu</a>]<br>
            <b>Sent:</b> Monday, November 23, 2015 12:22 PM<br>
            <b>To:</b> Faaland, Olaf P.; Morrone, Chris<br>
            <b>Cc:</b> Bob Ball<br>
            <b>Subject:</b> Expanding a zfsonlinux OST pool<br>
          </font><br>
        </div>
        <div>Hi,<br>
          <br>
          We have some zfsonlinux pools in use with Lustre 2.7 that use
          some older disks, and we are rapidly running out of spares for
          those.  What we would _like_ to do, if possible, is replace
          all of those 750GB disks in an OST, one at a time with
          re-silver between, with 1TB disks, then expand the OST when
          the last is complete to utilize the larger space and the more
          reliable disks.<br>
          <br>
          Is this going to work?  One of us here found the following:<br>
          <blockquote>
            <pre>According to the Oracle docs, a pool can autoexpand if you set it to
do so.  I think the default must be off because the one I checked is
off (but that does indicate support of the feature in the linux
release also).

<a moz-do-not-send="true" class="moz-txt-link-freetext" href="http://docs.oracle.com/cd/E19253-01/819-5461/githb/index.html" target="_blank">http://docs.oracle.com/cd/E19253-01/819-5461/githb/index.html</a>

[root@umdist02 ~]# zpool get autoexpand ost-006
NAME     PROPERTY    VALUE   SOURCE
ost-006  autoexpand  off     default
</pre>
          </blockquote>
          <pre>We are using zfsonlinux version 0.6.4.2.  Can we follow the procedures outlined in the oracle doc using zfsonlinux?  

I guess my initial question assumed the expansion would not happen until the last disk is added and re-silvered, but the document indicates this is not really necessary?

Thanks,
bob

</pre>
          <br>
        </div>
      </div>
    </blockquote>
    <br>
  </body>
</html>