<html>
  <head>
    <meta content="text/html; charset=ISO-8859-1"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Hi Wojciech,<br>
    <br>
    The problem is in my "/proc/fs/lustre/osc" the OST0014 don't appear,
    and I can't do the <font face="courier new, monospace">lctl
      set_param osc.<fsname>-<OST name>-*.active=0</font><br>
    <br>
    #> ls /proc/fs/lustre/osc/<br>
    cetafs-OST0000-osc-ffff810120507c00 
    cetafs-OST0009-osc-ffff810120507c00 
    cetafs-OST0012-osc-ffff810120507c00<br>
    cetafs-OST0001-osc-ffff810120507c00 
    cetafs-OST000a-osc-ffff810120507c00 
    cetafs-OST0013-osc-ffff810120507c00<br>
    cetafs-OST0002-osc-ffff810120507c00 
    cetafs-OST000b-osc-ffff810120507c00 
    cetafs-OST0015-osc-ffff810120507c00<br>
    cetafs-OST0003-osc-ffff810120507c00 
    cetafs-OST000c-osc-ffff810120507c00 
    cetafs-OST0016-osc-ffff810120507c00<br>
    cetafs-OST0004-osc-ffff810120507c00 
    cetafs-OST000d-osc-ffff810120507c00 
    cetafs-OST0017-osc-ffff810120507c00<br>
    cetafs-OST0005-osc-ffff810120507c00 
    cetafs-OST000e-osc-ffff810120507c00 
    cetafs-OST0018-osc-ffff810120507c00<br>
    cetafs-OST0006-osc-ffff810120507c00 
    cetafs-OST000f-osc-ffff810120507c00  num_refs<br>
    cetafs-OST0007-osc-ffff810120507c00 
    cetafs-OST0010-osc-ffff810120507c00<br>
    cetafs-OST0008-osc-ffff810120507c00 
    cetafs-OST0011-osc-ffff810120507c00<br>
    <br>
    On 30/10/12 12:37, Wojciech Turek wrote:
    <blockquote
cite="mid:CAFrhHdh=covOMzS1Vb-t+nPsLup+f-Ai53zui6yyj7ioNNRe-g@mail.gmail.com"
      type="cite">Hi Alfonso,<br>
      <br>
      Did you try to deactivate it on the clients as well?<br>
      <br>
      <font face="courier new, monospace">lctl set_param
        osc.<fsname>-<OST name>-*.active=0</font>
      <div><font face="courier new, monospace"><br>
        </font></div>
      <div><font face="arial, helvetica, sans-serif">Best regards,</font></div>
      <div><font face="arial, helvetica, sans-serif"><br>
        </font></div>
      <div><font face="arial, helvetica, sans-serif">Wojciech<br>
        </font><br>
        <br>
        On 30 October 2012 08:49, Alfonso Pardo <<a
          moz-do-not-send="true" href="mailto:alfonso.pardo@ciemat.es">alfonso.pardo@ciemat.es</a>>
        wrote:<br>
        ><br>
        > More about my problem:<br>
        ><br>
        > If I run in the client the command lfs df -i. I can see the
        inactive/removed OST:<br>
        ><br>
        > UUID                      Inodes       IUsed       IFree
        IUse% Mounted on<br>
        > cetafs-MDT0000_UUID    975470592    23375132   952095460  
        2% /mnt/data[MDT:0]<br>
        > cetafs-OST0000_UUID     19073280    18889414      183866
         99% /mnt/data[OST:0]<br>
        > cetafs-OST0001_UUID     19073280    18889304      183976
         99% /mnt/data[OST:1]<br>
        > cetafs-OST0002_UUID     19073280    18889353      183927
         99% /mnt/data[OST:2]<br>
        > cetafs-OST0003_UUID     19073280    18889397      183883
         99% /mnt/data[OST:3]<br>
        > cetafs-OST0004_UUID     19073280    18889372      183908
         99% /mnt/data[OST:4]<br>
        > cetafs-OST0005_UUID     19073280    18889440      183840
         99% /mnt/data[OST:5]<br>
        > cetafs-OST0006_UUID     19073280    18889184      184096
         99% /mnt/data[OST:6]<br>
        > cetafs-OST0007_UUID     19073280    18889292      183988
         99% /mnt/data[OST:7]<br>
        > cetafs-OST0008_UUID     19073280    18889134      184146
         99% /mnt/data[OST:8]<br>
        > cetafs-OST0009_UUID     19073280    18889413      183867
         99% /mnt/data[OST:9]<br>
        > cetafs-OST000a_UUID     19073280    18888999      184281
         99% /mnt/data[OST:10]<br>
        > cetafs-OST000b_UUID     19073280    18889393      183887
         99% /mnt/data[OST:11]<br>
        > cetafs-OST000c_UUID     19073280    18889290      183990
         99% /mnt/data[OST:12]<br>
        > cetafs-OST000d_UUID     19073280    18889353      183927
         99% /mnt/data[OST:13]<br>
        > cetafs-OST000e_UUID     19073280    18889349      183931
         99% /mnt/data[OST:14]<br>
        > cetafs-OST000f_UUID     19073280    18889357      183923
         99% /mnt/data[OST:15]<br>
        > cetafs-OST0010_UUID     19073280    18889378      183902
         99% /mnt/data[OST:16]<br>
        > cetafs-OST0011_UUID     19073280    18889385      183895
         99% /mnt/data[OST:17]<br>
        > cetafs-OST0012_UUID     19073280     2629014    16444266
         13% /mnt/data[OST:18]<br>
        > cetafs-OST0013_UUID     19073280     2629045    16444235
         13% /mnt/data[OST:19]<br>
        > OST0014             : Resource temporarily unavailable<br>
        > cetafs-OST0015_UUID      7621120     1494736     6126384
         19% /mnt/data[OST:21]<br>
        > cetafs-OST0016_UUID      7621120     1495107     6126013
         19% /mnt/data[OST:22]<br>
        > cetafs-OST0017_UUID      7621120     1494952     6126168
         19% /mnt/data[OST:23]<br>
        > cetafs-OST0018_UUID      7621120     1494865     6126255
         19% /mnt/data[OST:24]<br>
        ><br>
        > filesystem summary:    975470592    23375132   952095460  
        2% /mnt/data<br>
        ><br>
        > But, if I list the lustre devices in the client with lctl
        dl, the inactive/removed OST don't exist:<br>
        ><br>
        >   0 UP mgc MGC192.168.11.9@tcp
        7ac5cb56-40f1-7183-672b-8d77a7f42d5d 5<br>
        >   1 UP lov cetafs-clilov-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 4<br>
        >   2 UP mdc cetafs-MDT0000-mdc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   3 UP osc cetafs-OST0000-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   4 UP osc cetafs-OST0001-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   5 UP osc cetafs-OST0002-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   6 UP osc cetafs-OST0003-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   7 UP osc cetafs-OST0004-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   8 UP osc cetafs-OST0005-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >   9 UP osc cetafs-OST0006-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  10 UP osc cetafs-OST0007-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  11 UP osc cetafs-OST0012-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  12 UP osc cetafs-OST0013-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  13 UP osc cetafs-OST0008-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  14 UP osc cetafs-OST000a-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  15 UP osc cetafs-OST0009-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  16 UP osc cetafs-OST000b-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  17 UP osc cetafs-OST000c-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  18 UP osc cetafs-OST000d-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  19 UP osc cetafs-OST000e-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  20 UP osc cetafs-OST000f-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  21 UP osc cetafs-OST0010-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  22 UP osc cetafs-OST0011-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  23 UP osc cetafs-OST0018-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  24 UP osc cetafs-OST0015-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  25 UP osc cetafs-OST0016-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        >  26 UP osc cetafs-OST0017-osc-ffff81012394e400
        132759a4-add7-eaed-3b81-d27b42f97aef 5<br>
        ><br>
        ><br>
        > It is a problem, becouse If I want to run a lfs quotachek,
        I got a error becouse It want to access to the inactive/removed
        OST<br>
        ><br>
        ><br>
        > Any suggest?<br>
        ><br>
        ><br>
        ><br>
        ><br>
        > On 29/10/12 09:40, Alfonso Pardo wrote:<br>
        ><br>
        > Hi, I have removed the inactive OST by: "tunefs.lustre
        --writeconf" in all OST and MDT.<br>
        ><br>
        > Buy my clients can see the removed OST<br>
        ><br>
        > OST0014             : Resource temporarily unavailable<br>
        ><br>
        > But in the MDS the inactive OST is erased:<br>
        ><br>
        > 0 UP mgc MGC192.168.11.9@tcp
        705b5ce9-4857-4c87-6663-6a2824537f83 5<br>
        >   1 UP lov cetafs-MDT0000-mdtlov cetafs-MDT0000-mdtlov_UUID
        4<br>
        >   2 UP mdt cetafs-MDT0000 cetafs-MDT0000_UUID 123<br>
        >   3 UP mds mdd_obd-cetafs-MDT0000
        mdd_obd_uuid-cetafs-MDT0000 3<br>
        >   4 UP osc cetafs-OST0000-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.11@tcp<br>
        >   5 UP osc cetafs-OST0001-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.11@tcp<br>
        >   6 UP osc cetafs-OST0002-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.13@tcp<br>
        >   7 UP osc cetafs-OST0003-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.13@tcp<br>
        >   8 UP osc cetafs-OST0004-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.14@tcp<br>
        >   9 UP osc cetafs-OST0005-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.14@tcp<br>
        >  10 UP osc cetafs-OST0006-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.15@tcp<br>
        >  11 UP osc cetafs-OST0007-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.15@tcp<br>
        >  12 UP osc cetafs-OST0008-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.17@tcp<br>
        >  13 UP osc cetafs-OST0009-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.18@tcp<br>
        >  14 UP osc cetafs-OST000a-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.17@tcp<br>
        >  15 UP osc cetafs-OST000b-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.18@tcp<br>
        >  16 UP osc cetafs-OST000c-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.19@tcp<br>
        >  17 UP osc cetafs-OST000d-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.19@tcp<br>
        >  18 UP osc cetafs-OST000e-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.20@tcp<br>
        >  19 UP osc cetafs-OST000f-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.20@tcp<br>
        >  20 UP osc cetafs-OST0010-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.21@tcp<br>
        >  21 UP osc cetafs-OST0011-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.21@tcp<br>
        >  22 UP osc cetafs-OST0012-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.16@tcp<br>
        >  23 UP osc cetafs-OST0013-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.16@tcp<br>
        >  24 UP osc cetafs-OST0015-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  25 UP osc cetafs-OST0016-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  26 UP osc cetafs-OST0017-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  27 UP osc cetafs-OST0018-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        ><br>
        > What can I do to the client don't see the erased OST?<br>
        ><br>
        ><br>
        > On 23/10/12 08:54, Alfonso Pardo wrote:<br>
        ><br>
        > Hello,<br>
        ><br>
        > I have a inactive OST that, I wish to remove from my Lustre
        system. I have deactivate the OST with:<br>
        ><br>
        > lctl conf_param cetafs-OST0014.osc.active=0<br>
        ><br>
        ><br>
        > How do I to remove the inactive OST from my device list?<br>
        ><br>
        ><br>
        > Thanks!!!!<br>
        ><br>
        > lctl dl -t<br>
        >   0 UP mgc MGC192.168.11.9@tcp
        705b5ce9-4857-4c87-6663-6a2824537f83 5<br>
        >   1 UP lov cetafs-MDT0000-mdtlov cetafs-MDT0000-mdtlov_UUID
        4<br>
        >   2 UP mdt cetafs-MDT0000 cetafs-MDT0000_UUID 123<br>
        >   3 UP mds mdd_obd-cetafs-MDT0000
        mdd_obd_uuid-cetafs-MDT0000 3<br>
        >   4 UP osc cetafs-OST0000-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.11@tcp<br>
        >   5 UP osc cetafs-OST0001-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.11@tcp<br>
        >   6 UP osc cetafs-OST0002-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.13@tcp<br>
        >   7 UP osc cetafs-OST0003-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.13@tcp<br>
        >   8 UP osc cetafs-OST0004-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.14@tcp<br>
        >   9 UP osc cetafs-OST0005-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.14@tcp<br>
        >  10 UP osc cetafs-OST0006-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.15@tcp<br>
        >  11 UP osc cetafs-OST0007-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.15@tcp<br>
        >  12 UP osc cetafs-OST0008-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.17@tcp<br>
        >  13 UP osc cetafs-OST0009-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.18@tcp<br>
        >  14 UP osc cetafs-OST000a-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.17@tcp<br>
        >  15 UP osc cetafs-OST000b-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.18@tcp<br>
        >  16 UP osc cetafs-OST000c-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.19@tcp<br>
        >  17 UP osc cetafs-OST000d-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.19@tcp<br>
        >  18 UP osc cetafs-OST000e-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.20@tcp<br>
        >  19 UP osc cetafs-OST000f-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.20@tcp<br>
        >  20 UP osc cetafs-OST0010-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.21@tcp<br>
        >  21 UP osc cetafs-OST0011-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.21@tcp<br>
        >  22 UP osc cetafs-OST0012-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.16@tcp<br>
        >  23 UP osc cetafs-OST0013-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.16@tcp<br>
        >  24 IN osc cetafs-OST0014-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  25 UP osc cetafs-OST0015-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  26 UP osc cetafs-OST0016-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  27 UP osc cetafs-OST0017-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        >  28 UP osc cetafs-OST0018-osc-MDT0000
        cetafs-MDT0000-mdtlov_UUID 5 192.168.11.4@tcp<br>
        > --<br>
        ><br>
        > Alfonso Pardo Díaz<br>
        > Researcher / System Administrator at CETA-Ciemat<br>
        > c/ Sola nº 1; 10200 Trujillo, ESPAÑA<br>
        > Tel: +34 927 65 93 17 Fax: +34 927 32 32 37<br>
        ><br>
        > ---------------------------- Confidencialidad: Este mensaje
        y sus ficheros adjuntos se dirige exclusivamente a su
        destinatario y puede contener información privilegiada o
        confidencial. Si no es vd. el destinatario indicado, queda
        notificado de que la utilización, divulgación y/o copia sin
        autorización está prohibida en virtud de la legislación vigente.
        Si ha recibido este mensaje por error, le rogamos que nos lo
        comunique inmediatamente respondiendo al mensaje y proceda a su
        destrucción. Disclaimer: This message and its attached files is
        intended exclusively for its recipients and may contain
        confidential information. If you received this e-mail in error
        you are hereby notified that any dissemination, copy or
        disclosure of this communication is strictly prohibited and may
        be unlawful. In this case, please notify us by a reply and
        delete this email and its contents immediately.
        ----------------------------<br>
        ><br>
        > _______________________________________________<br>
        > Lustre-discuss mailing list<br>
        > <a moz-do-not-send="true"
          href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
        > <a moz-do-not-send="true"
          href="http://lists.lustre.org/mailman/listinfo/lustre-discuss">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
        ><br>
        ><br>
        ><br>
        > --<br>
        ><br>
        > Alfonso Pardo Díaz<br>
        > Researcher / System Administrator at CETA-Ciemat<br>
        > c/ Sola nº 1; 10200 Trujillo, ESPAÑA<br>
        > Tel: +34 927 65 93 17 Fax: +34 927 32 32 37<br>
        ><br>
        ><br>
        ><br>
        > _______________________________________________<br>
        > Lustre-discuss mailing list<br>
        > <a moz-do-not-send="true"
          href="mailto:Lustre-discuss@lists.lustre.org">Lustre-discuss@lists.lustre.org</a><br>
        > <a moz-do-not-send="true"
          href="http://lists.lustre.org/mailman/listinfo/lustre-discuss">http://lists.lustre.org/mailman/listinfo/lustre-discuss</a><br>
        ><br>
        ><br>
        ><br>
        > --<br>
        ><br>
        > Alfonso Pardo Díaz<br>
        > Researcher / System Administrator at CETA-Ciemat<br>
        > c/ Sola nº 1; 10200 Trujillo, ESPAÑA<br>
        > Tel: +34 927 65 93 17 Fax: +34 927 32 32 37<br>
        <br>
        <br>
        <br>
      </div>
    </blockquote>
    <br>
    <br>
    <div class="moz-signature">-- <br>
      <p><i><span style="font-size: 10pt;font-family:Century Gothic;">Alfonso
            Pardo Díaz</span><br>
          <b><span style="font-size: 10pt;font-family:Century Gothic;">Researcher
              / System Administrator at CETA-Ciemat</span></b><br>
          <span style="font-size: 10pt;font-family:Century Gothic;">c/
            Sola nº 1; 10200 Trujillo, ESPAÑA</span><br>
          <span style="font-size: 10pt;font-family:Century Gothic;">Tel:
            +34 927 65 93 17 Fax: +34 927 32 32 37</span><br>
          <span><a href="http://www.ceta-ciemat.es/"><img
                src="cid:part6.09070302.03080708@ciemat.es"
                alt="CETA-Ciemat logo" height="76" border="0"
                width="383"></a></span></i></p>
    </div>
  </body>
</html>