<div xmlns="http://www.w3.org/1999/xhtml">Thanks Patrick, so manual mirroring is the case.</div><div xmlns="http://www.w3.org/1999/xhtml"> </div><div xmlns="http://www.w3.org/1999/xhtml"> </div><div xmlns="http://www.w3.org/1999/xhtml">01.10.2018, 15:51, "Patrick Farrell" &lt;paf@cray.com&gt;:</div><blockquote xmlns="http://www.w3.org/1999/xhtml" type="cite"><div><br />George,<br /><br />Your mirror is stale - look at the output.  Mirroring in Lustre is currently a manual process, you have to manually resync a file after writing to it.  lfs mirror resync is the lfs command.<br /><br />If your mirror is in sync, you should get the behavior you\u2019re looking for.<br /><br />- Patrick<br /> <hr style="display:inline-block;width:98%;" /><div><font style="font-size:11pt;" face="Calibri, sans-serif" color="#000000"><strong>From:</strong> lustre-discuss &lt;<a href="mailto:lustre-discuss-bounces@lists.lustre.org">lustre-discuss-bounces@lists.lustre.org</a>&gt; on behalf of George Melikov &lt;<a href="mailto:mail@gmelikov.ru">mail@gmelikov.ru</a>&gt;<br /><strong>Sent:</strong> Monday, October 1, 2018 6:17:44 AM<br /><strong>To:</strong> Jian Yu; lustre-discuss<br /><strong>Subject:</strong> Re: [lustre-discuss] lfs mirror create directory</font><div> </div></div><div><font size="2"><span style="font-size:11pt;">Thank you, Jian, it works this way.<br /><br />I want to read/write to Lustre even if one of OSTs with file is unavailable.<br /><br />But now if i unmount one of OSTs with file, I can't read/write from/to this file.<br /><br />Lustre v2.11.52<br /><br />Is this use case works in Lustre?<br /><br /># lfs getstripe ./1<br />./1<br />  lcm_layout_gen:    3<br />  lcm_mirror_count:  2<br />  lcm_entry_count:   2<br />    lcme_id:             65537<br />    lcme_mirror_id:      1<br />    lcme_flags:          init<br />    lcme_extent.e_start: 0<br />    lcme_extent.e_end:   EOF<br />      lmm_stripe_count:  1<br />      lmm_stripe_size:   <span>1048576</span><br />      lmm_pattern:       raid0<br />      lmm_layout_gen:    0<br />      lmm_stripe_offset: 2<br />      lmm_objects:<br />      - 0: { l_ost_idx: 2, l_fid: [0x<span>100020000</span>:0x5:0x0] }<br /><br />    lcme_id:             131074<br />    lcme_mirror_id:      2<br />    lcme_flags:          init,stale<br />    lcme_extent.e_start: 0<br />    lcme_extent.e_end:   EOF<br />      lmm_stripe_count:  1<br />      lmm_stripe_size:   <span>1048576</span><br />      lmm_pattern:       raid0<br />      lmm_layout_gen:    0<br />      lmm_stripe_offset: 0<br />      lmm_objects:<br />      - 0: { l_ost_idx: 0, l_fid: [0x<span>100000000</span>:0x44:0x0] }<br /># umount /mnt/lustre/ost2<br /># cat ./1<br />...infinite wait...<br /><br />So I've unmounted OST with index 2 and can't even `cat` the file.<br /><br /><br /><br />28.09.2018, 20:17, "Jian Yu" &lt;<a href="mailto:yujian@whamcloud.com">yujian@whamcloud.com</a>&gt;:<br />&gt; Hi George,<br />&gt;<br />&gt; Please run "mkdir ./mirrored/" first, then run "lfs mirror create":<br />&gt;<br />&gt; # mkdir ./mirrored/<br />&gt;<br />&gt; # lfs mirror create -N2 ./mirrored/<br />&gt;<br />&gt; # lfs getstripe ./mirrored/<br />&gt; ./mirrored/<br />&gt;   lcm_layout_gen: 0<br />&gt;   lcm_mirror_count: 2<br />&gt;   lcm_entry_count: 2<br />&gt;     lcme_id: N/A<br />&gt;     lcme_mirror_id: N/A<br />&gt;     lcme_flags: 0<br />&gt;     lcme_extent.e_start: 0<br />&gt;     lcme_extent.e_end: EOF<br />&gt;       stripe_count: 1 stripe_size: <span>1048576</span> pattern: raid0 stripe_offset: -1<br />&gt;<br />&gt;     lcme_id: N/A<br />&gt;     lcme_mirror_id: N/A<br />&gt;     lcme_flags: 0<br />&gt;     lcme_extent.e_start: 0<br />&gt;     lcme_extent.e_end: EOF<br />&gt;       stripe_count: 1 stripe_size: <span>1048576</span> pattern: raid0 stripe_offset: -1<br />&gt;<br />&gt; --<br />&gt; Best regards,<br />&gt; Jian Yu<br />&gt;<br />&gt; \ufeff-----Original Message-----<br />&gt; From: lustre-discuss &lt;<a href="mailto:lustre-discuss-bounces@lists.lustre.org">lustre-discuss-bounces@lists.lustre.org</a>&gt; on behalf of George Melikov &lt;<a href="mailto:mail@gmelikov.ru">mail@gmelikov.ru</a>&gt;<br />&gt; Date: Friday, September 28, 2018 at 8:05 AM<br />&gt; To: lustre-discuss &lt;<a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a>&gt;<br />&gt; Subject: [lustre-discuss] lfs mirror create directory<br />&gt;<br />&gt;     Does `lfs mirror create` work for directories in 2.11?<br />&gt;     Tried it, nope :(<br />&gt;<br />&gt;     # lfs mirror create -N2 ./mirrored/<br />&gt;     lfs mirror create: cannot create composite file './mirrored/': Is a directory<br />&gt;<br />&gt;     But documentation says it's good to go...<br />&gt;     &gt; lfs mirror create &lt;--mirror-count|-N[mirror_count]<br />&gt;     &gt; [setstripe_options|[--flags&lt;=flags&gt;]]&gt; ... &lt;filename|directory&gt;<br />&gt;<br />&gt;     ____________________________________<br />&gt;     Sincerely,<br />&gt;     George Melikov,<br />&gt;<br />_______________________________________________<br />lustre-discuss mailing list<br /><a href="mailto:lustre-discuss@lists.lustre.org">lustre-discuss@lists.lustre.org</a><br /><a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a></span></font></div></div></blockquote>