<div dir="ltr">I have sent the log file to you in a separate email. <div><br></div><div>Note - I read four 1MB blocks, the first two 1MB blocks were cached. </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 24, 2019 at 1:01 AM Jinshan Xiong <<a href="mailto:jinshan.xiong@gmail.com">jinshan.xiong@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">hmm.. This definitely is not expected. As long as ost 1 is down, it should be returned immediately from OSC layer and tries to read the 2nd mirror that is located on ost 7. For the following blocks, it should not even try ost1 but go to 7 directly.<div><br></div><div>Would you please collect Lustre log and send it to me? You can collect logs on client side as follows:</div><div>0. create mirrored file</div><div>1. lctl set_param debug=-1 && lctl clear</div><div>2. lctl mark "======= start ========"</div><div>3. read the file</div><div>4. lctl dk > log.txt</div><div><br></div><div>and send me the log.txt file. If you can reproduce this problem consistently, please use a small file so that it would be easier to check the log.</div><div><br></div><div>Jinshan</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, May 20, 2019 at 6:20 AM John Doe <<a href="mailto:ace629426@gmail.com" target="_blank">ace629426@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">It turns out that the read eventually finished and was 1/10th of the performance that I was expecting. <div><br></div><div>As ost idx 1 is unavailable, the client read has to timeout on ost idx 1 and then will read from ost idx 7. This happens for each 1MB block, as I am using that as the block size. </div><div><br></div><div>Is there a tunable to avoid this issue?</div><div><br></div><div>lfs check osts also takes about 30 seconds as it times out on the unavailable OST. </div><div><br></div><div>Due to this issue, I am virtually unable to use the mirroring feature. </div><div><br></div><div>I</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, May 19, 2019 at 4:27 PM John Doe <<a href="mailto:ace629426@gmail.com" target="_blank">ace629426@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">After mirroring a file , when one mirror is down, any reads from a client just hangs. Both server and client are running latest 2.12.1-1. Client waits for ost idx 1 to come back online.  I am only unmounting ost idx1 not ost idx 7.<div><br></div><div>Has anyone tried this feature? </div><div><br></div><div>Thanks,</div><div>John.<br><div><br></div><div>lfs getstripe mirror10<br>mirror10<br>  lcm_layout_gen:    5<br>  lcm_mirror_count:  2<br>  lcm_entry_count:   2<br>    lcme_id:             65537<br>    lcme_mirror_id:      1<br>    lcme_flags:          init<br>    lcme_extent.e_start: 0<br>    lcme_extent.e_end:   EOF<br>      lmm_stripe_count:  1<br>      lmm_stripe_size:   1048576<br>      lmm_pattern:       raid0<br>      lmm_layout_gen:    0<br>      lmm_stripe_offset: 1<br>      lmm_pool:          01<br>      lmm_objects:<br>      - 0: { l_ost_idx: 1, l_fid: [0x100010000:0x280a8:0x0] }<br><br>    lcme_id:             131074<br>    lcme_mirror_id:      2<br>    lcme_flags:          init<br>    lcme_extent.e_start: 0<br>    lcme_extent.e_end:   EOF<br>      lmm_stripe_count:  1<br>      lmm_stripe_size:   1048576<br>      lmm_pattern:       raid0<br>      lmm_layout_gen:    0<br>      lmm_stripe_offset: 7<br>      lmm_pool:          02<br>      lmm_objects:<br>      - 0: { l_ost_idx: 7, l_fid: [0x100070000:0x28066:0x0] }<br></div></div></div>
</blockquote></div>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div>
</blockquote></div>