<div dir="ltr">1) fio --name=randwrite --ioengine=libaio --iodepth=1 --rw=randwrite --bs=4k --direct=0 --size=20G --numjobs=4 --runtime=240 --group_reporting<div><br></div><div>2) time cp x x2</div><div><br></div><div>3) and dd if=/dev/zero of=/ssd/d.data bs=10G count=4 iflag=fullblock</div><div><br></div><div>any other way to test this plz let me know</div><div><br></div><div>/Zee</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, Aug 28, 2018 at 3:54 PM Patrick Farrell <<a href="mailto:paf@cray.com">paf@cray.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div>
How are you measuring write speed?<br>
<br>
<br>
<hr style="display:inline-block;width:98%">
<div id="m_3679768992855847995divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> lustre-discuss <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> on behalf of Zeeshan Ali Shah <<a href="mailto:javaclinic@gmail.com" target="_blank">javaclinic@gmail.com</a>><br>
<b>Sent:</b> Tuesday, August 28, 2018 1:30:03 AM<br>
<b>To:</b> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<b>Subject:</b> [lustre-discuss] separate SSD only filesystem including HDD</font>
<div> </div>
</div>

<div>
<div dir="ltr">Dear All, I recently deployed 10PB+ Lustre solution which is working fine. Recently for  genomic pipeline we acquired another racks with dedicated compute nodes with single 24-NVME SSD Servers/Rack .  Each SSD server connected to Compute Node
 via 100 G Omnipath.
<div><br>
</div>
<div>Issue 1:  is that when I combined SSDs in stripe mode using zfs we  are not linearly scaling in terms of performance . for e..g single SSD write speed is 1.3GB/sec , adding 5 of those in stripe mode should give us atleast 1.3x5 or less , but we still get
 1.3 GB out of those 5 SSD .</div>
<div><br>
</div>
<div>Issue 2: if we resolve issue #1, 2nd challenge is to allow 24 NVMEs to compute nodes distributed and parallel wise , NFS not an option .. tried glusterfs but due to its DHT it is slow.. </div>
<div><br>
</div>
<div>I am thinking to add another Filesystem to our existing MDT and install OSTs/OSS over the NVME server.. mounting this specific ssd where needed. so basically we will end up having two filesystem (one with normal 10PB+ and 2nd with SSD).. </div>
<div><br>
Does this sounds correct ?  </div>
<div><br>
</div>
<div>any other advice please ..</div>
<div><br>
</div>
<div><br>
</div>
<div>/Zeeshan</div>
<div><br>
</div>
<div><br>
</div>
</div>
</div>
</div>

</blockquote></div>