<div dir="ltr">Dear All,<div><br></div><div style>I have aqueryon expected throughput from 8gb FC HBAs. We have a lustre 2.3 setup with 7 OSTs on 8gb FC . The OSTs are mapped in such a way that one FC port has one OST assigned. During our benchmarks using IOR ( 32 clients on IB FDR ) , with -B option , we seem to getting saturated at 1.3GB/s throughput. This roughly maps to 185MB/s throughput per FC HBA port for OSTs. Other tests like multiple dd , from multiple systems are also pointing to approximate 185MB/s per FC port on OST. I am not sure if this is normal or much less ? Sample output of lfs is as given below.</div>
<div style><br></div><div style><div>lfs getstripe .</div><div>.</div><div>stripe_count:  7 stripe_size:  1048576 stripe_offset: -1</div><div>./t</div><div>lmm_stripe_count:  7</div><div>lmm_stripe_size:  1048576</div>
<div>lmm_layout_gen:   0</div><div>lmm_stripe_offset: 5</div><div>    obdidx      objid     objid      group</div><div>      5     784762    0xbf97a        0</div><div>      6     785240    0xbfb58        0</div>
<div>      0     784632    0xbf8f8        0</div><div>      2     785619    0xbfcd3        0</div><div>      4     784596    0xbf8d4        0</div><div>
      1     785144    0xbfaf8        0</div><div>      3     785079    0xbfab7        0</div><div><br></div><div>./f2</div><div>lmm_stripe_count:  7</div><div>lmm_stripe_size:  1048576</div>
<div>lmm_layout_gen:   0</div><div>lmm_stripe_offset: 2</div><div>    obdidx      objid     objid      group</div><div>      2     785617    0xbfcd1        0</div><div>      4     784594    0xbf8d2        0</div>
<div>      1     785142    0xbfaf6        0</div><div>      3     785078    0xbfab6        0</div><div>      5     784761    0xbf979        0</div><div>
      6     785239    0xbfb57        0</div><div>      0     784631    0xbf8f7        0</div><div><br></div><div>./f1</div><div>lmm_stripe_count:  7</div><div>lmm_stripe_size:  1048576</div>
<div>lmm_layout_gen:   0</div><div>lmm_stripe_offset: 3</div><div>    obdidx      objid     objid      group</div><div>      3     785076    0xbfab4        0</div><div>      5     784759    0xbf977        0</div>
<div>      6     785237    0xbfb55        0</div><div>      0     784630    0xbf8f6        0</div><div>      2     785616    0xbfcd0        0</div><div>
      4     784593    0xbf8d1        0</div><div>      1     785141    0xbfaf5        0</div><div><br></div><div style>Regards</div><div style>Dilip</div></div></div>