<div dir="ltr"><div dir="ltr"><div dir="ltr">Hi all,<div><br></div><div><div>OS=Redhat 7.4</div><div>Lustre Version: Intel® Manager for Lustre* software 4.0.3.0</div><div>İnterconnect: Mellanox OFED, ConnectX-5</div></div><div>72 OST over 6 OSS with HA</div><div>1mdt and 1 mgt on 2 MDS with HA</div><div><br></div><div>Lustre servers fine tuning parameters:</div><div><div>lctl set_param timeout=600</div><div>lctl set_param ldlm_timeout=200</div><div>lctl set_param at_min=250</div><div>lctl set_param at_max=600</div><div>lctl set_param obdfilter.*.read_cache_enable=1</div><div>lctl set_param obdfilter.*.writethrough_cache_enable=1</div><div>lctl set_param obdfilter.lfs3test-OST*.brw_size=16</div></div><div><br></div><div>Lustre clients fine tuning parameters:</div><div><div>lctl set_param osc.*.checksums=0</div><div>lctl set_param timeout=600</div><div>lctl set_param at_min=250</div><div>lctl set_param at_max=600</div><div>lctl set_param ldlm.namespaces.*.lru_size=2000</div><div>lctl set_param osc.*OST*.max_rpcs_in_flight=256</div><div>lctl set_param osc.*OST*.max_dirty_mb=1024</div><div>lctl set_param osc.*.max_pages_per_rpc=1024</div><div>lctl set_param llite.*.max_read_ahead_mb=1024</div><div>lctl set_param llite.*.max_read_ahead_per_file_mb=1024</div></div><div><br></div><div>Mountpoint stripe count:72 stripesize:1M</div><div><br></div><div>I have a 2Pb lustre filesystem, In the benchmark tests i get the optimum values for read and write, but when i start a concurrent I/O operation, second job throughput stays around 100-200Mb/s. I have tried lovering the stripe count to 36 but since the concurrent operations will not occur in a way that keeps OST volume inbalance, i think that its not a good way to move on, secondly i saw some discussion about turning off flock which ended up unpromising.</div><div><br></div><div>As i check the stripe behaviour, </div><div>first operation starts to use first 36 OST</div><div>when a second job starts during a first job, it uses second 36 OST</div><div><br></div><div>But when second job starts after 1st job it uses first 36 OST's which causes OST unbalance.</div><div><br></div><div>Is there a round robin setup that each 36 OST pair used in a round robin way?</div><div><br></div><div>And any kind of suggestions are appreciated.</div><div><br></div><div><br></div><div>Best regards.</div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div></div></div>