<font size=2 face="sans-serif">Hi,</font>
<br>
<br><font size=2 face="sans-serif">If someone could have a look, this would
be very helpful. I have no idea what to look at.</font>
<br>
<br><font size=2 face="sans-serif">I am running a performance test (ES4)
on a Lustre file-system, installed with Lustre 2.1 plus a few Bull patches,
and I observe very low throughput compared to what I usually measure on
the same hardware.</font>
<br>
<br><font size=2 face="sans-serif">Write bandwidth is varying between 150MB/s
and 500 MB/s running with a standard user. With the exact same parameters
and configuration, but running under the root user, I get around 2000 MB/s
write bandwidth. This second value is what I observe usually.</font>
<br>
<br><font size=2 face="sans-serif">The profiling of the Lustre client indicates
more than 50% of time is spent in <i>osc_quota_chkdq()</i> routine. So
this seems related to the quota subsystem and certainly explains why root
user is not impacted by the problem.</font>
<br>
<br><font size=2 face="sans-serif">The quota are disabled on the client::</font>
<br><font size=1 face="Lucida Console"># lfs quota /b9</font>
<br><font size=1 face="Lucida Console">user quotas are not enabled.</font>
<br><font size=1 face="Lucida Console">group quotas are not enabled</font>
<br>
<br><font size=2 face="sans-serif">There is no quota parameter stored on
the MDT, nor on the 15 OSTs:</font>
<br><font size=1 face="Lucida Console"># tunefs.lustre /dev/loop1</font>
<br><font size=1 face="Lucida Console">checking for existing Lustre data:
found CONFIGS/mountdata</font>
<br><font size=1 face="Lucida Console">Reading CONFIGS/mountdata</font>
<br>
<br><font size=1 face="Lucida Console">   Read previous values:</font>
<br><font size=1 face="Lucida Console">Target:     b9-MDT0000</font>
<br><font size=1 face="Lucida Console">Index:      0</font>
<br><font size=1 face="Lucida Console">Lustre FS:  b9</font>
<br><font size=1 face="Lucida Console">Mount type: ldiskfs</font>
<br><font size=1 face="Lucida Console">Flags:      0x1</font>
<br><font size=1 face="Lucida Console">         
    (MDT )</font>
<br><font size=1 face="Lucida Console">Persistent mount opts: user_xattr,errors=remount-ro</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
lov.stripecount=2 lov.stripesize=1048576 network=o2ib0</font>
<br>
<br><font size=1 face="Lucida Console"># for dev in `mount -t lustre |
cut -d' ' -f1`; do tunefs.lustre $dev | grep "^Parameters" |
sort -u; done</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=60.64.0.37@o2ib failover.node=60.64.0.39@o2ib failover.node=60.64.0.36@o2ib
network=o2ib0</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=60.64.0.37@o2ib failover.node=60.64.0.39@o2ib failover.node=60.64.0.36@o2ib
network=o2ib0</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=61.64.0.36@o2ib2 failover.node=61.64.0.37@o2ib2 failover.node=61.64.0.39@o2ib2
network=o2ib2</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=61.64.0.36@o2ib2 failover.node=61.64.0.37@o2ib2 failover.node=61.64.0.39@o2ib2
network=o2ib2</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=160.64.0.39@o2ib1 failover.node=160.64.0.36@o2ib1 failover.node=160.64.0.37@o2ib1
network=o2ib1</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=161.64.0.36@o2ib3 failover.node=161.64.0.37@o2ib3 failover.node=161.64.0.39@o2ib3
network=o2ib3</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=160.64.0.37@o2ib1 failover.node=160.64.0.39@o2ib1 failover.node=160.64.0.36@o2ib1
network=o2ib1</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=60.64.0.39@o2ib failover.node=60.64.0.36@o2ib failover.node=60.64.0.37@o2ib
network=o2ib0</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=160.64.0.36@o2ib1 failover.node=160.64.0.37@o2ib1 failover.node=160.64.0.39@o2ib1
network=o2ib1</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=61.64.0.36@o2ib2 failover.node=61.64.0.37@o2ib2 failover.node=61.64.0.39@o2ib2
network=o2ib2</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=160.64.0.37@o2ib1 failover.node=160.64.0.39@o2ib1 failover.node=160.64.0.36@o2ib1
network=o2ib1</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=161.64.0.36@o2ib3 failover.node=161.64.0.37@o2ib3 failover.node=161.64.0.39@o2ib3
network=o2ib3</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=161.64.0.37@o2ib3 failover.node=161.64.0.39@o2ib3 failover.node=161.64.0.36@o2ib3
network=o2ib3</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=161.64.0.39@o2ib3 failover.node=161.64.0.36@o2ib3 failover.node=161.64.0.37@o2ib3
network=o2ib3</font>
<br><font size=1 face="Lucida Console">Parameters: mgsnode=60.64.2.84@o2ib,160.64.2.84@o2ib1,61.64.2.84@o2ib2,161.64.2.84@o2ib3
failover.node=61.64.0.39@o2ib2 failover.node=61.64.0.36@o2ib2 failover.node=61.64.0.37@o2ib2
network=o2ib2</font>
<br>
<br>
<br><font size=2 face="sans-serif">Thanks in advance,</font>
<br><font size=2 face="sans-serif">Grégoire.</font>
<br>
<br><font size=1 color=#8f8f8f face="sans-serif">--</font>
<br><font size=2 color=#8f8f8f face="sans-serif">Grégoire PICHON</font>
<br><font size=2 color=#8f8f8f face="sans-serif">Software Developer, Lustre
- Extreme Computing R&D</font>
<br><font size=2 color=#8f8f8f face="sans-serif">Bull, Architect of an
Open World</font>
<br><font size=2 color=#8f8f8f face="sans-serif">Phone: +33 4 76 29 70
63</font>
<br><a href=http://www.bull.com/><font size=2 color=#8f8f8f face="sans-serif">http://www.bull.com</font></a>