<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 TRANSITIONAL//EN">

<HTML>

<HEAD>

  <META HTTP-EQUIV="Content-Type" CONTENT="text/html; CHARSET=UTF-8">

  <META NAME="GENERATOR" CONTENT="GtkHTML/3.32.2">

</HEAD>

<BODY>

Hi Oleg,<BR>

<BR>

Thank your for your suggestions.&nbsp; I've upgraded from GigE to IB and moved from Lustre 1.8.6 to 2.1 on my test cluster.&nbsp; This includes the LU-144 fix for xattrs now but doesn't seem to help.&nbsp; I've eliminated Windows for now and I'm using a RHEL 5.7 machine as a CIFS client since Windows 7 network tuning has its own challenges.<BR>

<BR>

Typical write speed is 44 MB/sec but from time to time it doubles to the low 90 MB/sec then slows back down (see collectl logs from Lustre client/Samba export server below).&nbsp; This cycle can happen twice during a 10 GB write test for no reason I can currently see.&nbsp; I've also noticed that when I break out of a write using dd via ctrl-c the performance jumps to 96 MB/sec until a cache somewhere runs out.&nbsp; This also happens right before the end of a write - the last few hundred MB write at full speed (seen at the end of the collectl log below).&nbsp; <BR>

<BR>

I've tried tuning vfs_cache_pressure, max_rpcs_in_flight and max_dirty_mb on the Lustre client exporting Samba.&nbsp; Tweaking cache pressure seems to make no difference but setting max_rpcs and max_dirty to 256 seems optimal.&nbsp; FWIW - NFS performance is rock solid at 100 MB/sec, what else might I try tuning?<BR>

<BR>

<BR>

Thank you,<BR>

<BR>

Dan<BR>

<BR>

[<A HREF="mailto:root@stuff">root@test2</A> ~]# obdfilter-survey <BR>

Wed Oct&nbsp; 5 14:06:50 PDT 2011 Obdfilter-survey for case=disk from test2<BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 1 thr&nbsp;&nbsp;&nbsp; 1 write&nbsp; 216.00 [ 101.89, 301.66] rewrite&nbsp; 285.53 [&nbsp; 23.97, 400.56] read&nbsp; 194.76 [&nbsp; 94.82, 249.72] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 1 thr&nbsp;&nbsp;&nbsp; 2 write&nbsp; 457.09 [ 234.73, 658.27] rewrite&nbsp; 601.92 [ 214.76, 814.08] read 1436.60 [ 295.60,3624.32] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 1 thr&nbsp;&nbsp;&nbsp; 4 write&nbsp; 598.33 [ 390.56, 835.21] rewrite&nbsp; 616.84 [ 360.60, 886.00] read 2361.10 [ 639.82,5046.86] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 1 thr&nbsp;&nbsp;&nbsp; 8 write&nbsp; 638.57 [ 192.59, 985.76] rewrite&nbsp; 667.73 [ 114.87, 970.75] read 2026.85 [ 451.50,2823.11] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 1 thr&nbsp;&nbsp; 16 write&nbsp; 646.61 [ 485.50, 862.04] rewrite&nbsp; 641.01 [&nbsp;&nbsp; 0.00,1040.83] read 1872.22 [ 716.21,4353.40] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 2 thr&nbsp;&nbsp;&nbsp; 2 write&nbsp; 529.88 [ 288.68, 774.13] rewrite&nbsp; 505.26 [ 230.75, 824.10] read 1072.79 [&nbsp;&nbsp; 8.99,4203.22] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 2 thr&nbsp;&nbsp;&nbsp; 4 write&nbsp; 644.92 [ 277.41, 782.12] rewrite&nbsp; 604.37 [ 367.59, 907.99] read 1508.34 [&nbsp; 12.99,5049.31] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 2 thr&nbsp;&nbsp;&nbsp; 8 write&nbsp; 688.28 [&nbsp; 63.93,1012.86] rewrite&nbsp; 675.73 [ 159.82, 996.89] read 1678.51 [&nbsp; 19.00,3427.55] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 2 thr&nbsp;&nbsp; 16 write&nbsp; 677.00 [&nbsp; 48.95, 968.92] rewrite&nbsp; 630.08 [ 324.63,1030.83] read 1595.35 [&nbsp; 42.95,2839.49] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 4 thr&nbsp;&nbsp;&nbsp; 4 write&nbsp; 652.07 [&nbsp; 92.90, 936.98] rewrite&nbsp; 580.03 [ 337.61, 938.83] read 1363.86 [&nbsp;&nbsp; 7.99,4020.78] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 4 thr&nbsp;&nbsp;&nbsp; 8 write&nbsp; 684.45 [ 220.75, 997.88] rewrite&nbsp; 577.64 [ 206.83,1009.07] read 1357.85 [&nbsp; 18.98,3411.98] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 4 thr&nbsp;&nbsp; 16 write&nbsp; 711.37 [ 138.86,1109.76] rewrite&nbsp; 579.74 [ 257.71, 904.99] read 1528.18 [&nbsp; 33.96,4054.37] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 8 thr&nbsp;&nbsp;&nbsp; 8 write&nbsp; 617.76 [&nbsp;&nbsp; 0.00,1075.80] rewrite&nbsp; 515.14 [ 315.65, 815.08] read 1383.29 [&nbsp; 19.98,4909.61] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp;&nbsp; 8 thr&nbsp;&nbsp; 16 write&nbsp; 531.77 [&nbsp;&nbsp; 0.00,1173.02] rewrite&nbsp; 605.71 [ 170.81,1195.53] read 1602.59 [&nbsp; 32.96,3676.41] <BR>

ost&nbsp; 1 sz 16777216K rsz 1024K obj&nbsp;&nbsp; 16 thr&nbsp;&nbsp; 16 write&nbsp; 579.66 [ 210.54,1203.26] rewrite&nbsp; 523.99 [&nbsp; 95.89, 962.91] read 1484.40 [&nbsp; 31.96,2635.00] <BR>

done!<BR>

<BR>

#&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;&lt;-----------InfiniBand-----------&gt;&lt;--------Lustre Client--------&gt;<BR>

#KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut&nbsp;&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp;&nbsp; KBOut PktOut Errs&nbsp; KBRead&nbsp; Reads&nbsp; KBWrite Writes<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42151&nbsp; 28993&nbsp;&nbsp;&nbsp; 669&nbsp;&nbsp; 12001&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10439&nbsp;&nbsp; 41629&nbsp; 20639&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40544&nbsp;&nbsp;&nbsp; 724<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 60&nbsp;&nbsp;&nbsp;&nbsp; 13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42209&nbsp; 29045&nbsp;&nbsp;&nbsp; 684&nbsp;&nbsp; 12099&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10180&nbsp;&nbsp; 40588&nbsp; 20125&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40656&nbsp;&nbsp;&nbsp; 726<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 48&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42212&nbsp; 29030&nbsp;&nbsp;&nbsp; 664&nbsp;&nbsp; 11907&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20640&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40600&nbsp;&nbsp;&nbsp; 725<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 44&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42247&nbsp; 29063&nbsp;&nbsp;&nbsp; 684&nbsp;&nbsp; 12109&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10442&nbsp;&nbsp; 41629&nbsp; 20642&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40712&nbsp;&nbsp;&nbsp; 727<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp; 436&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 41238&nbsp; 28390&nbsp;&nbsp;&nbsp; 671&nbsp;&nbsp; 12057&nbsp;&nbsp;&nbsp;&nbsp; 420&nbsp; 10188&nbsp;&nbsp; 40629&nbsp; 20143&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 39632&nbsp;&nbsp;&nbsp; 708<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 48&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp; 1340&nbsp;&nbsp;&nbsp;&nbsp; 46&nbsp; 42529&nbsp; 29260&nbsp;&nbsp;&nbsp; 710&nbsp;&nbsp; 12593&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20640&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40992&nbsp;&nbsp;&nbsp; 732<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 40&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42353&nbsp; 29134&nbsp;&nbsp;&nbsp; 684&nbsp;&nbsp; 12279&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10180&nbsp;&nbsp; 40588&nbsp; 20125&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40712&nbsp;&nbsp;&nbsp; 727<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 36304&nbsp; 24977&nbsp;&nbsp;&nbsp; 601&nbsp;&nbsp; 10640&nbsp;&nbsp;&nbsp;&nbsp; 377&nbsp;&nbsp; 9134&nbsp;&nbsp; 36425&nbsp; 18059&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 35000&nbsp;&nbsp;&nbsp; 625<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 60&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 41730&nbsp; 28701&nbsp;&nbsp;&nbsp; 671&nbsp;&nbsp; 12048&nbsp;&nbsp;&nbsp;&nbsp; 420&nbsp; 10169&nbsp;&nbsp; 40548&nbsp; 20104&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40168&nbsp;&nbsp;&nbsp; 717<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp; 444&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp; 42703&nbsp; 29378&nbsp;&nbsp;&nbsp; 709&nbsp;&nbsp; 12587&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10441&nbsp;&nbsp; 41629&nbsp; 20641&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 41104&nbsp;&nbsp;&nbsp; 734<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 48&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp; 796&nbsp;&nbsp;&nbsp; 123&nbsp; 41875&nbsp; 28797&nbsp;&nbsp;&nbsp; 665&nbsp;&nbsp; 11921&nbsp;&nbsp;&nbsp;&nbsp; 420&nbsp; 10179&nbsp;&nbsp; 40588&nbsp; 20124&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40264&nbsp;&nbsp;&nbsp; 719<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 41784&nbsp; 28746&nbsp;&nbsp;&nbsp; 670&nbsp;&nbsp; 11861&nbsp;&nbsp;&nbsp;&nbsp; 420&nbsp; 10179&nbsp;&nbsp; 40588&nbsp; 20124&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40264&nbsp;&nbsp;&nbsp; 719<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 41670&nbsp; 28662&nbsp;&nbsp;&nbsp; 661&nbsp;&nbsp; 11861&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10439&nbsp;&nbsp; 41629&nbsp; 20639&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40096&nbsp;&nbsp;&nbsp; 716<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 88&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 41948&nbsp; 28861&nbsp;&nbsp;&nbsp; 677&nbsp;&nbsp; 11975&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10180&nbsp;&nbsp; 40588&nbsp; 20125&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40376&nbsp;&nbsp;&nbsp; 721<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp; 432&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp; 41914&nbsp; 28833&nbsp;&nbsp;&nbsp; 668&nbsp;&nbsp; 11991&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10189&nbsp;&nbsp; 40629&nbsp; 20144&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40360&nbsp;&nbsp;&nbsp; 721<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 40&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 48113&nbsp; 33099&nbsp;&nbsp;&nbsp; 865&nbsp;&nbsp; 15455&nbsp;&nbsp;&nbsp;&nbsp; 525&nbsp; 12228&nbsp;&nbsp; 48303&nbsp; 24070&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46312&nbsp;&nbsp;&nbsp; 827<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 56&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 47996&nbsp; 33011&nbsp;&nbsp;&nbsp; 771&nbsp;&nbsp; 13828&nbsp;&nbsp;&nbsp;&nbsp; 577&nbsp; 12177&nbsp;&nbsp; 46872&nbsp; 23685&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46200&nbsp;&nbsp;&nbsp; 825<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 76&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 48159&nbsp; 33128&nbsp;&nbsp;&nbsp; 779&nbsp;&nbsp; 13824&nbsp;&nbsp;&nbsp;&nbsp; 575&nbsp; 12263&nbsp;&nbsp; 47323&nbsp; 23883&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46312&nbsp;&nbsp;&nbsp; 827<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 48708&nbsp; 33522&nbsp;&nbsp;&nbsp; 810&nbsp;&nbsp; 14567&nbsp;&nbsp;&nbsp;&nbsp; 575&nbsp; 12338&nbsp;&nbsp; 47716&nbsp; 24056&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46872&nbsp;&nbsp;&nbsp; 837<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp; 440&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 47734&nbsp; 32838&nbsp;&nbsp;&nbsp; 774&nbsp;&nbsp; 13723&nbsp;&nbsp;&nbsp;&nbsp; 560&nbsp; 12085&nbsp;&nbsp; 46811&nbsp; 23580&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45986&nbsp;&nbsp;&nbsp; 821<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 47396&nbsp; 32595&nbsp;&nbsp;&nbsp; 761&nbsp;&nbsp; 13656&nbsp;&nbsp;&nbsp;&nbsp; 573&nbsp; 12074&nbsp;&nbsp; 46442&nbsp; 23476&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45640&nbsp;&nbsp;&nbsp; 815<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 47473&nbsp; 32657&nbsp;&nbsp;&nbsp; 770&nbsp;&nbsp; 13651&nbsp;&nbsp;&nbsp;&nbsp; 578&nbsp; 11990&nbsp;&nbsp; 45891&nbsp; 23253&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45696&nbsp;&nbsp;&nbsp; 816<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 28&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 6&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp; 63469&nbsp; 43650&nbsp;&nbsp;&nbsp; 840&nbsp;&nbsp; 14886&nbsp;&nbsp;&nbsp;&nbsp; 657&nbsp; 15921&nbsp;&nbsp; 63484&nbsp; 31475&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 60984&nbsp;&nbsp; 1089<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 28&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 88140&nbsp; 60619&nbsp;&nbsp;&nbsp; 928&nbsp;&nbsp; 15999&nbsp;&nbsp;&nbsp;&nbsp; 889&nbsp; 21463&nbsp;&nbsp; 85610&nbsp; 42448&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 84896&nbsp;&nbsp; 1516<BR>

#&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;&lt;-----------InfiniBand-----------&gt;&lt;--------Lustre Client--------&gt;<BR>

#KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut&nbsp;&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp;&nbsp; KBOut PktOut Errs&nbsp; KBRead&nbsp; Reads&nbsp; KBWrite Writes<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 76&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp; 372&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 93116&nbsp; 64047&nbsp;&nbsp; 1184&nbsp;&nbsp; 20928&nbsp;&nbsp;&nbsp;&nbsp; 942&nbsp; 22855&nbsp;&nbsp; 91104&nbsp; 45169&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89600&nbsp;&nbsp; 1600<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92165&nbsp; 63392&nbsp;&nbsp; 1162&nbsp;&nbsp; 20365&nbsp;&nbsp;&nbsp;&nbsp; 939&nbsp; 22730&nbsp;&nbsp; 90633&nbsp; 44937&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88737&nbsp;&nbsp; 1585<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 72&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90408&nbsp; 62177&nbsp;&nbsp; 1027&nbsp;&nbsp; 18007&nbsp;&nbsp;&nbsp;&nbsp; 906&nbsp; 21925&nbsp;&nbsp; 87421&nbsp; 43345&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87024&nbsp;&nbsp; 1554<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 60&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90731&nbsp; 62406&nbsp;&nbsp; 1101&nbsp;&nbsp; 19224&nbsp;&nbsp;&nbsp;&nbsp; 928&nbsp; 22451&nbsp;&nbsp; 89504&nbsp; 44381&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87024&nbsp;&nbsp; 1554<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 86886&nbsp; 59746&nbsp;&nbsp;&nbsp; 976&nbsp;&nbsp; 17095&nbsp;&nbsp;&nbsp;&nbsp; 874&nbsp; 21142&nbsp;&nbsp; 84298&nbsp; 41797&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 83944&nbsp;&nbsp; 1499<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 404&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 88630&nbsp; 60957&nbsp;&nbsp; 1035&nbsp;&nbsp; 18011&nbsp;&nbsp;&nbsp;&nbsp; 906&nbsp; 21924&nbsp;&nbsp; 87421&nbsp; 43344&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85288&nbsp;&nbsp; 1523<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92254&nbsp; 63439&nbsp;&nbsp; 1127&nbsp;&nbsp; 19864&nbsp;&nbsp;&nbsp;&nbsp; 936&nbsp; 22661&nbsp;&nbsp; 90362&nbsp; 44801&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88751&nbsp;&nbsp; 1585<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90122&nbsp; 61993&nbsp;&nbsp; 1037&nbsp;&nbsp; 18027&nbsp;&nbsp;&nbsp;&nbsp; 917&nbsp; 22207&nbsp;&nbsp; 88550&nbsp; 43904&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 86775&nbsp;&nbsp; 1550<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90662&nbsp; 62365&nbsp;&nbsp; 1084&nbsp;&nbsp; 19077&nbsp;&nbsp;&nbsp;&nbsp; 916&nbsp; 22185&nbsp;&nbsp; 88461&nbsp; 43860&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87304&nbsp;&nbsp; 1559<BR>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 87496&nbsp; 60176&nbsp;&nbsp;&nbsp; 930&nbsp;&nbsp; 16037&nbsp;&nbsp;&nbsp;&nbsp; 957&nbsp; 21686&nbsp;&nbsp; 85416&nbsp; 42596&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 84168&nbsp;&nbsp; 1503<BR>

&nbsp;&nbsp;&nbsp; 120&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp; 184&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 89070&nbsp; 61251&nbsp;&nbsp; 1024&nbsp;&nbsp; 17969&nbsp;&nbsp;&nbsp;&nbsp; 905&nbsp; 21923&nbsp;&nbsp; 87421&nbsp; 43343&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85736&nbsp;&nbsp; 1531<BR>

&nbsp;&nbsp;&nbsp; 136&nbsp;&nbsp;&nbsp;&nbsp; 28&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 93832&nbsp; 64533&nbsp;&nbsp; 1254&nbsp;&nbsp; 22082&nbsp;&nbsp;&nbsp;&nbsp; 949&nbsp; 22969&nbsp;&nbsp; 91584&nbsp; 45409&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90328&nbsp;&nbsp; 1613<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 88874&nbsp; 61114&nbsp;&nbsp;&nbsp; 983&nbsp;&nbsp; 17193&nbsp;&nbsp;&nbsp;&nbsp; 896&nbsp; 21685&nbsp;&nbsp; 86466&nbsp; 42871&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85542&nbsp;&nbsp; 1528<BR>

&nbsp;&nbsp;&nbsp; 120&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 85982&nbsp; 59130&nbsp;&nbsp;&nbsp; 904&nbsp;&nbsp; 15576&nbsp;&nbsp;&nbsp;&nbsp; 876&nbsp; 21144&nbsp;&nbsp; 84299&nbsp; 41798&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 82768&nbsp;&nbsp; 1478<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 95007&nbsp; 65339&nbsp;&nbsp; 1193&nbsp;&nbsp; 21067&nbsp;&nbsp;&nbsp;&nbsp; 965&nbsp; 23444&nbsp;&nbsp; 93492&nbsp; 46352&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 91448&nbsp;&nbsp; 1633<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp; 392&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp; 98034&nbsp; 67418&nbsp;&nbsp; 1286&nbsp;&nbsp; 22632&nbsp;&nbsp;&nbsp;&nbsp; 982&nbsp; 23753&nbsp;&nbsp; 94706&nbsp; 46957&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 94360&nbsp;&nbsp; 1685<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 27&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92812&nbsp; 63822&nbsp;&nbsp; 1105&nbsp;&nbsp; 19430&nbsp;&nbsp;&nbsp;&nbsp; 948&nbsp; 22966&nbsp;&nbsp; 91583&nbsp; 45406&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89376&nbsp;&nbsp; 1596<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 27&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 95831&nbsp; 65913&nbsp;&nbsp; 1195&nbsp;&nbsp; 21106&nbsp;&nbsp;&nbsp;&nbsp; 970&nbsp; 23468&nbsp;&nbsp; 93572&nbsp; 46395&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92196&nbsp;&nbsp; 1646<BR>

&nbsp;&nbsp;&nbsp; 144&nbsp;&nbsp;&nbsp;&nbsp; 27&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 94472&nbsp; 64971&nbsp;&nbsp; 1230&nbsp;&nbsp; 21623&nbsp;&nbsp;&nbsp;&nbsp; 959&nbsp; 23227&nbsp;&nbsp; 92624&nbsp; 45922&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90944&nbsp;&nbsp; 1624<BR>

&nbsp;&nbsp;&nbsp; 116&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 91589&nbsp; 62983&nbsp;&nbsp; 1094&nbsp;&nbsp; 19259&nbsp;&nbsp;&nbsp;&nbsp; 927&nbsp; 22446&nbsp;&nbsp; 89502&nbsp; 44376&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88200&nbsp;&nbsp; 1575<BR>

&nbsp;&nbsp;&nbsp; 116&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp; 380&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 87707&nbsp; 60325&nbsp;&nbsp; 1008&nbsp;&nbsp; 17527&nbsp;&nbsp;&nbsp;&nbsp; 884&nbsp; 21402&nbsp;&nbsp; 85339&nbsp; 42312&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 84392&nbsp;&nbsp; 1507<BR>

&nbsp;&nbsp;&nbsp; 156&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 89071&nbsp; 61254&nbsp;&nbsp; 1009&nbsp;&nbsp; 17684&nbsp;&nbsp;&nbsp;&nbsp; 906&nbsp; 21925&nbsp;&nbsp; 87421&nbsp; 43344&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85736&nbsp;&nbsp; 1531<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 88192&nbsp; 60656&nbsp;&nbsp;&nbsp; 968&nbsp;&nbsp; 16752&nbsp;&nbsp;&nbsp;&nbsp; 895&nbsp; 21663&nbsp;&nbsp; 86380&nbsp; 42828&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 84952&nbsp;&nbsp; 1517<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 95460&nbsp; 65643&nbsp;&nbsp; 1183&nbsp;&nbsp; 20874&nbsp;&nbsp;&nbsp;&nbsp; 974&nbsp; 23541&nbsp;&nbsp; 93822&nbsp; 46529&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 91820&nbsp;&nbsp; 1640<BR>

#&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;&lt;-----------InfiniBand-----------&gt;&lt;--------Lustre Client--------&gt;<BR>

#KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut&nbsp;&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp;&nbsp; KBOut PktOut Errs&nbsp; KBRead&nbsp; Reads&nbsp; KBWrite Writes<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92606&nbsp; 63693&nbsp;&nbsp;&nbsp; 914&nbsp;&nbsp; 15654&nbsp;&nbsp;&nbsp;&nbsp; 999&nbsp; 22998&nbsp;&nbsp; 90541&nbsp; 45197&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89096&nbsp;&nbsp; 1591<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp; 13&nbsp;&nbsp;&nbsp; 360&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 98450&nbsp; 67697&nbsp;&nbsp; 1170&nbsp;&nbsp; 20575&nbsp;&nbsp;&nbsp; 1065&nbsp; 24594&nbsp;&nbsp; 96847&nbsp; 48327&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 94864&nbsp;&nbsp; 1694<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 68&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 9&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 101979&nbsp; 70135&nbsp;&nbsp; 1255&nbsp;&nbsp; 21960&nbsp;&nbsp;&nbsp; 1091&nbsp; 25245&nbsp;&nbsp; 99496&nbsp; 49629&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 98112&nbsp;&nbsp; 1752<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 64&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 95772&nbsp; 65854&nbsp;&nbsp; 1048&nbsp;&nbsp; 18314&nbsp;&nbsp;&nbsp; 1029&nbsp; 23780&nbsp;&nbsp; 93685&nbsp; 46742&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92196&nbsp;&nbsp; 1646<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 100530&nbsp; 69147&nbsp;&nbsp; 1333&nbsp;&nbsp; 23471&nbsp;&nbsp;&nbsp; 1059&nbsp; 24827&nbsp;&nbsp; 98158&nbsp; 48882&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 96768&nbsp;&nbsp; 1728<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 48&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 99672&nbsp; 68550&nbsp;&nbsp; 1147&nbsp;&nbsp; 20132&nbsp;&nbsp;&nbsp; 1087&nbsp; 24841&nbsp;&nbsp; 97625&nbsp; 48778&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 95928&nbsp;&nbsp; 1713<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp; 420&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 96497&nbsp; 66371&nbsp;&nbsp; 1129&nbsp;&nbsp; 19678&nbsp;&nbsp;&nbsp; 1051&nbsp; 23968&nbsp;&nbsp; 94140&nbsp; 47049&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92904&nbsp;&nbsp; 1659<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 72&nbsp;&nbsp;&nbsp;&nbsp; 13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 93024&nbsp; 63972&nbsp;&nbsp;&nbsp; 883&nbsp;&nbsp; 15220&nbsp;&nbsp;&nbsp; 1017&nbsp; 23275&nbsp;&nbsp; 91480&nbsp; 45700&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89600&nbsp;&nbsp; 1600<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 88&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp; 844&nbsp;&nbsp;&nbsp; 106&nbsp; 93913&nbsp; 64589&nbsp;&nbsp; 1112&nbsp;&nbsp; 19382&nbsp;&nbsp;&nbsp;&nbsp; 969&nbsp; 23100&nbsp;&nbsp; 91772&nbsp; 45600&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90328&nbsp;&nbsp; 1613<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 48&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 8&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 92992&nbsp; 63951&nbsp;&nbsp; 1114&nbsp;&nbsp; 19606&nbsp;&nbsp;&nbsp;&nbsp; 948&nbsp; 22967&nbsp;&nbsp; 91584&nbsp; 45417&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89544&nbsp;&nbsp; 1599<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 52&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 91506&nbsp; 62935&nbsp;&nbsp; 1086&nbsp;&nbsp; 18929&nbsp;&nbsp;&nbsp;&nbsp; 918&nbsp; 22208&nbsp;&nbsp; 88550&nbsp; 43914&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88064&nbsp;&nbsp; 1573<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 32&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7&nbsp;&nbsp;&nbsp; 384&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 92093&nbsp; 63329&nbsp;&nbsp; 1173&nbsp;&nbsp; 20741&nbsp;&nbsp;&nbsp;&nbsp; 937&nbsp; 22706&nbsp;&nbsp; 90543&nbsp; 44901&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88704&nbsp;&nbsp; 1584<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 60&nbsp;&nbsp;&nbsp;&nbsp; 15&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 88196&nbsp; 60659&nbsp;&nbsp;&nbsp; 909&nbsp;&nbsp; 15625&nbsp;&nbsp;&nbsp;&nbsp; 891&nbsp; 21521&nbsp;&nbsp; 85844&nbsp; 42572&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 84896&nbsp;&nbsp; 1516<BR>

&nbsp;&nbsp;&nbsp; 136&nbsp;&nbsp;&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 89004&nbsp; 61201&nbsp;&nbsp;&nbsp; 946&nbsp;&nbsp; 16490&nbsp;&nbsp;&nbsp;&nbsp; 898&nbsp; 21751&nbsp;&nbsp; 86691&nbsp; 42992&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85624&nbsp;&nbsp; 1529<BR>

&nbsp;&nbsp;&nbsp; 128&nbsp;&nbsp;&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 88558&nbsp; 60917&nbsp;&nbsp;&nbsp; 928&nbsp;&nbsp; 15990&nbsp;&nbsp;&nbsp;&nbsp; 905&nbsp; 21923&nbsp;&nbsp; 87421&nbsp; 43353&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 85232&nbsp;&nbsp; 1522<BR>

&nbsp;&nbsp;&nbsp; 132&nbsp;&nbsp;&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 91930&nbsp; 63222&nbsp;&nbsp; 1019&nbsp;&nbsp; 17829&nbsp;&nbsp;&nbsp;&nbsp; 927&nbsp; 22426&nbsp;&nbsp; 89414&nbsp; 44343&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88504&nbsp;&nbsp; 1580<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 31&nbsp;&nbsp;&nbsp; 264&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 96038&nbsp; 66051&nbsp;&nbsp; 1289&nbsp;&nbsp; 22707&nbsp;&nbsp;&nbsp;&nbsp; 981&nbsp; 23749&nbsp;&nbsp; 94705&nbsp; 46964&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92456&nbsp;&nbsp; 1651<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 31&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 94318&nbsp; 64857&nbsp;&nbsp; 1129&nbsp;&nbsp; 19878&nbsp;&nbsp;&nbsp;&nbsp; 949&nbsp; 22969&nbsp;&nbsp; 91584&nbsp; 45419&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90776&nbsp;&nbsp; 1621<BR>

&nbsp;&nbsp;&nbsp; 148&nbsp;&nbsp;&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90540&nbsp; 62266&nbsp;&nbsp; 1018&nbsp;&nbsp; 17669&nbsp;&nbsp;&nbsp;&nbsp; 916&nbsp; 22184&nbsp;&nbsp; 88462&nbsp; 43868&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87136&nbsp;&nbsp; 1556<BR>

&nbsp;&nbsp;&nbsp; 132&nbsp;&nbsp;&nbsp;&nbsp; 30&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90719&nbsp; 62380&nbsp;&nbsp; 1069&nbsp;&nbsp; 18791&nbsp;&nbsp;&nbsp;&nbsp; 927&nbsp; 22446&nbsp;&nbsp; 89502&nbsp; 44386&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87360&nbsp;&nbsp; 1560<BR>

&nbsp;&nbsp;&nbsp; 136&nbsp;&nbsp;&nbsp;&nbsp; 31&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 94233&nbsp; 64813&nbsp;&nbsp; 1289&nbsp;&nbsp; 22738&nbsp;&nbsp;&nbsp;&nbsp; 949&nbsp; 22969&nbsp;&nbsp; 91584&nbsp; 45419&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90720&nbsp;&nbsp; 1620<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 31&nbsp;&nbsp;&nbsp; 160&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 95711&nbsp; 65814&nbsp;&nbsp; 1265&nbsp;&nbsp; 22435&nbsp;&nbsp;&nbsp;&nbsp; 971&nbsp; 23514&nbsp;&nbsp; 93759&nbsp; 46496&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92100&nbsp;&nbsp; 1645<BR>

&nbsp;&nbsp;&nbsp; 196&nbsp;&nbsp;&nbsp;&nbsp; 34&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92808&nbsp; 63832&nbsp;&nbsp; 1111&nbsp;&nbsp; 19377&nbsp;&nbsp;&nbsp;&nbsp; 938&nbsp; 22707&nbsp;&nbsp; 90543&nbsp; 44901&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89320&nbsp;&nbsp; 1595<BR>

&nbsp;&nbsp;&nbsp; 128&nbsp;&nbsp;&nbsp;&nbsp; 31&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 94191&nbsp; 64768&nbsp;&nbsp; 1153&nbsp;&nbsp; 20335&nbsp;&nbsp;&nbsp;&nbsp; 959&nbsp; 23228&nbsp;&nbsp; 92625&nbsp; 45933&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90664&nbsp;&nbsp; 1619<BR>

#&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;&lt;-----------InfiniBand-----------&gt;&lt;--------Lustre Client--------&gt;<BR>

#KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut&nbsp;&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp;&nbsp; KBOut PktOut Errs&nbsp; KBRead&nbsp; Reads&nbsp; KBWrite Writes<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 93648&nbsp; 64405&nbsp;&nbsp; 1196&nbsp;&nbsp; 20987&nbsp;&nbsp;&nbsp;&nbsp; 939&nbsp; 22708&nbsp;&nbsp; 90543&nbsp; 44903&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 90216&nbsp;&nbsp; 1611<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92767&nbsp; 63796&nbsp;&nbsp; 1115&nbsp;&nbsp; 19624&nbsp;&nbsp;&nbsp;&nbsp; 947&nbsp; 22943&nbsp;&nbsp; 91492&nbsp; 45371&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 89231&nbsp;&nbsp; 1593<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp; 332&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp; 91806&nbsp; 63141&nbsp;&nbsp; 1117&nbsp;&nbsp; 19516&nbsp;&nbsp;&nbsp;&nbsp; 928&nbsp; 22447&nbsp;&nbsp; 89502&nbsp; 44386&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88368&nbsp;&nbsp; 1578<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 90513&nbsp; 62240&nbsp;&nbsp; 1097&nbsp;&nbsp; 19321&nbsp;&nbsp;&nbsp;&nbsp; 916&nbsp; 22185&nbsp;&nbsp; 88462&nbsp; 43870&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 87136&nbsp;&nbsp; 1556<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 92454&nbsp; 63586&nbsp;&nbsp; 1212&nbsp;&nbsp; 21303&nbsp;&nbsp;&nbsp;&nbsp; 938&nbsp; 22707&nbsp;&nbsp; 90543&nbsp; 44901&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 88984&nbsp;&nbsp; 1589<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 23&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 96394&nbsp; 66287&nbsp;&nbsp; 1236&nbsp;&nbsp; 21875&nbsp;&nbsp;&nbsp;&nbsp; 981&nbsp; 23750&nbsp;&nbsp; 94705&nbsp; 46966&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92792&nbsp;&nbsp; 1657<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 88&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 59498&nbsp; 40932&nbsp;&nbsp;&nbsp; 915&nbsp;&nbsp; 16210&nbsp;&nbsp;&nbsp;&nbsp; 593&nbsp; 14358&nbsp;&nbsp; 57241&nbsp; 28389&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 57344&nbsp;&nbsp; 1024<BR>

&nbsp;&nbsp;&nbsp; 116&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp; 452&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 41957&nbsp; 28859&nbsp;&nbsp;&nbsp; 671&nbsp;&nbsp; 12040&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10190&nbsp;&nbsp; 40629&nbsp; 20149&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40416&nbsp;&nbsp;&nbsp; 722<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42094&nbsp; 28958&nbsp;&nbsp;&nbsp; 681&nbsp;&nbsp; 12065&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10439&nbsp;&nbsp; 41629&nbsp; 20643&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40488&nbsp;&nbsp;&nbsp; 723<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42365&nbsp; 29138&nbsp;&nbsp;&nbsp; 684&nbsp;&nbsp; 12275&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10181&nbsp;&nbsp; 40589&nbsp; 20131&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40824&nbsp;&nbsp;&nbsp; 729<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 46792&nbsp; 32194&nbsp;&nbsp;&nbsp; 759&nbsp;&nbsp; 13456&nbsp;&nbsp;&nbsp;&nbsp; 545&nbsp; 12034&nbsp;&nbsp; 46890&nbsp; 23543&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45024&nbsp;&nbsp;&nbsp; 804<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 48329&nbsp; 33239&nbsp;&nbsp;&nbsp; 775&nbsp;&nbsp; 13903&nbsp;&nbsp;&nbsp;&nbsp; 569&nbsp; 12234&nbsp;&nbsp; 47340&nbsp; 23860&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46536&nbsp;&nbsp;&nbsp; 831<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp; 416&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 48720&nbsp; 33517&nbsp;&nbsp;&nbsp; 793&nbsp;&nbsp; 14072&nbsp;&nbsp;&nbsp;&nbsp; 569&nbsp; 12350&nbsp;&nbsp; 47946&nbsp; 24131&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 46881&nbsp;&nbsp;&nbsp; 837<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 47621&nbsp; 32761&nbsp;&nbsp;&nbsp; 765&nbsp;&nbsp; 13721&nbsp;&nbsp;&nbsp;&nbsp; 579&nbsp; 12107&nbsp;&nbsp; 46448&nbsp; 23509&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45808&nbsp;&nbsp;&nbsp; 818<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 80&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 47541&nbsp; 32708&nbsp;&nbsp;&nbsp; 775&nbsp;&nbsp; 13753&nbsp;&nbsp;&nbsp;&nbsp; 590&nbsp; 12242&nbsp;&nbsp; 46840&nbsp; 23739&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45752&nbsp;&nbsp;&nbsp; 817<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 47716&nbsp; 32819&nbsp;&nbsp;&nbsp; 765&nbsp;&nbsp; 13719&nbsp;&nbsp;&nbsp;&nbsp; 584&nbsp; 12182&nbsp;&nbsp; 46710&nbsp; 23648&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 45976&nbsp;&nbsp;&nbsp; 821<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 44963&nbsp; 30936&nbsp;&nbsp;&nbsp; 730&nbsp;&nbsp; 12937&nbsp;&nbsp;&nbsp;&nbsp; 484&nbsp; 10964&nbsp;&nbsp; 43000&nbsp; 21511&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 43232&nbsp;&nbsp;&nbsp; 772<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 92&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp; 404&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5&nbsp; 42537&nbsp; 29255&nbsp;&nbsp;&nbsp; 683&nbsp;&nbsp; 12261&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40992&nbsp;&nbsp;&nbsp; 732<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42514&nbsp; 29253&nbsp;&nbsp;&nbsp; 689&nbsp;&nbsp; 12208&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10450&nbsp;&nbsp; 41671&nbsp; 20665&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40921&nbsp;&nbsp;&nbsp; 731<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 26&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42689&nbsp; 29361&nbsp;&nbsp;&nbsp; 683&nbsp;&nbsp; 12259&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 41048&nbsp;&nbsp;&nbsp; 733<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 84&nbsp;&nbsp;&nbsp;&nbsp; 19&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42591&nbsp; 29307&nbsp;&nbsp;&nbsp; 693&nbsp;&nbsp; 12270&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10442&nbsp;&nbsp; 41630&nbsp; 20646&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40992&nbsp;&nbsp;&nbsp; 732<BR>

&nbsp;&nbsp;&nbsp; 120&nbsp;&nbsp;&nbsp;&nbsp; 27&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42659&nbsp; 29343&nbsp;&nbsp;&nbsp; 690&nbsp;&nbsp; 12380&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 41104&nbsp;&nbsp;&nbsp; 734<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 88&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp; 964&nbsp;&nbsp;&nbsp;&nbsp; 95&nbsp; 42590&nbsp; 29323&nbsp;&nbsp;&nbsp; 699&nbsp;&nbsp; 12398&nbsp;&nbsp;&nbsp;&nbsp; 441&nbsp; 10700&nbsp;&nbsp; 42670&nbsp; 21159&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40992&nbsp;&nbsp;&nbsp; 732<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 80&nbsp;&nbsp;&nbsp;&nbsp; 19&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42485&nbsp; 29219&nbsp;&nbsp;&nbsp; 680&nbsp;&nbsp; 12200&nbsp;&nbsp;&nbsp;&nbsp; 421&nbsp; 10171&nbsp;&nbsp; 40548&nbsp; 20110&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40895&nbsp;&nbsp;&nbsp; 730<BR>

#&lt;----------Disks-----------&gt;&lt;----------Network----------&gt;&lt;-----------InfiniBand-----------&gt;&lt;--------Lustre Client--------&gt;<BR>

#KBRead&nbsp; Reads KBWrit Writes&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp; KBOut&nbsp; PktOut&nbsp;&nbsp;&nbsp; KBIn&nbsp; PktIn&nbsp;&nbsp; KBOut PktOut Errs&nbsp; KBRead&nbsp; Reads&nbsp; KBWrite Writes<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42509&nbsp; 29246&nbsp;&nbsp;&nbsp; 686&nbsp;&nbsp; 12152&nbsp;&nbsp;&nbsp;&nbsp; 428&nbsp; 10428&nbsp;&nbsp; 41574&nbsp; 20615&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40880&nbsp;&nbsp;&nbsp; 730<BR>

&nbsp;&nbsp;&nbsp; 128&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42473&nbsp; 29212&nbsp;&nbsp;&nbsp; 678&nbsp;&nbsp; 12149&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20644&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40880&nbsp;&nbsp;&nbsp; 730<BR>

&nbsp;&nbsp;&nbsp; 148&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42568&nbsp; 29315&nbsp;&nbsp;&nbsp; 698&nbsp;&nbsp; 12364&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40992&nbsp;&nbsp;&nbsp; 732<BR>

&nbsp;&nbsp;&nbsp; 116&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp; 404&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 42679&nbsp; 29361&nbsp;&nbsp;&nbsp; 680&nbsp;&nbsp; 12198&nbsp;&nbsp;&nbsp;&nbsp; 436&nbsp; 10476&nbsp;&nbsp; 41796&nbsp; 20728&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 41048&nbsp;&nbsp;&nbsp; 733<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 23&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42420&nbsp; 29185&nbsp;&nbsp;&nbsp; 687&nbsp;&nbsp; 12160&nbsp;&nbsp;&nbsp;&nbsp; 426&nbsp; 10345&nbsp;&nbsp; 41218&nbsp; 20440&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40880&nbsp;&nbsp;&nbsp; 730<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 23&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42162&nbsp; 29000&nbsp;&nbsp;&nbsp; 674&nbsp;&nbsp; 12099&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10450&nbsp;&nbsp; 41671&nbsp; 20665&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40585&nbsp;&nbsp;&nbsp; 725<BR>

&nbsp;&nbsp;&nbsp; 216&nbsp;&nbsp;&nbsp;&nbsp; 36&nbsp;&nbsp;&nbsp; 348&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp; 41016&nbsp; 28221&nbsp;&nbsp;&nbsp; 669&nbsp;&nbsp; 11840&nbsp;&nbsp;&nbsp;&nbsp; 410&nbsp;&nbsp; 9918&nbsp;&nbsp; 39548&nbsp; 19612&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 39480&nbsp;&nbsp;&nbsp; 705<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 23&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42535&nbsp; 29287&nbsp;&nbsp;&nbsp; 692&nbsp;&nbsp; 12422&nbsp;&nbsp;&nbsp;&nbsp; 432&nbsp; 10441&nbsp;&nbsp; 41629&nbsp; 20646&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40936&nbsp;&nbsp;&nbsp; 731<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp; 42429&nbsp; 29194&nbsp;&nbsp;&nbsp; 690&nbsp;&nbsp; 12223&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40824&nbsp;&nbsp;&nbsp; 729<BR>

&nbsp;&nbsp;&nbsp; 108&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42395&nbsp; 29160&nbsp;&nbsp;&nbsp; 681&nbsp;&nbsp; 12217&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10441&nbsp;&nbsp; 41629&nbsp; 20645&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40824&nbsp;&nbsp;&nbsp; 729<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42660&nbsp; 29348&nbsp;&nbsp;&nbsp; 708&nbsp;&nbsp; 12564&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10430&nbsp;&nbsp; 41587&nbsp; 20623&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 41063&nbsp;&nbsp;&nbsp; 733<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp; 444&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 45535&nbsp; 31315&nbsp;&nbsp;&nbsp; 770&nbsp;&nbsp; 13849&nbsp;&nbsp;&nbsp;&nbsp; 464&nbsp; 11223&nbsp;&nbsp; 44751&nbsp; 22193&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 43792&nbsp;&nbsp;&nbsp; 782<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 76&nbsp;&nbsp;&nbsp;&nbsp; 19&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 42415&nbsp; 29183&nbsp;&nbsp;&nbsp; 690&nbsp;&nbsp; 12220&nbsp;&nbsp;&nbsp;&nbsp; 431&nbsp; 10440&nbsp;&nbsp; 41629&nbsp; 20644&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 40824&nbsp;&nbsp;&nbsp; 729<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 84&nbsp;&nbsp;&nbsp;&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp; 12&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp; 51770&nbsp; 35606&nbsp;&nbsp;&nbsp; 742&nbsp;&nbsp; 13233&nbsp;&nbsp;&nbsp;&nbsp; 528&nbsp; 12789&nbsp;&nbsp; 50996&nbsp; 25290&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 49784&nbsp;&nbsp;&nbsp; 889<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 18&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 97679&nbsp; 67181&nbsp;&nbsp; 1210&nbsp;&nbsp; 21179&nbsp;&nbsp;&nbsp;&nbsp; 999&nbsp; 24143&nbsp;&nbsp; 96302&nbsp; 47757&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 94024&nbsp;&nbsp; 1679<BR>

&nbsp;&nbsp;&nbsp; 100&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 97904&nbsp; 67331&nbsp;&nbsp; 1245&nbsp;&nbsp; 22013&nbsp;&nbsp;&nbsp;&nbsp; 994&nbsp; 24083&nbsp;&nbsp; 95995&nbsp; 47605&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 94192&nbsp;&nbsp; 1682<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 96&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp; 436&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4&nbsp; 95940&nbsp; 65983&nbsp;&nbsp; 1272&nbsp;&nbsp; 22382&nbsp;&nbsp;&nbsp;&nbsp; 972&nbsp; 23515&nbsp;&nbsp; 93759&nbsp; 46497&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 92436&nbsp;&nbsp; 1651<BR>

&nbsp;&nbsp;&nbsp; 104&nbsp;&nbsp;&nbsp;&nbsp; 25&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp; 27413&nbsp; 18867&nbsp;&nbsp;&nbsp; 338&nbsp;&nbsp;&nbsp; 5956&nbsp;&nbsp;&nbsp;&nbsp; 250&nbsp;&nbsp; 6010&nbsp;&nbsp; 23938&nbsp; 11877&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 26496&nbsp;&nbsp;&nbsp; 474<BR>

&nbsp;&nbsp;&nbsp; 124&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3&nbsp;&nbsp;&nbsp;&nbsp; 22&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 11&nbsp;&nbsp;&nbsp; 261&nbsp;&nbsp;&nbsp; 1041&nbsp;&nbsp;&nbsp; 516&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<BR>

&nbsp;&nbsp;&nbsp;&nbsp; 84&nbsp;&nbsp;&nbsp;&nbsp; 21&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<BR>

&nbsp;&nbsp;&nbsp; 112&nbsp;&nbsp;&nbsp;&nbsp; 24&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2&nbsp;&nbsp;&nbsp;&nbsp; 16&nbsp;&nbsp;&nbsp;&nbsp; 10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp; 1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<BR>

<BR>

<BR>

On Mon, 2011-09-26 at 08:06 -0400, Oleg Drokin wrote:

<BLOCKQUOTE TYPE=CITE>

<PRE>

Hello!

On Sep 22, 2011, at 11:31 AM, Dan wrote:

&gt; After researching this in the archives it seems 85% of Lustre's native performance is reasonable via NFS.&nbsp; Over GigE I'm seeing 114 MB/sec read/write via Lustre native.&nbsp; 

NFS writes at 44 MB/sec via NFS (about 38%) but reads at 95 MB/sec.&nbsp; CIFS is lucky to see 18 MB/sec writes after tuning Samba (12 MB/sec prior).&nbsp; I've tried tuning the Lustre 

client and NFS client and server but nothing impacts the performance except setting noatime on NFS, which gets another 1.5 MB/sec on writes.&nbsp; What&nbsp; are some of you seeing in this configuration?&nbsp; Suggestions?

One issue is likely frequent attempts to use xattrs (there is a patch to speed this up in recent Lustre, LU-144 I think it is) and flocks.

Also I heard to cifs only does small IO - 64kb packets over the wire (and corresponding small reads), if you have high latency link, that would

probably have pretty negative impact too.

Bye,

    Oleg

--

Oleg Drokin

Senior Software Engineer

Whamcloud, Inc.

</PRE>

</BLOCKQUOTE>

<BR>

</BODY>

</HTML>