<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:p="urn:schemas-microsoft-com:office:powerpoint" xmlns:a="urn:schemas-microsoft-com:office:access" xmlns:dt="uuid:C2F41010-65B3-11d1-A29F-00AA00C14882" xmlns:s="uuid:BDC6E3F0-6DA3-11d1-A2A3-00AA00C14882" xmlns:rs="urn:schemas-microsoft-com:rowset" xmlns:z="#RowsetSchema" xmlns:b="urn:schemas-microsoft-com:office:publisher" xmlns:ss="urn:schemas-microsoft-com:office:spreadsheet" xmlns:c="urn:schemas-microsoft-com:office:component:spreadsheet" xmlns:odc="urn:schemas-microsoft-com:office:odc" xmlns:oa="urn:schemas-microsoft-com:office:activation" xmlns:html="http://www.w3.org/TR/REC-html40" xmlns:q="http://schemas.xmlsoap.org/soap/envelope/" xmlns:rtc="http://microsoft.com/officenet/conferencing" xmlns:D="DAV:" xmlns:Repl="http://schemas.microsoft.com/repl/" xmlns:mt="http://schemas.microsoft.com/sharepoint/soap/meetings/" xmlns:x2="http://schemas.microsoft.com/office/excel/2003/xml" xmlns:ppda="http://www.passport.com/NameSpace.xsd" xmlns:ois="http://schemas.microsoft.com/sharepoint/soap/ois/" xmlns:dir="http://schemas.microsoft.com/sharepoint/soap/directory/" xmlns:ds="http://www.w3.org/2000/09/xmldsig#" xmlns:dsp="http://schemas.microsoft.com/sharepoint/dsp" xmlns:udc="http://schemas.microsoft.com/data/udc" xmlns:xsd="http://www.w3.org/2001/XMLSchema" xmlns:sub="http://schemas.microsoft.com/sharepoint/soap/2002/1/alerts/" xmlns:ec="http://www.w3.org/2001/04/xmlenc#" xmlns:sp="http://schemas.microsoft.com/sharepoint/" xmlns:sps="http://schemas.microsoft.com/sharepoint/soap/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:udcs="http://schemas.microsoft.com/data/udc/soap" xmlns:udcxf="http://schemas.microsoft.com/data/udc/xmlfile" xmlns:udcp2p="http://schemas.microsoft.com/data/udc/parttopart" xmlns:wf="http://schemas.microsoft.com/sharepoint/soap/workflow/" xmlns:dsss="http://schemas.microsoft.com/office/2006/digsig-setup" xmlns:dssi="http://schemas.microsoft.com/office/2006/digsig" xmlns:mdssi="http://schemas.openxmlformats.org/package/2006/digital-signature" xmlns:mver="http://schemas.openxmlformats.org/markup-compatibility/2006" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns:mrels="http://schemas.openxmlformats.org/package/2006/relationships" xmlns:spwp="http://microsoft.com/sharepoint/webpartpages" xmlns:ex12t="http://schemas.microsoft.com/exchange/services/2006/types" xmlns:ex12m="http://schemas.microsoft.com/exchange/services/2006/messages" xmlns:pptsl="http://schemas.microsoft.com/sharepoint/soap/SlideLibrary/" xmlns:spsl="http://microsoft.com/webservices/SharePointPortalServer/PublishedLinksService" xmlns:Z="urn:schemas-microsoft-com:" xmlns:st="" xmlns="http://www.w3.org/TR/REC-html40">

<head>

<meta http-equiv=Content-Type content="text/html; charset=iso-8859-1">

<meta name=Generator content="Microsoft Word 12 (filtered medium)">

<style>

<!--

 /* Font Definitions */

 @font-face

        {font-family:"Cambria Math";

        panose-1:2 4 5 3 5 4 6 3 2 4;}

@font-face

        {font-family:Calibri;

        panose-1:2 15 5 2 2 2 4 3 2 4;}

@font-face

        {font-family:Consolas;

        panose-1:2 11 6 9 2 2 4 3 2 4;}

 /* Style Definitions */

 p.MsoNormal, li.MsoNormal, div.MsoNormal

        {margin:0in;

        margin-bottom:.0001pt;

        font-size:11.0pt;

        font-family:"Calibri","sans-serif";}

a:link, span.MsoHyperlink

        {mso-style-priority:99;

        color:blue;

        text-decoration:underline;}

a:visited, span.MsoHyperlinkFollowed

        {mso-style-priority:99;

        color:purple;

        text-decoration:underline;}

p.MsoPlainText, li.MsoPlainText, div.MsoPlainText

        {mso-style-priority:99;

        mso-style-link:"Plain Text Char";

        margin:0in;

        margin-bottom:.0001pt;

        font-size:10.5pt;

        font-family:Consolas;}

span.EmailStyle17

        {mso-style-type:personal-compose;

        font-family:"Calibri","sans-serif";

        color:windowtext;}

span.PlainTextChar

        {mso-style-name:"Plain Text Char";

        mso-style-priority:99;

        mso-style-link:"Plain Text";

        font-family:Consolas;}

.MsoChpDefault

        {mso-style-type:export-only;}

@page WordSection1

        {size:8.5in 11.0in;

        margin:1.0in 1.0in 1.0in 1.0in;}

div.WordSection1

        {page:WordSection1;}

-->

</style>

<!--[if gte mso 9]><xml>

 <o:shapedefaults v:ext="edit" spidmax="1026" />

</xml><![endif]--><!--[if gte mso 9]><xml>

 <o:shapelayout v:ext="edit">

  <o:idmap v:ext="edit" data="1" />

 </o:shapelayout></xml><![endif]-->

</head>

<body lang=EN-US link=blue vlink=purple>

<div class=WordSection1>

<p class=MsoPlainText>Wojciech Turek <<a href="mailto:wjt27@...">wjt27@...</a>>

writes:<o:p></o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> Thank you all for very useful suggestions. The

Andreas's way which <o:p></o:p></p>

<p class=MsoPlainText>> uses<o:p></o:p></p>

<p class=MsoPlainText>rpc_history gave out exactly what I was looking for in a

quite easy to read form. <o:p></o:p></p>

<p class=MsoPlainText>> On 9 July 2010 18:26, Andreas Dilger

<andreas.dilger-<o:p></o:p></p>

<p class=MsoPlainText><a href="mailto:QHcLZuEGTsvQT0dZR+AlfA@public.gmane.org">QHcLZuEGTsvQT0dZR+AlfA@public.gmane.org</a>>

wrote:<o:p></o:p></p>

<p class=MsoPlainText>> On 2010-07-08, at 16:11, Bernd Schubert wrote:<o:p></o:p></p>

<p class=MsoPlainText>> >> Bernd, would you (or anyone) be interested

to enhance those tools <o:p></o:p></p>

<p class=MsoPlainText>> >> to be<o:p></o:p></p>

<p class=MsoPlainText>able to show stats data from multiple files at once (each

prefixed by the device name and/or client NID)? Ā I don't think it makes

sense to create separate tools for this.<o:p></o:p></p>

<p class=MsoPlainText>><o:p> </o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>For what it's worth, you can get very detailed

client-side stats from collectl.  <o:p></o:p></p>

<p class=MsoPlainText>The way it figures out what the client is doing is to

actually look at the ost- level stats and add them up!  Why?  because that

means you can they replay the data and break things down by OST.  <o:p></o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>There are also client side switches to look at BRW stats,

readahead stats and even what's going on with meta-data.  If you then plot the

data with colplot you can drill down and look at all kinds of things.  For

example if  you have data from multiple clients you can even compare it

side-by-side.  check out collectl-utils on sourceforge if you haven't yet.<o:p></o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>Alas, I'm one of the few people (I think) who ever gets

into this level of analysis because I fear the number of switches tend to scare

people off.  ;)<o:p></o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>-mark<o:p></o:p></p>

<p class=MsoPlainText><o:p> </o:p></p>

<p class=MsoPlainText>> ><o:p></o:p></p>

<p class=MsoPlainText>> > I'm not sure if the existing lustre tools are

really what we need. <o:p></o:p></p>

<p class=MsoPlainText>> > If you<o:p></o:p></p>

<p class=MsoPlainText>have a cluster with 200 or more clients and then want to

figure out which clients are doing most IO, several lines per client provide

too much output.<o:p></o:p></p>

<p class=MsoPlainText>> I agree, but having a 200-column line is also not

very useful. Ā I <o:p></o:p></p>

<p class=MsoPlainText>> like the<o:p></o:p></p>

<p class=MsoPlainText>"llobdstat" output where it prints the IO

numbers, and then appends only the abbreviated values that are changing for

that interval, instead of printing all of the values.<o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> > One line sorted by IO seems to be better, IMHO.<o:p></o:p></p>

<p class=MsoPlainText>> The commands that I posted using the rpc_history file

will print out a <o:p></o:p></p>

<p class=MsoPlainText>> summary<o:p></o:p></p>

<p class=MsoPlainText>of all client RPC counts sorted by maximum user.

Ā Something similar could be done by aggregating all of the per-client

stats as well, though it would mean touching a lot more input files for each

interval.<o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> > I would be for interested to enhance the

existing tools, but then if <o:p></o:p></p>

<p class=MsoPlainText>> > I look<o:p></o:p></p>

<p class=MsoPlainText>into the number of open bugs I have, several of those

have a higher priorty (btw, this script is among my bug list (bug 22469)).<o:p></o:p></p>

<p class=MsoPlainText>> I was actually hoping that someone else might take

it up. Ā The llstat <o:p></o:p></p>

<p class=MsoPlainText>> and<o:p></o:p></p>

<p class=MsoPlainText>llobdstat scripts are perl, and there should be a good

number of people who could do a bit of perl hacking.<o:p></o:p></p>

<p class=MsoPlainText>> The scripts are currently "vmstat" or

"iostat" like, in that they <o:p></o:p></p>

<p class=MsoPlainText>> print out<o:p></o:p></p>

<p class=MsoPlainText>the parameters as they change over time. Ā It might

also be interesting (if someone has the perl-fu to do it) to have a

"top" mode, where it resets the screen position each time and sorts

the output from all of the clients.<o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> Cheers, Andreas<o:p></o:p></p>

<p class=MsoPlainText>> --<o:p></o:p></p>

<p class=MsoPlainText>> Andreas Dilger<o:p></o:p></p>

<p class=MsoPlainText>> Lustre Technical Lead<o:p></o:p></p>

<p class=MsoPlainText>> Oracle Corporation Canada Inc.<o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> <o:p></o:p></p>

<p class=MsoPlainText>> -- --Wojciech Turek<o:p></o:p></p>

<p class=MsoNormal><o:p> </o:p></p>

</div>

</body>

</html>