<div dir="ltr"><br><div><br></div><div>    Thank you!</div><div><br></div><div>    Bill</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 28, 2021 at 3:20 PM Mohr, Rick <<a href="mailto:mohrrf@ornl.gov">mohrrf@ornl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Bill,<br>
<br>
One option I have used in the past is to look at the rpc request history.  For example, on an oss server, you can run:<br>
<br>
lctl get_param ost.OSS.ost_io.req_history<br>
<br>
and then extract the client nid for each request.   Based on that, you can calculate the number of requests coming into the server and look for any clients that are significantly higher than the others.  Maybe something like:<br>
<br>
lctl get_param ost.OSS.ost_io.req_history | cut -d: -f3 | sort | uniq -c | sort -n<br>
<br>
I have used that approach in the past to identify misbehaving clients (the number of requests from such clients was usually one or two orders of magnitude higher than the others).  If multiple clients are unusually high, you may be able to correlate the nodes with currently running jobs to identify a particular job (assuming you don't already have lustre job stats enabled).<br>
<br>
-Rick<br>
<br>
<br>
On 5/4/21, 2:41 PM, "lustre-discuss on behalf of Bill Anderson via lustre-discuss" <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a> on behalf of <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>> wrote:<br>
<br>
<br>
       Hi All,<br>
<br>
       Can you recommend good ways to identify Lustre client hosts that might be causing stability or performance problems for the entire filesystem?<br>
<br>
       For example, if a user is inadvertently doing something that's creating an RPC storm, what are good ways to identify the client host that has triggered the storm?<br>
<br>
       Thank you!<br>
<br>
       Bill<br>
<br>
</blockquote></div>