<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Good afternoon,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
   I've come across a rather vexing problem within one of my lustre file systems.  A directory whose contents can't be viewed, but into which writes can take place.  Attempting to ls into that directory hangs, but lctl getstripe still works.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
After attempting to look in the directory the node displays the following, even after the ls is cancelled.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<span>[4498716.485619] Lustre: 18859:0:(client.c:2116:ptlrpc_expire_one_request()) @@@ Request sent has timed out for slow reply: [sent 1580497199/real 1580497199]  req@ffff9129f7c78c00 x1652557100931648/t0(0) o101->lustre19-MDT0000-mdc-ffff91091289f000@172.17.0.36@o2ib:12/10
 lens 696/33584 e 24 to 1 dl 1580497800 ref 1 fl Rpc:X/2/ffffffff rc -11/-1<br>
</span>
<div>[4498716.485642] Lustre: lustre19-MDT0000-mdc-ffff91091289f000: Connection to lustre19-MDT0000 (at 172.17.0.36@o2ib) was lost; in progress operations using this service will wait for recovery to complete<br>
</div>
<div>[4498716.486114] Lustre: lustre19-MDT0000-mdc-ffff91091289f000: Connection restored to 172.17.0.36@o2ib (at 172.17.0.36@o2ib)<br>
</div>
<span></span><br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Since the issue started more files have been written into the directory, but none of them can be read.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
Further, since the issue began the metadata server has been generating lustre-logs a few times a day.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
I'm running luster 2.12.1 with zfs on the metadata system (and the osts) on CentOS 7.6</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0); background-color: rgb(255, 255, 255);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
w/r,</div>
<div id="Signature">
<div id="divtagdefaultwrapper" dir="ltr" style="font-size: 12pt; font-family: Calibri, Helvetica, sans-serif; color: rgb(0, 0, 0);">
<p style="margin-top: 0px; margin-bottom: 0px;margin-top:0; margin-bottom:0"><span id="ms-rterangepaste-start"></span><span style="font-family: monospace; font-size: 14.16px; color: rgb(51, 51, 51);">Kurt J. Strosahl</span><br style="font-family: monospace; font-size: 14.16px; color: rgb(51, 51, 51);">
<span style="font-family: monospace; font-size: 14.16px; color: rgb(51, 51, 51);">System Administrator: Lustre, HPC</span><br style="font-family: monospace; font-size: 14.16px; color: rgb(51, 51, 51);">
<span style="font-family: monospace; font-size: 14.16px; color: rgb(51, 51, 51);">Scientific Computing Group, Thomas Jefferson National Accelerator Facility</span><span id="ms-rterangepaste-end"></span><br>
</p>
</div>
</div>
</body>
</html>