<div dir="auto">Do you have hostname associated with the IP address so when you do a reverse lookup it resolves the hostname?<div dir="auto"><br></div><div dir="auto">Jeremy</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 27, 2020, 11:41 AM Steve Brasier <<a href="mailto:steveb@stackhpc.com" target="_blank" rel="noreferrer">steveb@stackhpc.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Thanks Jeremy. I will file a bug - I've confirmed that if I'm actually ssh'd in as root then `keyctl read` can read the keys created by `mount -t lustre ... -o skpath=<securedir>`. So that's definitely an issue.<div><br></div><div>However, using this workaround of actually logging in as root I now get the following when trying to mount:</div><div><br></div><div>lustre-admin lgss_keyring: [11142]:ERROR:lgss_get_service_str(): cannot resolve hostname from nid 20001c0a8290a<br></div><div><br></div><div>The only <a href="https://jira.whamcloud.com/browse/LU-10593" rel="noreferrer noreferrer" target="_blank">reference </a>I can find to this error is IB networks where the interconnect doesn't have an IP. That's not the issue here and I can `lnetctl ping` the mgs by NID.</div><div><br></div><div>Is there some config I'm missing?</div><div><br></div><div>many thanks</div><div>Steve</div><div><br clear="all"><div><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><a href="http://stackhpc.com/" rel="noreferrer noreferrer" target="_blank">http://stackhpc.com/</a></div><div>Please note I work Tuesday to Friday.</div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, 26 Feb 2020 at 00:42, Jeremy Filizetti <<a href="mailto:jeremy.filizetti@gmail.com" rel="noreferrer noreferrer" target="_blank">jeremy.filizetti@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>This is a known issue.  I've had this issue pop up after several days for no apparent reason.  At this point I'm thinking the keyring will need to be configurable to provide a workaround.  Ideally the keys would be added to a Lustre specific keyring so everything would be cleaned up when the modules are removed  However, the problem there is they need to be loaded before the mount system call.  <br></div><div><br></div><div>Please file a bug if you have a chance.</div><div><br></div><div>Jeremy<br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 25, 2020 at 6:18 AM Steve Brasier <<a href="mailto:steveb@stackhpc.com" rel="noreferrer noreferrer" target="_blank">steveb@stackhpc.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi all,<div><br></div><div>I'm trying to configure a lustre 2.12.2 system with SSK and I believe I have a problem with kernel keys which I'd be grateful for any suggestions on.<div><br></div><div>Essentially I have followed the instructions/examples in the docs for SSK except that:</div><div>- A host "lustre-storage" hosts the MGS, MDT and OST with the fileystem "test_fs1".</div><div>- A host "lustre-client1" is in a nodeset "lustre_client1".</div><div>- 

cli2ost and cli2mdt rules set as skn</div><div>(happy to provide more details if required but I think that's the major differences from the examples)</div><div><br></div><div>Trying to mount the filesystem from the client fails:<br></div><div><div><br></div><div>[centos@lustre-client1 ~]$ sudo mount -t lustre 192.168.41.10@tcp1:/test_fs1 -o skpath=/etc/lustre /mnt/lustre/test_fs1/<br>mount.lustre: mount 192.168.41.10@tcp1:/test_fs1 at /mnt/lustre/test_fs1 failed: Connection refused</div><div><br></div><div>Looking in /var/log/messages I can see:</div><div><br></div><div>lustre-client1 lgss_keyring: [18756]:ERROR:sk_create_cred(): keyctl_read() failed for key 1073636326: Permission denied</div><div><br></div><div>And in fact there is a problem reading this key:</div><div>[centos@lustre-client1 ~]$ sudo keyctl list @u<br>1 key in keyring:<br>1073636326: --alswrv     0     0 user: lustre:test_fs1</div><div>[centos@lustre-client1 ~]$ sudo keyctl read 1073636326<br>keyctl_read_alloc: Permission denied<br></div><div><br></div><div>If I try to create a key myself I can see it has the same permissions as 

1073636326, and again reading it fails. Some googling led me to <a href="https://mjg59.dreamwidth.org/37333.html" rel="noreferrer noreferrer" target="_blank">this</a> which suggests there's a fundamental problem using sudo with kernel keys *. I can't be the only person to try to deploy lustre using sudo though surely? So there must be something I'm missing here to make this work.</div><div><br></div><div>To work around this I tried including "user" in the /etc/fstab options then mounting as a normal user but that fails:</div><div>[centos@lustre-client1 ~]$ mount /mnt/lustre/test_fs1/<br>mount.lustre: mount 192.168.41.10@tcp1:/test_fs1 at /mnt/lustre/test_fs1 failed: Operation not permitted<br></div><div><br></div><div>and in fact it appears lustre doesn't support the user option?</div><div>Feb 25 11:12:27 lustre-client1 kernel: LustreError: 152-6: Unknown option 'user', won't mount.<br></div><div><br></div><div><br></div><div>As I said any help appreciated!</div><div><br></div><div>Steve</div><div><br></div><div>* Although that link says key possession is tied to the original user, which would suggest that the key should show up in centos's keyring, which it doesn't.</div><div><div><br clear="all"><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><a href="http://stackhpc.com/" rel="noreferrer noreferrer" target="_blank">http://stackhpc.com/</a></div><div>Please note I work Tuesday to Friday.</div></div></div></div></div></div></div></div></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"></div>
</blockquote></div></div>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" rel="noreferrer noreferrer" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer noreferrer noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div>
</blockquote></div>
</blockquote></div>