<div dir="ltr"><div dir="ltr">Hello,</div><div dir="ltr"><br></div><div>Did you deploy Lustre and Slurm on GCP in the same zone ?</div><div><br></div><div>What does `df` return on the master node where the client is mounted ?</div><div><br></div><div>What does `sudo modprobe lustre` return on the master node ?</div><div>Usually the Lustre client is installed by installing `kmod-lustre-client` and `lustre-client`, cf <a href="http://wiki.lustre.org/Installing_the_Lustre_Software#Lustre_Client_Software_Installation">http://wiki.lustre.org/Installing_the_Lustre_Software#Lustre_Client_Software_Installation</a>.</div><div><br></div><div>Regarding how to add the Lustre client install on the compute, login and mater node in slurm-gcp, a function can be added into the `startup-script.sh` and called in the nfs mount section starting at line 1039 of the `startup-script.sh`</div><div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Aug 4, 2019 at 8:18 AM Eyal Estrin <<a href="mailto:eyale@hotmail.com" target="_blank">eyale@hotmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
<span>Hi all,<br>
</span>
<div>1. I am trying to deploy Slurm HPC cluster based on Google Cloud Platform, with Lustre file system, as instructed below:</div>
<div>   <a href="https://codelabs.developers.google.com/codelabs/hpc-slurm-on-gcp/#0" target="_blank">https://codelabs.developers.google.com/codelabs/hpc-slurm-on-gcp/#0</a></div>
<div>   <a href="https://cloud.google.com/blog/products/storage-data-transfer/introducing-lustre-file-system-cloud-deployment-manager-scripts" target="_blank">https://cloud.google.com/blog/products/storage-data-transfer/introducing-lustre-file-system-cloud-deployment-manager-scripts</a></div>
<div>   <a href="https://github.com/GoogleCloudPlatform/deploymentmanager-samples/tree/master/community/lustre" target="_blank">https://github.com/GoogleCloudPlatform/deploymentmanager-samples/tree/master/community/lustre</a></div>
<div></div>
<div>2. I have created VPC Peering between the Slurm network and the Lustre cluster network</div>
<div></div>
<div>3. I have created Firewall rules for allowing all ports and protocols between the Slurm network and the Lustre cluster network</div>
<div></div>
<div>4. I have added DNS records for all the Lustre cluster machines inside the Slurm master node /etc/hosts</div>
<div></div>
<div>5. I have installed the following Lustre client pre-requirements on the Slurm master node:</div>
<div>   sudo yum install kernel kernel-devel kernel-headers kernel-abi-whitelists kernel-tools kernel-tools-libs kernel-tools-libs-devel</div>
<div></div>
<div>6. I have created the /etc/yum.repos.d/lustre.repo with the following content:</div>
<div>[lustre-server]</div>
<div>name=CentOS-$releasever - Lustre</div>
<div>baseurl=<a href="https://downloads.hpdd.intel.com/public/lustre/latest-feature-release/el7/server/" target="_blank">https://downloads.hpdd.intel.com/public/lustre/latest-feature-release/el7/server/</a></div>
<div>gpgcheck=0</div>
<div></div>
<div>[e2fsprogs]</div>
<div>name=CentOS-$releasever - Ldiskfs</div>
<div>baseurl=<a href="https://downloads.hpdd.intel.com/public/e2fsprogs/latest/el7/" target="_blank">https://downloads.hpdd.intel.com/public/e2fsprogs/latest/el7/</a></div>
<div>gpgcheck=0</div>
<div></div>
<div>[lustre-client]</div>
<div>name=CentOS-$releasever - Lustre</div>
<div>baseurl=<a href="https://downloads.hpdd.intel.com/public/lustre/latest-feature-release/el7/client/" target="_blank">https://downloads.hpdd.intel.com/public/lustre/latest-feature-release/el7/client/</a></div>
<div>gpgcheck=0</div>
<div></div>
<div>7. I have installed the Lustre client packages on the Slurm master node, using the following command:</div>
<div>   sudo yum install e2fsprogs lustre-client</div>
<div></div>
<div>8. I used the following commands to create a mount point for the Lustre file system from within the Slurm master node:</div>
<div>   sudo mkdir -p /lustre</div>
<div>   sudo chmod 777 -R /lustre</div>
<div></div>
<div>9. Due to the fact that on the Slurm master node on Google Cloud Platform, my logged-in account is not Root account, but a Google G Suite account, the only way to perform mount and create a test file inside the mount point /lustre, is to use the following
 Sudo commands:</div>
<div>    sudo mount -t lustre lustre-mds1:/lustre /lustre</div>
<div>    sudo touch /lustre/1.txt</div>
<div></div>
<div>I have couple of problems with the above process:</div>
<div>A. Even though the mount point (/lustre) has chmod of 777, the folder is still owned by Root user and group, and I am still unable to write files into the /Lustre mount point - How do I allow Google G Suite accounts the privilege to read/write/delete
 files from the /Lustre mount point?</div>
<div><br>
</div>
<div>B. How do I add the following packages as part of the Slurm deployment package on both the Slurm master node and on all Slurm compute nodes (<a href="https://github.com/SchedMD/slurm-gcp)?" target="_blank">https://github.com/SchedMD/slurm-gcp)?</a></div>
<div>   sudo yum install kernel kernel-devel kernel-headers kernel-abi-whitelists kernel-tools kernel-tools-libs kernel-tools-libs-devel</div>
<div>   sudo yum install e2fsprogs lustre-client</div>
<div>   Note: For the Lustre client installation, I need to add the /etc/yum.repos.d/lustre.repo with specific content (as instructed here: <a href="http://wiki.lustre.org/Installing_the_Lustre_Software)" target="_blank">http://wiki.lustre.org/Installing_the_Lustre_Software)</a></div>
<span></span><br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt">
Thanks,</div>
<div id="m_3489683227125275219gmail-m_4853149678044554022Signature">
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;background-color:rgb(255,255,255)">
<br>
</div>
<div style="color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif;font-size:12pt;background-color:rgb(255,255,255)">
Eyal Estrin<br>
<div><br>
</div>
</div>
</div>
</div>

_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div><div><br></div><div dir="ltr" class="m_3489683227125275219gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><span><div dir="ltr" style="margin-left:0pt"><table style="border:none;border-collapse:collapse"><colgroup><col width="487"></colgroup><tbody></tbody></table></div></span></div></div></div></div></div></div></div></div></div></div>