<div dir="ltr"><div>Hm.. If you install the test suite does llmount.sh succeed? This should setup a single node cluster on whatever node you're running lustre on, I believe it will load modules as needed (IIRC), if this test succeeds, then you know that lustre is installed correctly (or correctly enough), if not, I'd focus on the installation as the target issue may be a redheirring</div><div><br></div><div>-cf</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Nov 18, 2021 at 1:01 PM STEPHENS, DEAN - US <<a href="mailto:dean.stephens@caci.com">dean.stephens@caci.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div style="overflow-wrap: break-word;" lang="EN-US">
<div class="gmail-m_-8166945065793112345WordSection1">
<p class="MsoNormal">Thanks for the fast reply.<u></u><u></u></p>
<p class="MsoNormal">When I do the tunefs.lustre /dev/sdX command I get:<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Target: <name>-OST0009<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Index: 9<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Target: <name>-OST0008<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Index: 8<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">I spot checked some others and they seem to be good with the exception of one. It shows:<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Target: <name>-OST000a<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Index: 10<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">But since there are 11 LUNs attached that make sense to me.
<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">As far as the upgrade it was a fresh install using the legacy targets as the OSS and MDS nodes are virtual machine with the LUN disks attached to them so that Red Hat sees them as /dev/sdX devices.<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">When I loaded Lustre on the server I did a yum install lustre and since we were pointed at the lustre-2.12 repo in our environment it picked up the following RPMs to install:<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Luster-resource-agents-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Kmod-lustre-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Kmod-zfs-3.10.0-1160.2.1.el7_lustre.x86_64-09.7.13-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Kmod-lustre-osd-zfs-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Lustre-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Kmod-spl-3.10.0-1160.2.1.el7_lustre.x86_64-09.7.13-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Lustre-osd-zfs-mount-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Lustre-osd-ldiskfs-mount-2.12.6-1.el7.x86_64<u></u><u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Dean<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><b>From:</b> Colin Faber <<a href="mailto:cfaber@gmail.com" target="_blank">cfaber@gmail.com</a>>
<br>
<b>Sent:</b> Thursday, November 18, 2021 12:35 PM<br>
<b>To:</b> STEPHENS, DEAN - US <<a href="mailto:dean.stephens@caci.com" target="_blank">dean.stephens@caci.com</a>><br>
<b>Cc:</b> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<b>Subject:</b> Re: [lustre-discuss] Lustre and server upgrade<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="gmail-m_-8166945065793112345MsoNoSpacing"><span style="font-size:12pt;color:red">EXTERNAL EMAIL - This email originated from outside of CACI. Do not click any links or attachments unless you recognize and trust the sender.</span><u></u><u></u></p>
<p class="gmail-m_-8166945065793112345MsoNoSpacing"><span style="font-size:12pt;color:red"> </span><u></u><u></u></p>
<p class="gmail-m_-8166945065793112345MsoNoSpacing"><span style="font-size:12pt"> </span><u></u><u></u></p>
<div>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Hi,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">I believe in 2.10 sometime (someone correct me if I'm wrong) that the index parameter was required and needs to be specified. On an existing system this should already be set, but can you check
 the parameters line with tunefs.lustre for correct index=N values across your storage nodes?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Also, with your "upgrade", was this a fresh install utilizing legacy targets?
<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">The last thing I can think of IIRC, there was on-disk format changes between 2.5 and 2.12, these should be transparent to you, but it may be some other issue is preventing successful upgrade,
 though the missing module error really speaks to possible issues around how lustre was installed and loaded on the system.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">Cheers!<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">-cf<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">On Thu, Nov 18, 2021 at 12:24 PM STEPHENS, DEAN - US via lustre-discuss <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">I am by no means a Lustre expert and am seeking some help with our system. I am not able to get log file to post as the servers are in the closed area with no access to the Internet.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Here is a bit of history of our system:<u></u><u></u></p>
<p class="MsoNormal">The OSS and MDS nodes were RHEL6 and running a Luster server the kernel 2.6.32-431.23.3.el6_lustre.x86_64 and the Lustre version of 2.5.3. the client version was 2.10. That was in a working state.
<u></u><u></u></p>
<p class="MsoNormal">We upgraded the OSS ad MDS nodes to RHEL7 and installed Lustre server 2.12 software and kernel.<u></u><u></u></p>
<p class="MsoNormal">The attached 11 LUNs are showing up as /dev/sdb - /dev/sdl<u></u><u></u></p>
<p class="MsoNormal">Right now, on the OSS nodes, if I use the command tunefs.luster /dev/sdb I get some data back saying that Lustre data has been found but at the bottom of the out put it shows “tunefs.lustre: Unable to mount /dev/sdb: No such device” and
 “Is the ldiskfs module available”<u></u><u></u></p>
<p class="MsoNormal">When I do a “modprobe -v lustre” I do not see ldiskfs.ko as being loaded even though there is a ldiskfs.ko file in /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs directory. I am not sure how to get it to load in the modprobe
 command.<u></u><u></u></p>
<p class="MsoNormal">I used “insmod /lib/modules/3.10.0-1160.2.1.el7_lustre.x86_64/extra/lustre/fs/ ldiskfs.ko” and re-ran the “tunefs.luster /dev/sdb” command with the same result.<u></u><u></u></p>
<p class="MsoNormal">If I use the same command on the MDS nodes I get “no Lustre data found and /dev/sdb has not been formatted with mkfs.lustre”. I am not sure that is what is needed here as the MDS nodes do not really have the lustre data as it is the meta
 data server.<u></u><u></u></p>
<p class="MsoNormal">I tried to use the command “tunefs.lustre --mgs --erase_params --mgsnode=<IP address>@tcp --writeconf --dryrun /dev/sdb” and get the error “/dev/sdb has not been formatted with mkfs.lustre”.
<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">I need some help and guidance and I can provide what may be needed though it will need to be typed out as I am not able to get actual log files from the system.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Dean Stephens<u></u><u></u></p>
<p class="MsoNormal">CACI<u></u><u></u></p>
<p class="MsoNormal">Linux System Admin<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><u></u> <u></u></p>
<div class="MsoNormal" style="margin-bottom:0in;text-align:center;line-height:normal" align="center">
<hr width="100%" size="2" align="center">
</div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal"><span style="font-size:7.5pt;font-family:"Arial",sans-serif;color:gray"><br>
This electronic message contains information from CACI International Inc or subsidiary companies, which may be company sensitive, proprietary, privileged or otherwise protected from disclosure. The information is intended to be used solely by the recipient(s)
 named above. If you are not an intended recipient, be aware that any review, disclosure, copying, distribution or use of this transmission or its contents is prohibited. If you have received this transmission in error, please notify the sender immediately.</span><u></u><u></u></p>
</div>
<p class="MsoNormal" style="margin-bottom:0in;line-height:normal">_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><u></u><u></u></p>
</blockquote>
</div>
</div>
</div>
</div>

</blockquote></div>