<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Menlo;
        panose-1:2 11 6 9 3 8 4 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
p.p1, li.p1, div.p1
        {mso-style-name:p1;
        margin:0in;
        background:white;
        font-size:10.5pt;
        font-family:Menlo;
        color:black;}
p.p2, li.p2, div.p2
        {mso-style-name:p2;
        margin:0in;
        background:white;
        font-size:10.5pt;
        font-family:Menlo;
        color:black;}
span.EmailStyle22
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:717627393;
        mso-list-type:hybrid;
        mso-list-template-ids:57687430 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l1
        {mso-list-id:1082264420;
        mso-list-type:hybrid;
        mso-list-template-ids:2062606042 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l1:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l1:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l1:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l1:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l1:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l2
        {mso-list-id:1190147977;
        mso-list-type:hybrid;
        mso-list-template-ids:2123027430 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l2:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l2:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l2:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l2:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l2:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l2:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l2:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l2:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l2:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l3
        {mso-list-id:1212880543;
        mso-list-type:hybrid;
        mso-list-template-ids:1631359276 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l3:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l3:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l3:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l3:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l4
        {mso-list-id:1679042528;
        mso-list-type:hybrid;
        mso-list-template-ids:-961780122 67698713 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l4:level1
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l4:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l4:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l4:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l5
        {mso-list-id:1888638205;
        mso-list-type:hybrid;
        mso-list-template-ids:1425557654 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l5:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l5:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l5:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l5:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l5:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l5:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l5:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l5:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l5:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l6
        {mso-list-id:2082747185;
        mso-list-type:hybrid;
        mso-list-template-ids:962082154 67698689 67698691 67698693 67698689 67698691 67698693 67698689 67698691 67698693;}
@list l6:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l6:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l6:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l6:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l6:level5
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l6:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
@list l6:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Symbol;}
@list l6:level8
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:"Courier New";}
@list l6:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;
        font-family:Wingdings;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<div>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt">Running out of ideas.  I also searched old messages on this distro and on Google and found an unanswered questions from Aug, 2020 -
<a href="https://www.mail-archive.com/lustre-discuss@lists.lustre.org/msg16346.html">
https://www.mail-archive.com/lustre-discuss@lists.lustre.org/msg16346.html</a>  </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Hello Laura, </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I tried your recommendation of passing mlnx_add_kernel_support.sh --kmp , my steps are below,  but I still get the same ksym error for lustre clients.   Also I see that the kmp support is still not enabled
 (may be KMP support is only available on Redhat & SUSE, but not CentOS, Oracle Linux etc – based on this link: 
<a href="https://docs.mellanox.com/display/MLNXOFEDv461000/Installing+Mellanox+OFED">
https://docs.mellanox.com/display/MLNXOFEDv461000/Installing+Mellanox+OFED</a> ) </span>
<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Step1</span></u></b><span style="font-size:11.0pt">:  On build server: 
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">./mlnx_add_kernel_support.sh --make-tgz --verbose --yes --kernel 3.10.0-1160.15.2.el7_lustre.x86_64 --kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7_lustre.x86_64 --tmpdir /tmp --distro ol7.9 --mlnx_ofed
 /root/MLNX_OFED_LINUX-5.3-1.0.0.1-ol7.9-x86_64 –kmp</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Detected MLNX_OFED_LINUX-5.3-1.0.0.1</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Building MLNX_OFED_LINUX RPMS . Please wait...</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Running MLNX_OFED_SRC-5.3-1.0.0.1/install.pl --tmpdir /tmp/mlnx_iso.7168_logs --kernel-only --kernel 3.10.0-1160.15.2.el7_lustre.x86_64 --kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7_lustre.x86_64
 --builddir /tmp/mlnx_iso.7168 --build-only --distro ol7.9 --bump-kmp-version 202105221109</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Creating metadata-rpms for 3.10.0-1160.15.2.el7_lustre.x86_64 ...</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Created /tmp/MLNX_OFED_LINUX-5.3-1.0.0.1-ol7.9-x86_64-ext.tgz</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Then: </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">./mlnxofedinstall --kernel 3.10.0-1160.15.2.el7_lustre.x86_64 --kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7_lustre.x86_64 --add-kernel-support --skip-repo --skip-distro-check --distro ol7.9 –kmp</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…..</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Installation finished successfully.</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Updating / installing...</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">   1:mlnx-fw-updater-5.3-1.0.0.1      ################################# [100%]</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Failed to update Firmware.</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">See /tmp/MLNX_OFED_LINUX.235507.logs/fw_update.log</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">To load the new driver, run:</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">/etc/init.d/openibd restart</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Ran </span><span style="font-size:11.0pt">/etc/init.d/openibd restart</span><span style="font-size:11.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Unloading HCA driver:                                      [  OK  ]</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Loading HCA driver and Access Layer:                       [  OK  ]</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Step2</span></u></b><span style="font-size:11.0pt">:  On build server:  Create Lustre client package
</span><o:p></o:p></p>
<p class="MsoNormal">./configure --disable-server --enable-client \<o:p></o:p></p>
<p class="MsoNormal">--with-linux=/usr/src/kernels/*_lustre.x86_64 \<o:p></o:p></p>
<p class="MsoNormal">--with-o2ib=/usr/src/ofa_kernel/default<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal">make rpms<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Step3</span></u></b><span style="font-size:11.0pt">:  On Lustre client node:  Install MOFED
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Untar the MOFED package from Step1. 
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Run mlnxofedinstall   (I tried running with and without --kmp ,  but same ksym error).
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="a">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l4 level1 lfo1"><span style="font-size:11.0pt">Passing --kmp parameter
</span><o:p></o:p></li></ol>
<p class="MsoNormal"><span style="font-size:11.0pt">mlnxofedinstall --force --kernel 3.10.0-1160.15.2.el7_lustre.x86_64  --kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7_lustre.x86_64 --skip-distro-check --distro ol7.9 --kmp</span><o:p></o:p></p>
<ol style="margin-top:0in" start="2" type="a">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l4 level1 lfo1"><span style="font-size:11.0pt">Not Passing --kmp parameter
</span><o:p></o:p></li></ol>
<p class="MsoNormal"><span style="font-size:11.0pt">mlnxofedinstall --force --kernel 3.10.0-1160.15.2.el7_lustre.x86_64  --kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7_lustre.x86_64 --skip-distro-check --distro ol7.9
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Step4</span></u></b><span style="font-size:11.0pt">:  On Lustre client node:  
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">yum localinstall lustre-client-2.14.51-1.el7.x86_64.rpm kmod-lustre-client-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">……</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Error: Package: kmod-lustre-client-2.14.51-1.el7.x86_64 (/kmod-lustre-client-2.14.51-1.el7.x86_64)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">           Requires: ksym(__ib_create_cq) = 0x1bb05802</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Error: Package: kmod-lustre-client-2.14.51-1.el7.x86_64 (/kmod-lustre-client-2.14.51-1.el7.x86_64)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">           Requires: ksym(rdma_listen) = 0xf6bd553e</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…..</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I tried 3 different scenarios:
</span><o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l3 level1 lfo2"><span style="font-size:11.0pt">Copied the lustre client rpms from build server to luster client node and ran above command -   it failed
</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l3 level1 lfo2"><span style="font-size:11.0pt">On lustre client node – create lustre package after running step 3a (mlnxofedinstall command with  --kmp)</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l3 level1 lfo2"><span style="font-size:11.0pt">On lustre client node – create lustre package after running step 3b (mlnxofedinstall command without  --kmp)</span><o:p></o:p></li></ol>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Any other suggestions ? </span>
<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Sidenote</span></u></b><span style="font-size:11.0pt">: 
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">For lustre server – I found this workaround, not sure yet if it will create issues once I mount and run Lustre.   
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Previously, I was installing lustre on Lustre servers using below command and getting ksym errors</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal" style="background:white"><span style="font-size:10.5pt;font-family:Menlo;color:black">sudo yum install lustre-tests -y</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">But if I use, the below, the install works:
</span><o:p></o:p></p>
<p class="MsoNormal" style="background:white"><span style="font-size:10.5pt;font-family:Menlo;color:black">rpm -ivh --nodeps lustre-2.14.51-1.el7.x86_64.rpm  kmod-lustre-2.14.51-1.el7.x86_64.rpm kmod-lustre-osd-ldiskfs-2.14.51-1.el7.x86_64.rpm lustre-osd-ldiskfs-mount-2.14.51-1.el7.x86_64.rpm
 lustre-resource-agents-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="p1"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">I have tested “</span>modprobe lnet” and “lnetctl net add”,  MGS/MGT mount works,  MDT mount fails with “Invalid filesystem option set: dirdata,uninit_bg,^extents,dir_nlink,quota,project,huge_file,ea_inode,large_dir,flex_bg”<span style="color:windowtext"><o:p></o:p></span></p>
<p class="p1"><span style="color:windowtext"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt">Thanks,</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Pinkesh Valdria</span><o:p></o:p></p>
</div>
</div>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="color:black">From: </span></b><span style="color:black">Pinkesh Valdria <pinkesh.valdria@oracle.com><br>
<b>Date: </b>Friday, May 21, 2021 at 6:04 PM<br>
<b>To: </b>"lustre-discuss@lists.lustre.org" <lustre-discuss@lists.lustre.org><br>
<b>Subject: </b>MOFED & Lustre 2.14.51 - install fails with dependency failure related to ksym/MOFED</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
</div>
<p class="MsoNormal"><span style="font-size:11.0pt">Sorry for a long email,  wanted to make sure I share enough details for community to provide guidance.   I am building all lustre packages for Oracle Linux7.9-RHCK and MOFED: 5.3-1.0.0.1 using steps described
 here:  <a href="https://wiki.lustre.org/Compiling_Lustre">https://wiki.lustre.org/Compiling_Lustre</a>
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Oracle Linux 7.9 – Kernel:  3.10.0-1160.15.2.el7.x86_64</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">I was able to create the below RPM packages successfully using a node which has same OS and kernel version and MOFED version and MLNX CX-5 card,  but when I try to install them on my lustre nodes, I get a
 dependency failure related to ksym/MOFED packages (more details below).  </span>
<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo3"><span style="font-size:11.0pt">LDISKFS and Patching the Linux Kernel</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo3"><span style="font-size:11.0pt">MOFED rpms
</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo3"><span style="font-size:11.0pt">Lustre server rpms
</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo3"><span style="font-size:11.0pt">Lustre client rpms
</span><o:p></o:p></li></ol>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">After all RPMs were created, I created a local repo and added to all Lustre nodes:
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="p1">cat > /etc/yum.repos.d/lustre.repo << EOF<o:p></o:p></p>
<p class="p1">[hpddLustreserver]<o:p></o:p></p>
<p class="p1">name=OL-Lustre-Server<o:p></o:p></p>
<p class="p1">baseurl=file:///home/opc/releases/lustre-server/<o:p></o:p></p>
<p class="p1">gpgcheck=0<o:p></o:p></p>
<p class="p2"> <o:p></o:p></p>
<p class="p1">[e2fsprogs]<o:p></o:p></p>
<p class="p1">name=CentOS- - Ldiskfs<o:p></o:p></p>
<p class="p1">baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/<o:p></o:p></p>
<p class="p1">gpgcheck=0<o:p></o:p></p>
<p class="p2"> <o:p></o:p></p>
<p class="p1">[hpddLustreclient]<o:p></o:p></p>
<p class="p1">name=OL-Lustre-Client<o:p></o:p></p>
<p class="p1">baseurl=file:///home/opc/releases/lustre-client/<o:p></o:p></p>
<p class="p1">gpgcheck=0<o:p></o:p></p>
<p class="p1"> <o:p></o:p></p>
<p class="p1">EOF<o:p></o:p></p>
<p class="p1"> <o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">MOFED is installed and configured on those nodes and was able to validate using IMB-MPI1 pingpong test.
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">show_gids</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">mlx5_0 1              2              0000:0000:0000:0000:0000:ffff:c0a8:a985            192.168.169.133              v1           enp94s0f0</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Dependency failure</span></u></b><span style="font-size:11.0pt"> :   On OSS nodes, I ran the below to install all Lustre packages:</span><o:p></o:p></p>
<p class="p1">sudo yum install lustre-tests -y<o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">sudo yum install -y lustre-tests</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">--> Running transaction check</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">---> Package lustre-tests.x86_64 0:2.14.51-1.el7 will be installed</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">--> Processing Dependency: lustre-devel = 2.14.51 for package: lustre-tests-2.14.51-1.el7.x86_64</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">--> Processing Dependency: liblnetconfig.so.4()(64bit) for package: lustre-tests-2.14.51-1.el7.x86_64</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">--> Running transaction check</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">---> Package kmod-lustre.x86_64 0:2.14.51-1.el7 will be installed</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…..</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">---> Package libcom_err.x86_64 0:1.45.4-3.0.5.el7 will be updated</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt">---> Package libss.x86_64 0:1.46.2.wc1-0.el7 will be an update</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">--> Finished Dependency Resolution</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Error: Package: kmod-lustre-2.14.51-1.el7.x86_64 (hpddLustreserver)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">           Requires: ksym(ib_map_mr_sg) = 0xcd1ffb73</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Error: Package: kmod-lustre-2.14.51-1.el7.x86_64 (hpddLustreserver)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">           Requires: ksym(rdma_resolve_route) = 0xc2064869</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">…. All ib/rdma related errors similar to above for kmod-lustre.x
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">….</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">Error: Package: kmod-lustre-2.14.51-1.el7.x86_64 (hpddLustreserver)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">           Requires: ksym(ib_destroy_cq_user) = 0x5671830b</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">You could try using --skip-broken to work around the problem</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">** Found 3 pre-existing rpmdb problem(s), 'yum check' output follows:</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">oracle-cloud-agent-1.11.1-5104.el7.x86_64 is a duplicate with oracle-cloud-agent-1.8.2-3843.el7.x86_64</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">rdma-core-devel-52mlnx1-1.53100.x86_64 has missing requires of pkgconfig(libnl-3.0)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">rdma-core-devel-52mlnx1-1.53100.x86_64 has missing requires of pkgconfig(libnl-route-3.0)</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">[opc@inst-dwnv3-topical-goblin ~]$</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">RPMS from:  LDISKFS and Patching the Linux Kernel</span></u></b><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt">ls lustre-kernel/RPMS/</span><o:p></o:p></p>
<ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">bpftool-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">bpftool-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-debug-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-debug-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-debug-devel-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-debuginfo-common-x86_64-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-devel-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-headers-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-tools-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-tools-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-tools-libs-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">kernel-tools-libs-devel-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">perf-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">perf-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">python-perf-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l6 level1 lfo4"><span style="font-size:11.0pt">python-perf-debuginfo-3.10.0-1160.15.2.el7_lustre.x86_64.rpm</span><o:p></o:p></li></ul>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">MOFED rpms </span></u></b><o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<p class="MsoNormal">Steps followed:  <o:p></o:p></p>
<p class="MsoNormal">Download from MLNX site the source:  MLNX_OFED_SRC-5.3-1.0.0.1.tgz<o:p></o:p></p>
<p class="MsoNormal">tar -zvxf $HOME/MLNX_OFED_SRC-5.3-1.0.0.1.tgz<o:p></o:p></p>
<p class="MsoNormal">cd MLNX_OFED_SRC-5.3-1.0.0.1/<o:p></o:p></p>
<p class="MsoNormal">./install.pl --build-only --kernel-only \<o:p></o:p></p>
<p class="MsoNormal">--kernel 3.10.0-1160.15.2.el7.x86_64 \<o:p></o:p></p>
<p class="MsoNormal">--kernel-sources /usr/src/kernels/3.10.0-1160.15.2.el7.x86_64<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">cp RPMS/*/*/*.rpm  $HOME/releases/mofed<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b><u>Question</u></b>:  I am passing regular kernel (3.10.0-1160.15.2.el7.x86_64) and its source (not Lustre patched kernel)  as input to MOFED install command above,  I hope that is correct.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">kernel-mft-4.16.3-12.kver.3.10.0_1160.15.2.el7.x86_64.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">knem-1.1.4.90mlnx1-OFED.5.1.2.5.0.1.ol7u9.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">knem-modules-1.1.4.90mlnx1-OFED.5.1.2.5.0.1.kver.3.10.0_1160.15.2.el7.x86_64.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-nfsrdma-5.3-OFED.5.3.0.3.8.1.kver.3.10.0_1160.15.2.el7.x86_64.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-nfsrdma-debuginfo-5.3-OFED.5.3.0.3.8.1.kver.3.10.0_1160.15.2.el7.x86_64.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-ofa_kernel-5.3-OFED.5.3.1.0.0.1.ol7u9.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-ofa_kernel-debuginfo-5.3-OFED.5.3.1.0.0.1.ol7u9.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-ofa_kernel-devel-5.3-OFED.5.3.1.0.0.1.ol7u9.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">mlnx-ofa_kernel-modules-5.3-OFED.5.3.1.0.0.1.kver.3.10.0_1160.15.2.el7.x86_64.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l1 level1 lfo5"><span style="font-size:11.0pt">ofed-scripts-5.3-OFED.5.3.1.0.0.x86_64.rpm</span><o:p></o:p></li></ul>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Lustre Server packages</span></u></b><o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<p class="MsoNormal">./configure --enable-server \<o:p></o:p></p>
<p class="MsoNormal">--with-linux=/usr/src/kernels/*_lustre.x86_64 \<o:p></o:p></p>
<p class="MsoNormal">--with-o2ib=/usr/src/ofa_kernel/default<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">make rpms<o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">kmod-lustre-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">kmod-lustre-osd-ldiskfs-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">kmod-lustre-tests-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-2.14.51-1.src.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-debuginfo-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-devel-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-iokit-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-osd-ldiskfs-mount-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-resource-agents-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l2 level1 lfo6"><span style="font-size:11.0pt">lustre-tests-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li></ul>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><b><u><span style="font-size:11.0pt">Lustre Client packages</span></u></b><o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<p class="MsoNormal">./configure --disable-server --enable-client \<o:p></o:p></p>
<p class="MsoNormal">--with-linux=/usr/src/kernels/*_lustre.x86_64 \<o:p></o:p></p>
<p class="MsoNormal">--with-o2ib=/usr/src/ofa_kernel/default<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">make rpms<o:p></o:p></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt"> </span></b><o:p></o:p></p>
<ul style="margin-top:0in" type="disc">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">kmod-lustre-client-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">kmod-lustre-client-tests-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-2.14.51-1.src.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-client-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-client-debuginfo-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-client-devel-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-client-tests-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li><li class="MsoListParagraph" style="margin-left:0in;mso-list:l5 level1 lfo7"><span style="font-size:11.0pt">lustre-iokit-2.14.51-1.el7.x86_64.rpm</span><o:p></o:p></li></ul>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</body>
</html>