<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:-webkit-standard;
        panose-1:2 11 6 4 2 2 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
p.p1, li.p1, div.p1
        {mso-style-name:p1;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.s1
        {mso-style-name:s1;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-IN" link="#0563C1" vlink="#954F72" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal"><span style="color:black">Hi,<o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black"> <o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">Good Morning . We are from Western Digital DCS team. As part of a PoC effort we want to validate Lustre filesystem using OpenFlex device (<a href="https://www.westerndigital.com/products/data-center-platforms/openflex-composable-infrastructure"><span style="color:#044A91">https://www.westerndigital.com/products/data-center-platforms/openflex-composable-infrastructure</span></a>).<span class="apple-converted-space"> </span><o:p></o:p></span></p>
<p class="MsoNormal" style="caret-color: rgb(0, 0, 0);font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;word-spacing:0px">
<span style="color:black"> <o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">As part of the validation process, we have deployed lustre 2.14.0 build on RHEL 8.3 system as per the support matrix  <a href="https://wiki.whamcloud.com/display/PUB/Lustre+Support+Matrix"><span style="color:#044A91">https://wiki.whamcloud.com/display/PUB/Lustre+Support+Matrix</span></a>.<o:p></o:p></span></p>
<p class="MsoNormal" style="caret-color: rgb(0, 0, 0);font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;word-spacing:0px">
<span style="color:black"> <o:p></o:p></span></p>
<p style="margin:0cm;caret-color: rgb(0, 0, 0);font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;word-spacing:0px">
<span style="font-family:"-webkit-standard",serif;color:black">We need some information regarding NVME over Fabrics support with Mellanox OFED drivers on Lustre Kernel. Can you please let us know if Lustre Kernel  supports NVME-oF?<span class="apple-converted-space"> </span><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black"> </span><span style="color:black"><o:p></o:p></span></p>
<p style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="font-family:"-webkit-standard",serif;color:black">We are facing below issues on Lustre kernel . Please refer the below details for more information. Can you please share the configuration steps for NVME-oF support with Lustre kernel using Mellanox
 OFED driver, if it is supported?<o:p></o:p></span></p>
<p class="MsoNormal" style="caret-color: rgb(0, 0, 0);font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;word-spacing:0px">
<span style="color:black"> </span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">When we try to  configure Mellanox OFED driver with NVME oF support on lustre kernel ,it  gives the below warnings.<o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black"> <o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:#223C6A">“General log file: /tmp/MLNX_OFED_LINUX.584805.logs/general.log WARNING: NVMEoF is not supported over kernel 4.18.0-240.1.1.el8_lustre.x86_64, will continue installation without it”.</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:#223C6A"> </span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">When we try to map the NVME volumes using Mellanox CX5 cards it fails with below errors.<o:p></o:p></span></p>
<p class="p1" style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span class="s1"><span style="color:#223C6A">[root@lustre-server2 ~]# nvme connect -t rdma -a 172.168.8.12 -q host -n nqn.1992-05.com.wdc.Lustre2:pool7vol7</span></span><span style="color:black"><o:p></o:p></span></p>
<p class="p1" style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span class="s1"><span style="color:#223C6A">Failed to open /dev/nvme-fabrics: No such file or directory</span></span><span style="color:black"><o:p></o:p></span></p>
<p class="p1" style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:#223C6A"> </span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">System Details:<o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:#223C6A">Lustre Package Details:</span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">Lustre Version: 2.14.0<o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black"><a href="https://downloads.whamcloud.com/public/lustre/lustre-2.14.0-ib/MOFED-5.2-1.0.4.0/el8.3/server/RPMS/x86_64/"><span style="color:#03386D">https://downloads.whamcloud.com/public/lustre/lustre-2.14.0-ib/MOFED-5.2-1.0.4.0/el8.3/server/RPMS/x86_64/</span></a><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:#223C6A">Lustre Kernel version:</span><span style="color:black"><o:p></o:p></span></p>
<p class="p1" style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span class="s1"><span style="color:black">[root@lustre-server1 yum.repos.d]# uname -a</span></span><span style="color:black"><o:p></o:p></span></p>
<p class="p1" style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span class="s1"><span style="color:black">Linux lustre-server1 4.18.0-240.1.1.el8_lustre.x86_64 #1 SMP Fri Feb 19 20:34:57 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux</span></span><span style="color:black"><o:p></o:p></span></p>
<p style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="font-family:"-webkit-standard",serif;color:black">Mellanox Package Version:<span class="apple-converted-space"> </span><o:p></o:p></span></p>
<p style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="font-family:"-webkit-standard",serif;color:black">MLNX_OFED_LINUX-5.2-1.0.4.0-rhel8.3-x86_64<o:p></o:p></span></p>
<p style="margin:0cm;font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="font-family:"-webkit-standard",serif;color:black"> <o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black"> </span><span style="color:black"><o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">Regards<o:p></o:p></span></p>
<p class="MsoNormal" style="font-variant-caps: normal;orphans: auto;text-align:start;widows: auto;-webkit-text-size-adjust: auto;-webkit-text-stroke-width: 0px;caret-color: rgb(255, 255, 255);word-spacing:0px">
<span style="color:black">Puspanjali Panda<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
</div>
</body>
</html>