<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style></head><body lang=EN-US link="#0563C1" vlink="#954F72"><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt'>Hello Lustre Community, <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>I am trying to configure lustre for 100 Gbps Mellanox CX5 card.   I tried using 2.12.3 version first, but it failed when I tried to run lnetctl net add --net o2ib0 --if enp94s0f0,  so I started looking at the lustre binaries and found the below repos for ib.   <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>Is the below a special build for Mellanox cards?  or should I still be using the common Lustre binaries which are also used for tcp/ksocklnd networks. <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[hpddLustreserver]<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>name=CentOS- - Lustre<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.13.0-ib/MOFED-4.7-1.0.0.1/el7/server/<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>gpgcheck=0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[e2fsprogs]<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>name=CentOS- - Ldiskfs<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>gpgcheck=0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[hpddLustreclient]<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>name=CentOS- - Lustre<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.13.0-ib/MOFED-4.7-1.0.0.1/el7/client/<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>gpgcheck=0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>When I use the above repos,  the below command returns success, but the options I passed are not taking effect.   NIC card:  enp94s0f0 is my 100 Gbps card.  <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>lnetctl net add --net o2ib0 --if enp94s0f0 –peer-timeout 100 –peer-credits 16 –credits 2560<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>Similarly, when I try to configure some options via this file: /etc/modprobe.d/ko2iblnd.conf,  they are not taking effect and are not applied when I run the command:  <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>cat  /etc/modprobe.d/ko2iblnd.conf<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>alias ko2iblnd ko2iblnd<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>options ko2iblnd map_on_demand=256 concurrent_sends=63 peercredits_hiw=31 fmr_pool_size=1280 fmr_flush_trigger=1024 fmr_cache=1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>lnetctl net show -v --net o2ib<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>net:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>    - net type: o2ib<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>      local NI(s):<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>        - nid: 192.168.1.2@o2ib<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          status: up<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          interfaces:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              0: enp94s0f0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          statistics:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              send_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              recv_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              drop_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              peer_timeout: 100<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              peer_credits: 16<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              peer_buffer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              credits: 2560<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              peercredits_hiw: 8<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              map_on_demand: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              concurrent_sends: 16<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              fmr_pool_size: 512<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              fmr_flush_trigger: 384<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              fmr_cache: 1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              ntx: 512<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>              conns_per_peer: 1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          lnd tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          dev cpt: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          tcp bonding: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>          CPT: "[0,1]"<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[root@inst-ran1f-lustre ~]#<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p></div></body></html>