<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:x="urn:schemas-microsoft-com:office:excel" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:#0563C1;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:#954F72;
text-decoration:underline;}
pre
{mso-style-priority:99;
mso-style-link:"HTML Preformatted Char";
margin:0in;
margin-bottom:.0001pt;
font-size:10.0pt;
font-family:"Courier New";}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri",sans-serif;
color:windowtext;}
span.HTMLPreformattedChar
{mso-style-name:"HTML Preformatted Char";
mso-style-priority:99;
mso-style-link:"HTML Preformatted";
font-family:"Courier New";}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri",sans-serif;}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style></head><body lang=EN-US link="#0563C1" vlink="#954F72"><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt'>Hello, <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>I have a lustre cluster using 25gbps ethernet network. (no infinitiband). I see lot of examples online for infiniband and what tunables to use for it, but I am struggling to find recommendations when using ethernet networks. <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>Appreciate if someone can share their experience and settings when using ethernet or if there is any details online for ethernet recommended values. <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>From my lustre client node. I don’t see any LND tunables below like (peercredits_hiw: 64, map_on_demand: 32, concurrent_sends: 256, fmr_pool_size: 2048, fmr_flush_trigger: 512, fmr_cache: 1).<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[root@lustre-client-1 ~]# lnetctl net show --verbose<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>net:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - net type: lo<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> local NI(s):<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - nid: 0@lo<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> status: up<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> statistics:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> send_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> recv_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> drop_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_timeout: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_buffer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> dev cpt: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tcp bonding: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> CPT: "[0,1,2,3,4,5,6,7,8,9,10,11]"<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - net type: tcp1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> local NI(s):<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - nid: 10.0.3.4@tcp1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> status: up<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> interfaces:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> 0: ens3<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> statistics:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> send_count: 657209676<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> recv_count: 657208330<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> drop_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_timeout: 180<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_credits: 8<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_buffer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> credits: 256<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> dev cpt: -1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tcp bonding: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> CPT: "[0,1,2,3,4,5,6,7,8,9,10,11]"<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[root@lustre-client-1 ~]#<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>OSS Server <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[root@lustre-oss-server-nic0-1 ~]# lnetctl net show --verbose<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>net:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - net type: lo<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> local NI(s):<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - nid: 0@lo<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> status: up<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> statistics:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> send_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> recv_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> drop_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_timeout: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_buffer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> dev cpt: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tcp bonding: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> CPT: "[0,1]"<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - net type: tcp1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> local NI(s):<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> - nid: 10.0.3.6@tcp1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> status: up<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> interfaces:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> 0: eno3d1<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> statistics:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> send_count: 232650108<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> recv_count: 232650019<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> drop_count: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tunables:<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_timeout: 180<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_credits: 8<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> peer_buffer_credits: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> credits: 256<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> dev cpt: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> tcp bonding: 0<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'> CPT: "[0,1]"<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'>[root@lustre-oss-server-nic0-1 ~]#<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt'><o:p> </o:p></span></p></div></body></html>