<div dir="ltr"><p>Dear Lustre Community,</p><p>I am encountering an issue with the Lustre high-availability component, <strong>Corosync</strong>, which experiences packet loss under high load, triggering fencing and powering down Lustre nodes. I am seeking advice on how to resolve this issue. Below are the details of our environment and the problem:</p><h3>Environment:</h3><ol><li style="margin-left:15px"><strong>Lustre version:</strong> 2.15.5</li><li style="margin-left:15px"><strong>Physical machines:</strong> 11 machines, each with 128 CPU cores and 376GB of memory.</li><li style="margin-left:15px"><strong>Virtualization:</strong> Each physical machine runs a KVM virtual machine with 20 cores and 128GB of memory, using Rocky Linux 8.10.</li><li style="margin-left:15px"><strong>Lustre setup:</strong> Each VM has 2 MDTs (512GB each) and 16 OSTs (670GB each).</li><li style="margin-left:15px"><strong>Configuration</strong> (<code>/etc/modprobe.d/lustre.conf</code>):<pre style="text-wrap-mode: wrap;"><div><div dir="ltr"><code>options lnet networks="o2ib(enp0s5f0np0)"
options libcfs cpu_npartitions=2
options ost oss_num_threads=512
options mds mds_num_threads=512
options ofd adjust_blocks_percent=11
</code></div></div></pre></li><li style="margin-left:15px"><strong>Network:</strong> 100GB RDMA network.</li><li style="margin-left:15px"><strong>Clients:</strong> 11 clients using <strong>vdbench</strong> to perform large file writes (total write bandwidth approximately 50GB).</li></ol><h3>Issue:</h3><p>Under high load write operations, the <strong>Corosync</strong> component experiences packet loss. There is a probability that heartbeat loss triggers <strong>Pacemaker's fencing mechanism</strong>, which powers down the Lustre nodes.</p><h3>Analysis Conducted:</h3><ol><li style="margin-left:15px"><strong>CPU usage:</strong> The CPU utilization is not very high, but the cpu load is very high (reaching around 400).</li><li style="margin-left:15px"><strong>Packet loss:</strong> There is packet loss observed when pinging between Lustre nodes.</li><li style="margin-left:15px"><strong>Tuning <code>ost_num_threads</code> and <code>mds_num_threads</code>:</strong> Reducing these values reduced the system load and improved packet loss significantly, but it also led to a decrease in the Vdbench write bandwidth.</li><li style="margin-left:15px"><strong>Network tuning:</strong> After adjusting <code>net.ipv4.udp_mem</code> (three times larger than default), packet loss improved, but it still persists.<pre style="text-wrap-mode: wrap;"><div><div dir="ltr"><code>sysctl -w net.ipv4.udp_mem="9217055 12289407 18434106"
</code></div></div></pre></li></ol><h3>Assistance Requested:</h3><p>I would appreciate any suggestions from the community on how to resolve this issue effectively. If anyone has faced similar challenges, your insights would be especially valuable.</p><p>Thank you for your time and assistance. I look forward to your responses.</p><p>Best regards</p></div>