<div dir="ltr">MDS always works on small fragmented metadata. OSS is generally works with big stream of file contents contents. This leads to general rule of fast clock for MDS, large cache and many cores for OSS.</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">2019년 7월 6일 (토) 오전 12:04, Simon Legrand <<a href="mailto:simon.legrand@inria.fr">simon.legrand@inria.fr</a>>님이 작성:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div id="gmail-m_4923455733467693652zimbraEditorContainer" style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)" class="gmail-m_492345573346769365233"><div>Thanks a lot for your advice. Beyond the fact that ZFS requires more ressources, is it a general rule to privilege frequency over cores for a MDS and inverse for the OSS?  <br></div><div><br></div><div>Simon<br></div><div><br></div><hr id="gmail-m_4923455733467693652zwchr"><div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><b>De: </b>"Jeff Johnson" <<a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a>><br><b>À: </b>"Simon Legrand" <<a href="mailto:simon.legrand@inria.fr" target="_blank">simon.legrand@inria.fr</a>><br><b>Cc: </b>"lustre-discuss" <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br><b>Envoyé: </b>Jeudi 4 Juillet 2019 22:43:21<br><b>Objet: </b>Re: [lustre-discuss] Frequency vs Cores for OSS/MDS processors<br></blockquote></div><div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><div><div dir="auto">If you only have those two processor models to choose from I’d do the 5217 for MDS and 5218 for OSS. If you were using ZFS for a backend definitely the 5218 for the OSS. With ZFS your processors are also your RAID controller so you have the disk i/o, parity calculation, checksums and ZFS threads on top of the Lustre i/o and OS processes. </div></div><div dir="auto"><br></div><div dir="auto">—Jeff</div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 4, 2019 at 13:30 Simon Legrand <<a href="mailto:simon.legrand@inria.fr" target="_blank">simon.legrand@inria.fr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div>Hello Jeff,<br></div><br><div>Thanks for your quick answer. We plan to use ldiskfs, but I would be interested to know what could fit for zfs.<br></div><br><div>Simon<br></div><br><hr id="gmail-m_4923455733467693652m_6970268070397042574zwchr"></div></div><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><b>De: </b>"Jeff Johnson" <<a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a>><br><b>À: </b>"Simon Legrand" <<a href="mailto:simon.legrand@inria.fr" target="_blank">simon.legrand@inria.fr</a>><br><b>Cc: </b>"lustre-discuss" <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br><b>Envoyé: </b>Jeudi 4 Juillet 2019 20:40:40<br><b>Objet: </b>Re: [lustre-discuss] Frequency vs Cores for OSS/MDS processors<br></blockquote></div><div><blockquote style="border-left:2px solid rgb(16,16,255);margin-left:5px;padding-left:5px;color:rgb(0,0,0);font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><div><div dir="auto">Simon,</div></div><div dir="auto"><br></div><div dir="auto">Which backend do you plan on using? ldiskfs or zfs?</div><div dir="auto"><br></div><div dir="auto">—Jeff</div><div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 4, 2019 at 10:41 Simon Legrand <<a href="mailto:simon.legrand@inria.fr" target="_blank">simon.legrand@inria.fr</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><div>Dear all,<br></div><br><div>We are currently configuring a Lustre filesystem and facing a dilemma. We have the choice between two types of processors for an OSS and a MDS.<br></div><div>- Intel Xeon Gold 5217 3GHz, 11M Cache,10.40GT/s, 2UPI, Turbo, HT,8C/16T (115W) - DDR4-2666<br></div><div>- Intel Xeon Gold 5218 2.3GHz, 22M Cache,10.40GT/s, 2UPI, Turbo, HT,16C/32T (105W) - DDR4-2666<br></div><br><div>Basically, we have to choose between freequency and number of cores.<br></div><div>Our current architecture is the following:<br></div><div>- 1MDS with 11To SDD<br></div><div>- 3 OSS/OST (~ 3*80To)</div><div>Our final target is 6 OSS/OST with a single MDS.<br></div><div>Do anyone of you could help us to choose and explain us the reasons?<br></div><br><div>Best regards,<br></div><br><div>Simon<br></div></div></div>_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail-m_4923455733467693652m_6970268070397042574gmail_signature"><div dir="ltr"><div><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: 858-412-3810 x1001   f: 858-412-3845<br>m: 619-204-9061<br><br><a href="https://www.google.com/maps/search/4170+Morena+Boulevard,+Suite+C+-+San+Diego,+CA+92117?entry=gmail&source=g" target="_blank">4170 Morena Boulevard, Suite C - San Diego, CA 92117</a><br><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div></div></div><br></blockquote></div></div></div></blockquote></div></div>-- <br><div dir="ltr" class="gmail-m_4923455733467693652gmail_signature"><div dir="ltr"><div><div dir="ltr">------------------------------<br>Jeff Johnson<br>Co-Founder<br>Aeon Computing<br><br><a href="mailto:jeff.johnson@aeoncomputing.com" target="_blank">jeff.johnson@aeoncomputing.com</a><br><a href="http://www.aeoncomputing.com" target="_blank">www.aeoncomputing.com</a><br>t: 858-412-3810 x1001   f: 858-412-3845<br>m: 619-204-9061<br><br>4170 Morena Boulevard, Suite C - San Diego, CA 92117<br><div>High-Performance Computing / Lustre Filesystems / Scale-out Storage</div></div></div></div></div><br></blockquote></div></div></div>_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><font face="'courier new', monospace">Jongwoo Han</font><div><font face="'courier new', monospace">+82-505-227-6108</font></div></div>