<div dir="ltr">Hello all,<div><br></div><div>Thanks to the respondents so far! Just a reminder that this survey is available and we are still hoping to get more results. The early data does show that human responses are preferred by almost a 3:1 ratio but there are some LLM responses that are preferred.</div><div><br></div><div>Any time spent helping with this will be repaid by me personally beaming loving kindness into the universe during my next meditation session. Please let me know how many minutes of loving kindness you want beamed.</div><div><br></div><div>Thanks!</div><div><br></div><div>John</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 11, 2024 at 10:05 AM John Bent <<a href="mailto:johnbent@gmail.com">johnbent@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">Dear Lustre Community Members,<br><br> We hope this message finds you well.<br><br>We are a research team from FIU and LANL. Following up on my recent talk at last month’s Lustre User Group (LUG) meeting (<a href="https://www.depts.ttu.edu/hpcc/events/LUG24/slides/Day2/LUG_2024_Talk_09-TASSI_John_Bent_LUG24.pdf" target="_blank">LINK</a>), we are reaching out to invite you to participate in a survey to evaluate the accuracy of Large Language Models (LLMs) in answering questions about Lustre. Your expertise and experience are crucial for assessing how well LLMs compare to human experts within our community.<br><br><div>Here are the details of the survey:<br><ul><li>Number of Questions: 10</li><li>Estimated Completion Time: 15 ~ 30 minutes</li><li>Link: <a href="https://forms.gle/MHEf2FBYTjyRioa16" target="_blank">https://forms.gle/MHEf2FBYTjyRioa16</a></li></ul></div><div>Note: We very much appreciate your time and contribution! Although it would be wonderful if all of you are able to answer all ten questions, we realize that this is a very large request. If you are able to help, please try to respond to at least 3 questions and feel free to select the option “I prefer not to answer” for the others.<br><br>In  this work, our ultimate goal is to improve the ability of local LLMs to help administrators, users, and developers of Lustre. We will publish the anonymized results of this survey back to this mailing list and hope to publish research results in peer-reviewed conferences as well as report back on our progress at future LUGs. Additionally, our work with local LLMs will be done in open source. Finally, we recognize that LLMs are evolving rapidly so we plan to repeat this exercise with other systems such as Ceph as well as repeating this exercise at some point in the future with Lustre. We hope to present results at a future LUG. Although, no future LUG could ever surpass the awesome one just organized by the great folks at Texas Tech, we know that they are all pretty great. :)<br><br></div><div>Thank you for your time and dedication to the Lustre community. Your insights are invaluable, and we eagerly await your input.<br></div><div><br></div><div>In addition to the survey, we welcome any and all feedback on this specific exercise as well as our research in general.</div><div><br></div><div>Thanks,</div><div><br></div><div>Hohnpeng, John, Raju, and Yanzhao</div></div>
</blockquote></div>