<html><head><meta http-equiv="Content-Type" content="text/html charset=us-ascii"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">There are several levels of "test framework" that are involved with automated testing of Lustre:<div><ul class="MailOutline"><li>unit tests themselves, written in bash, e.g. sanity 1a</li><li>test-framework.sh & friends, which provides some support/setup/communal library for unit tests</li><li>automated test systems, which automatically execute the unit tests, record and report the results.</li></ul><div><br></div><div>I'm only speaking about the language for the first of these items at the moment.</div><div>For more context, including the motivation for changing things, see my LAD'12 presentation (more narrowly focused) on the <a href="http://www.opensfs.org/foswiki/bin/view/Lustre/TestingImprovements">OpenSFS Wiki</a>.</div><div><br></div><div><br></div><div><div><div><br></div><div>On Oct 25, 2012, at 10:23 AM, Brian Behlendorf <<a href="mailto:behlendorf1@llnl.gov">behlendorf1@llnl.gov</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite">On Wed, 2012-10-24 at 15:05 -0700, Nathan Rutman wrote:<br><blockquote type="cite">On Oct 24, 2012, at 1:02 PM, "Gearing, Chris" <<a href="mailto:chris.gearing@intel.com">chris.gearing@intel.com</a>> wrote:<br><br><blockquote type="cite">Nathan,<br><br>I'm not 100% sure what you are proposing here, your LAD presentation suggested a 'tune-up' of the current test framework rather than a complete re-write. Which of the two are we discussing?<br></blockquote>Both...<br><blockquote type="cite"><br></blockquote>The requirements on the framework language are more relaxed, but for ease of development and developer sanity, I assume that the framework language should match the test language.  So I'm using the test language as the requirements driver, and to gage community preference for that test language.<br></blockquote><br>Before embarking on building yet another new and custom framework for<br>Lustre we should evaluate some existing frameworks.  For example, the<br>Autotest project was specifically designed to test the Linux kernel.<br>It's open source, looks active, is flexible, and there is detailed<br>documentation on how to write tests.  Plus it was designed specifically<br>for testing the kernel so there are likely existing file system tests.<br><br>  <a href="http://autotest.github.com/">http://autotest.github.com/</a><br><br>  "Autotest is a framework for fully automated testing. It is<br>   designed primarily to test the Linux kernel, though it is useful<br>   for many other functions such as qualifying new hardware. It's an<br>   open-source project under the GPL and is used and developed by a<br>   number of organizations, including Google, IBM, Red Hat, and many<br>   others."<br><br><blockquote type="cite">Based on the responses so far, it seems that there is a fairly clear preference for Python as a test language, and so I'll propose that Python should be used shorter-term to start replacing test-framework.<br></blockquote><br>If we decide the Autotest framework is a good fit then we'll want to<br>write the tests in python to be consistent with the framework language.<br>However, for a first cut it looks like you could use the existing bash<br>tests largely unmodified.<br><br>-- <br>Thanks,<br>Brian<br><br>_______________________________________________<br>Lustre-devel mailing list<br><a href="mailto:Lustre-devel@lists.lustre.org">Lustre-devel@lists.lustre.org</a><br>http://lists.lustre.org/mailman/listinfo/lustre-devel<br></blockquote></div><br></div></div></body></html>