<div dir="ltr">Hi<div><br></div><div>The Compute Canada S3/Ceph copytool was never deployed in production since S3 backed storage was never installed. </div><div>We moved to a tape based system with TSM instead and have been running that copytool on 3 different sites for the past year.</div><div><a href="https://github.com/guilbaults/ct_tsm">https://github.com/guilbaults/ct_tsm</a><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Aug 23, 2020 at 9:34 AM Matt Rásó-Barnett <<a href="mailto:matt@rasobarnett.com">matt@rasobarnett.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Andrew,<br>
<br>
We are using Lemur in production at Cambridge with our Lustre HSM setup, <br>
although in our case we are using the POSIX backend of it rather than <br>
the S3 backend.<br>
<br>
We adopted it early at the time it was being developed under Intel, as <br>
the prospect of commercial support (we were Intel IEEL customers at the <br>
time), and some of the promising features that were being worked on with <br>
it (snapshot versions, checksums, performance), was very enticing.<br>
<br>
But as you've seen, it was a casualty of Intel dropping Lustre, so it's <br>
not being developed any more. We unfortunately don't have the skills or <br>
resources internally to develop it ourselves, so I personally am looking <br>
at how we will transition away from it in the coming months as we <br>
refresh our HSM setup. I may switch back to using the robinhood <br>
developed lhsmtool_cmd with our POSIX backends for example.<br>
<br>
Lemur is largely doing the job for us however, so it reached a decent <br>
stage of development before Intel dropped it, but I still wouldn't <br>
recommend starting with it without someone backing maintenance of it.<br>
<br>
 From speaking with the Amazon representative at last year's LUG, I <br>
understood that they are using Lemur internally for their HSM <br>
integration as well. I had meant to follow up with them to see if they <br>
would consider open-sourcing their fork of the project as to my <br>
knowledge there aren't any other major users of Lemur.<br>
<br>
I'd also be interested as you are in hearing what others are using, <br>
commericial or otherwise. I've never had the feeling that HSM is <br>
particularly widely used so it'd be good to share information for those <br>
of us who are!<br>
<br>
Best wishes,<br>
<br>
Matt<br>
<br>
On Sat, Aug 22, 2020 at 10:54:23PM +1000, Andrew Elwell wrote:<br>
>Hi folks,<br>
>I'm looking round to see what's current / 'supported' / working in the<br>
>state of copytools. Ideally one that can migrate to/from object stores<br>
>(Ceph or S3). The github repo for Lemur<br>
>(<a href="https://github.com/whamcloud/lemur/commits/master" rel="noreferrer" target="_blank">https://github.com/whamcloud/lemur/commits/master</a>) doesn't seem to<br>
>have had any substantial work since it left Intel - unlucky timing<br>
>with the owner shift?<br>
>I've seen another from Compute Canada<br>
>(<a href="https://github.com/ComputeCanada/lustre-obj-copytool" rel="noreferrer" target="_blank">https://github.com/ComputeCanada/lustre-obj-copytool</a>) but that too<br>
>hasn't been touched for years.<br>
><br>
>Anyone care to comment on some working ones? Horror stories? Ones to avoid?<br>
>hey, I'm even (I'll probably regret this) open to _email_ from<br>
>salesdroids if you have a working product and can point me to some<br>
>users (but don't try and phone me or make me sit through a webinar).<br>
><br>
>Many thanks<br>
><br>
><br>
>Andrew<br>
>_______________________________________________<br>
>lustre-discuss mailing list<br>
><a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
><a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div>