<div dir="ltr"><br><div><br></div><div>We have Lustre <- HSM -> S3 </div><div><br></div><div>We have direct modifications to S3 that occur after the Lustre filesystem is created </div><div>I was  wondering if there is any way to register a new/deleted file at the Lustre level using HSM or other commands</div><div><br></div><div>Say a user uploads a file to S3, and I know  the mapped path in Lustre, </div><div>I would like to do </div><div>lfs hsm_register /path/to/file/in/S3/     # Create a metadata entry in Lustre </div><div>lfs hsm_restore /path/to/file/in/S3       # Fetch file from S3 into Lustre</div><div><br></div><div>Thx</div><div><br></div><div><br></div><div><br></div><div> </div><div> </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jan 7, 2020 at 8:04 AM Colin Faber <<a href="mailto:cfaber@gmail.com">cfaber@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Can you provide an example of what you're attempting to accomplish?  Am I understanding correctly, that you've got a lustre file system, you're then writing data into this file system? <br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 6, 2020 at 10:02 PM Kristian Kvilekval <<a href="mailto:kris@viqi.org" target="_blank">kris@viqi.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>We are using Lustre on AWS backed by S3 buckets. <br></div><div><div>When creating a new Lustre filesystem, S3 metadata can be automatically imported  into Lustre.  When changes occur to the underlying S3 store, these changes are not automatically reflected.</div><div><br></div><div>Is it possible to indicate the creation / deletion of the underlying S3 files after filesystem creation using HSM?</div><div>Is it possible to reimport the underlying metadata after creation?<br></div><div><div><div></div></div></div><div><br></div><div>Any pointers appreciated.</div><div><br></div><div>Thanks,</div><div>Kris</div><div><br></div>-- <br><div dir="ltr">Kris Kvilekval, Ph.D.<br>ViQi Inc<br>(805)-699-6081</div></div></div>
_______________________________________________<br>
lustre-discuss mailing list<br>
<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
<a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
</blockquote></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature">Kris Kvilekval, Ph.D.<br>ViQi Inc<br>(805)-699-6081</div>