<div dir="ltr">Thanks a lot for guidance, I wl kick the installation in 1-2 days.<div><br></div><div>/Zee</div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, Jun 27, 2018 at 2:16 AM Cowe, Malcolm J <<a href="mailto:malcolm.j.cowe@intel.com">malcolm.j.cowe@intel.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-AU" link="blue" vlink="purple">
<div class="m_-1781364149798818718WordSection1">
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">You can create pools and format the storage on a single node, provided that the correct `--servicenode` parameters are applied to the format command (i.e. the NIDs
 for each OSS in the HA pair). Then export half of the ZFS pools from the first node and import them to the other node.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">There is some documentation that describes the process here:<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Category:Lustre_Systems_Administration" target="_blank">http://wiki.lustre.org/Category:Lustre_Systems_Administration</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">This includes sections on HA with Pacemaker:<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Managing_Lustre_as_a_High_Availability_Service" target="_blank">http://wiki.lustre.org/Managing_Lustre_as_a_High_Availability_Service</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Creating_a_Framework_for_High_Availability_with_Pacemaker" target="_blank">http://wiki.lustre.org/Creating_a_Framework_for_High_Availability_with_Pacemaker</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Lustre_Server_Fault_Isolation_with_Pacemaker_Node_Fencing" target="_blank">http://wiki.lustre.org/Lustre_Server_Fault_Isolation_with_Pacemaker_Node_Fencing</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Creating_Pacemaker_Resources_for_Lustre_Storage_Services" target="_blank">http://wiki.lustre.org/Creating_Pacemaker_Resources_for_Lustre_Storage_Services</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">For OSD and OSS stuff:<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/ZFS_OSD_Storage_Basics" target="_blank">http://wiki.lustre.org/ZFS_OSD_Storage_Basics</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Introduction_to_Lustre_Object_Storage_Devices_(OSDs)" target="_blank">http://wiki.lustre.org/Introduction_to_Lustre_Object_Storage_Devices_(OSDs)</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><a href="http://wiki.lustre.org/Creating_Lustre_Object_Storage_Services_(OSS)" target="_blank">http://wiki.lustre.org/Creating_Lustre_Object_Storage_Services_(OSS)</a><u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">There are also sections that cover the MGT and MDTs.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<div>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040">Malcolm.<u></u><u></u></span></p>
</div>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-family:"Arial",sans-serif;color:#000040"><u></u> <u></u></span></p>
<div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal" style="margin-left:36.0pt"><b><span style="font-size:12.0pt;color:black">From:
</span></b><span style="font-size:12.0pt;color:black">lustre-discuss <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> on behalf of Zeeshan Ali Shah <<a href="mailto:javaclinic@gmail.com" target="_blank">javaclinic@gmail.com</a>><br>
<b>Date: </b>Wednesday, 27 June 2018 at 1:53 am<br>
<b>To: </b>Lustre discussion <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br>
<b>Subject: </b>Re: [lustre-discuss] ZFS based OSTs need advice<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">Our OST are based on supermicro <span style="font-family:"Verdana",sans-serif;color:black">SSG-J4000-LUSTRE-OST , it is a kind of JBOD. </span>
<u></u><u></u></p>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><span style="font-family:"Verdana",sans-serif;color:black"><br>
<br>
</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><span style="font-family:"Verdana",sans-serif;color:black">all 360 Disks (90 disks x4 OST) appear in /dev/disk in both OSS1 and OSS2 . </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><span style="font-family:"Verdana",sans-serif;color:black">My idea is to create zfspool of Raidz2 (9+2 spare) which means arround 36 zfspools will be created  . </span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><span style="font-family:"Verdana",sans-serif;color:black">Q1) Out of 36 zfs pools shall i create all of 36 Pools in OSS1 ?  in this case those pools can only be imported in OSS1 not in OSS2 how to gain HA /active/active
 here=</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><span style="font-family:"Verdana",sans-serif;color:black">Q2)  2nd option is to create  18 zfspools in OSS1 and 18 in OSS2 ? later in mkfs.luster specify oss1 as primary and oss2 in secondary (execute it in oss1)
 and 2nd time execute same command on oss2 and make oss2 primary and oss1 secondary .</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">does it make sense ? am i missing some thing <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">Thanks a lot<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">/Zee<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
</div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">On Tue, Jun 26, 2018 at 5:38 PM, Dzmitryj Jakavuk <<a href="mailto:dzmitryj@gmail.com" target="_blank">dzmitryj@gmail.com</a>> wrote:<u></u><u></u></p>
<blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<p class="MsoNormal" style="margin-left:36.0pt">Hello<br>
<br>
You can share 4 osts between pair of oss making 2 osts imported into one oss and 2 osts into other oss.  At the same time hdds need to be shared between all oss. So in normal conditions  1 oss will import 2 ost and the second oss will import   Other 2
<a href="http://osts.in" target="_blank">osts.in</a> case of ha single oss can import all 4osts<br>
<br>
Kind Regards<br>
<span class="m_-1781364149798818718hoenzb"><span style="color:#888888">Dzmitryj Jakavuk</span></span><u></u><u></u></p>
<div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt"><br>
> On Jun 26, 2018, at 16:02, Zeeshan Ali Shah <<a href="mailto:javaclinic@gmail.com" target="_blank">javaclinic@gmail.com</a>> wrote:<br>
> <br>
> We have 2 OSS with 4 OST shared . Each OST has 90 Disk so total 360 Disks . <br>
> <br>
> I am in phase of installing 2OSS as active/active but as zfs pools can only be imported in single OSS host in this case how to achieve active/active HA ?<br>
> As what i read is that for active/active both HA hosts should have access to a same sets of disks/volumes.
<br>
> <br>
> any advice ?<br>
> <br>
> <br>
> /Zeeshan<br>
> <br>
> <br>
> <u></u><u></u></p>
</div>
</div>
<div>
<div>
<p class="MsoNormal" style="margin-left:36.0pt">> _______________________________________________<br>
> lustre-discuss mailing list<br>
> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
> <a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" target="_blank">
http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal" style="margin-left:36.0pt"><u></u> <u></u></p>
</div>
</div>
</div>

</blockquote></div>