<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal">The stats files are in /sys/kernel/debug. Elevated privileges are required to read them. See https://jira.whamcloud.com/browse/LU-11850<br>
<br>
# find /sys/kernel/debug/lustre -name stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/services/ldlm_canceld/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/services/ldlm_cbd/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0001-osc-MDT0000/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0000-osc-MDT0000/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0001-osc-ffff92312e7e2800/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0000-osc-ffff92312e7e2800/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-mdc-ffff92312e7e2800/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-OST0001/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/filter-lustre-OST0001_UUID/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-OST0000/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/filter-lustre-OST0000_UUID/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-MDT0000/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/mdt-lustre-MDT0000_UUID/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/MGC192.168.2.30@tcp/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/MGS/pool/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/llite/lustre-ffff92312e7e2800/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mdc/lustre-MDT0000-mdc-ffff92312e7e2800/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_out/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_seq/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_io/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_create/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osc/lustre-OST0001-osc-ffff92312e7e2800/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osc/lustre-OST0000-osc-ffff92312e7e2800/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-OST0001/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-OST0000/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-MDT0000/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osp/lustre-OST0001-osc-MDT0000/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osp/lustre-OST0000-osc-MDT0000/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_io/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_fld/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_seqm/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_seqs/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_out/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_setattr/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_readpage/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt/stats<o:p></o:p></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mgs/MGS/mgs/stats<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Chris Horn<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">lustre-discuss <lustre-discuss-bounces@lists.lustre.org> on behalf of U Sawangwit <u.sawangwit@gmail.com><br>
<b>Date: </b>Thursday, July 25, 2019 at 9:58 PM<br>
<b>To: </b>"Degremont, Aurelien" <degremoa@amazon.com><br>
<b>Cc: </b>"lustre-discuss@lists.lustre.org" <lustre-discuss@lists.lustre.org><br>
<b>Subject: </b>Re: [lustre-discuss] osc and llite stats files are not exported to clients<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<div>
<div>
<p class="MsoNormal">Hi  <o:p></o:p></p>
<div>
<p class="MsoNormal">  <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">    Thank you very much for your reply.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I looked in the /sys but also did not find the osc/*/stats or llite/*/stats files. <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I understand what you are saying about the lctl becoming the new standard way.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">But I just want to make sure that this is not due to sth. wrong with my system or setup.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">FYI, I am using CentOS 7.6 kernel 3.10.0-957.el7.x86_64 and *_lustre* for my clients and <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">lustre servers with Lustre version 2.12.0 using IB FDR as the LNET.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Would the missing stats files in /sys/fs/lustre or /proc/fs/lustre considered normal?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> Any monitoring tool you would suggest to use instead of lustre gmond_python_modules in order <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">to avoid reading stats files? My initial review of LMT3 also indicate that it too reading data from <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">stats file rather than using lctl. <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Cheers,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Utane<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">  <o:p></o:p></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------<br>
Utane Sawangwit, PhD.<br>
Research Astronomer<br>
National Astronomical Research Institute of Thailand (NARIT)<br>
Sirindhon AstroPark, 260, Mue 4, Donkaew</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">Mae-Rim, Chiang Mai, 50180, Thailand</span>
<o:p></o:p></p>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">----------------------------------------------------------------------------------------<br>
</span><span style="font-family:"Tahoma",sans-serif;color:black">ดร</span><span style="font-family:"Times New Roman",serif;color:black">.
</span><span style="font-family:"Tahoma",sans-serif;color:black">อุเทน</span><span style="font-family:"Times New Roman",serif;color:black">
</span><span style="font-family:"Tahoma",sans-serif;color:black">แสวงวิทย์</span><span style="font-family:"Times New Roman",serif;color:black"><br>
</span><span style="font-family:"Tahoma",sans-serif;color:black">นักวิจัยชำนาญการ</span><span style="font-family:"Times New Roman",serif;color:black"><br>
</span><span style="font-family:"Tahoma",sans-serif;color:black">สถาบันวิจัยดาราศาสตร์แห่งชาติ</span><span style="font-family:"Times New Roman",serif;color:black">(</span><span style="font-family:"Tahoma",sans-serif;color:black">องค์การมหาชน</span><span style="font-family:"Times New Roman",serif;color:black">)<br>
</span><span style="font-family:"Tahoma",sans-serif;color:black">อุทยานดาราศาสตร์สิรินธร</span><span style="font-family:"Times New Roman",serif;color:black"> 260
</span><span style="font-family:"Tahoma",sans-serif;color:black">หมู่</span><span style="font-family:"Times New Roman",serif;color:black"> 4
</span><span style="font-family:"Tahoma",sans-serif;color:black">ต</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:"Tahoma",sans-serif;color:black">ดอนแก้ว</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Tahoma",sans-serif;color:black">อ</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:"Tahoma",sans-serif;color:black">แม่ริม</span><span style="font-family:"Times New Roman",serif;color:black">
</span><span style="font-family:"Tahoma",sans-serif;color:black">จ</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:"Tahoma",sans-serif;color:black">เชียงใหม่</span><span style="font-family:"Times New Roman",serif;color:black">
 50180</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Thu, 25 Jul 2019 at 22:05, Degremont, Aurelien <<a href="mailto:degremoa@amazon.com">degremoa@amazon.com</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">Lustre is transitionning /proc files to /sys per kernel developer requests.<o:p></o:p></span></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">Instead of chasing where these files are located now depending on your Lustre version, 'lctl get_param' is the official way to read them.<o:p></o:p></span></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">This command will figure out where to properly read the files.<o:p></o:p></span></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span lang="FR" style="font-size:12.0pt;color:black">De :
</span></b><span lang="FR" style="font-size:12.0pt;color:black">lustre-discuss <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> au nom de U Sawangwit <<a href="mailto:u.sawangwit@gmail.com" target="_blank">u.sawangwit@gmail.com</a>><br>
<b>Date : </b>jeudi 25 juillet 2019 à 13:15<br>
<b>À : </b>"<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>" <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br>
<b>Objet : </b>[lustre-discuss] osc and llite stats files are not exported to clients</span><span lang="FR"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">Dear all,
<o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">   I am having trouble with lustre monitoring using Ganglia gmond_python_modules <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">(<a href="https://github.com/ganglia/gmond_python_modules/tree/master/lustre" target="_blank">https://github.com/ganglia/gmond_python_modules/tree/master/lustre</a>).<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">    Upon closer inspections, I found that the stats files in /proc/fs/lustre/osc/*/<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">and /proc/fs/lustre/llite are missing (among other similar files in these directories). <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">     However, lctl get_param osc.*.stats and lctl get_param llite.*.stats return <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">parameters and values as you would expect. The stats files are what the <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">gmond_python_modules wants hence the problem monitoring with Ganglia. <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">    After many searching around, could not figure out what I could have done to <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">have stats export normally to clients and remounting did not help. On MDS and OSS,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">I can see the obdfiler/*/export/*/stats or mdt/*/export/*/stats<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">    The lustre manual also said that the exporting of these info to client should be by <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">default.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">  Thank you in advance.<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">Cheers,<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">Utane  <o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR">  <o:p></o:p></span></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------<br>
Utane Sawangwit, PhD.<br>
Research Astronomer<br>
National Astronomical Research Institute of Thailand (NARIT)<br>
Sirindhon AstroPark, 260, Mue 4, Donkaew</span><span lang="FR"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">Mae-Rim, Chiang Mai, 50180, Thailand</span><span lang="FR">
<o:p></o:p></span></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">----------------------------------------------------------------------------------------<br>
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">ดร</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">อุเทน</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">แสวงวิทย์</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"><br>
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">นักวิจัยชำนาญการ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"><br>
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">สถาบันวิจัยดาราศาสตร์แห่งชาติ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">(</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">องค์การมหาชน</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">)<br>
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">อุทยานดาราศาสตร์สิรินธร</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"> 260
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">หมู่</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"> 4
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">ต</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">ดอนแก้ว</span><span lang="FR"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">อ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">แม่ริม</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">จ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:"Tahoma",sans-serif;color:black">เชียงใหม่</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
 50180</span><span lang="FR"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------</span><span lang="FR"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span lang="FR"> <o:p></o:p></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</body>
</html>