<div dir="ltr">:-)  Found them. <div><br></div><div>Many thanks to Chris Horn. </div><div><br></div><div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div><div><div dir="ltr"><font face="times new roman, serif"><span><span style="color:rgb(0,0,0)">---------------------------------------------------------------------------------------</span><br style="color:rgb(0,0,0)"><span style="color:rgb(0,0,0)">Utane Sawangwit, PhD.</span><br style="color:rgb(0,0,0)"><span style="color:rgb(0,0,0)">Research Astronomer</span><br style="color:rgb(0,0,0)"><span style="color:rgb(0,0,0)">National Astronomical Research Institute of Thailand (NARIT)</span><br style="color:rgb(0,0,0)"></span><font color="#000000">Sirindhon AstroPark, 260, Mue 4, Donkaew</font></font></div><div dir="ltr"><font face="times new roman, serif"><font color="#000000">Mae-Rim, Chiang Mai, 50180, Thailand</font></font><div><font face="times new roman, serif"><span><span style="color:rgb(0,0,0)">----------------------------------------------------------------------------------------</span><br style="color:rgb(0,0,0)"><span style="color:rgb(0,0,0)">ดร. อุเทน แสวงวิทย์</span><br style="color:rgb(0,0,0)"></span><span style="color:rgb(0,0,0)">นักวิจัยชำนาญการ</span><span><br style="color:rgb(0,0,0)"><span style="color:rgb(0,0,0)">สถาบันวิจัยดาราศาสตร์แห่งชาติ(องค์การมหาชน)</span><br style="color:rgb(0,0,0)"></span><font color="#000000">อุทยานดาราศาสตร์สิรินธร 260 หมู่ 4 ต.ดอนแก้ว</font></font></div><div><font face="times new roman, serif"><font color="#000000">อ.แม่ริม จ.เชียงใหม่ 50180</font></font></div><div><span><font face="times new roman, serif"><span style="color:rgb(0,0,0)">---------------------------------------------------------------------------------------</span></font><br></span></div><div><span><font face="times new roman, serif"><span style="color:rgb(0,0,0)"><br></span></font></span></div></div></div></div><div><div></div></div></div></div></div></div></div></div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 26 Jul 2019 at 10:09, Chris Horn <<a href="mailto:hornc@cray.com">hornc@cray.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div class="gmail-m_623527356069257939WordSection1">
<p class="MsoNormal">The stats files are in /sys/kernel/debug. Elevated privileges are required to read them. See <a href="https://jira.whamcloud.com/browse/LU-11850" target="_blank">https://jira.whamcloud.com/browse/LU-11850</a><br>
<br>
# find /sys/kernel/debug/lustre -name stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/services/ldlm_canceld/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/services/ldlm_cbd/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0001-osc-MDT0000/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0000-osc-MDT0000/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0001-osc-ffff92312e7e2800/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-OST0000-osc-ffff92312e7e2800/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-mdc-ffff92312e7e2800/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-OST0001/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/filter-lustre-OST0001_UUID/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-OST0000/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/filter-lustre-OST0000_UUID/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/lustre-MDT0000-lwp-MDT0000/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/mdt-lustre-MDT0000_UUID/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/MGC192.168.2.30@tcp/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ldlm/namespaces/MGS/pool/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/llite/lustre-ffff92312e7e2800/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mdc/lustre-MDT0000-mdc-ffff92312e7e2800/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_out/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_seq/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_io/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost_create/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/ost/OSS/ost/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osc/lustre-OST0001-osc-ffff92312e7e2800/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osc/lustre-OST0000-osc-ffff92312e7e2800/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-OST0001/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-OST0000/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/lwp/lustre-MDT0000-lwp-MDT0000/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osp/lustre-OST0001-osc-MDT0000/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/osp/lustre-OST0000-osc-MDT0000/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_io/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_fld/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_seqm/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_seqs/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_out/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_setattr/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt_readpage/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mds/MDS/mdt/stats<u></u><u></u></p>
<p class="MsoNormal">/sys/kernel/debug/lustre/mgs/MGS/mgs/stats<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Chris Horn<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(181,196,223);padding:3pt 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black">From: </span></b><span style="font-size:12pt;color:black">lustre-discuss <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> on behalf of U Sawangwit <<a href="mailto:u.sawangwit@gmail.com" target="_blank">u.sawangwit@gmail.com</a>><br>
<b>Date: </b>Thursday, July 25, 2019 at 9:58 PM<br>
<b>To: </b>"Degremont, Aurelien" <<a href="mailto:degremoa@amazon.com" target="_blank">degremoa@amazon.com</a>><br>
<b>Cc: </b>"<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>" <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br>
<b>Subject: </b>Re: [lustre-discuss] osc and llite stats files are not exported to clients<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<div>
<div>
<div>
<p class="MsoNormal">Hi  <u></u><u></u></p>
<div>
<p class="MsoNormal">  <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">    Thank you very much for your reply.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I looked in the /sys but also did not find the osc/*/stats or llite/*/stats files. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I understand what you are saying about the lctl becoming the new standard way.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">But I just want to make sure that this is not due to sth. wrong with my system or setup.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">FYI, I am using CentOS 7.6 kernel 3.10.0-957.el7.x86_64 and *_lustre* for my clients and <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">lustre servers with Lustre version 2.12.0 using IB FDR as the LNET.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Would the missing stats files in /sys/fs/lustre or /proc/fs/lustre considered normal?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"> Any monitoring tool you would suggest to use instead of lustre gmond_python_modules in order <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">to avoid reading stats files? My initial review of LMT3 also indicate that it too reading data from <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">stats file rather than using lctl. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Cheers,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Utane<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">  <u></u><u></u></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------<br>
Utane Sawangwit, PhD.<br>
Research Astronomer<br>
National Astronomical Research Institute of Thailand (NARIT)<br>
Sirindhon AstroPark, 260, Mue 4, Donkaew</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">Mae-Rim, Chiang Mai, 50180, Thailand</span>
<u></u><u></u></p>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">----------------------------------------------------------------------------------------<br>
</span><span style="font-family:Tahoma,sans-serif;color:black">ดร</span><span style="font-family:"Times New Roman",serif;color:black">.
</span><span style="font-family:Tahoma,sans-serif;color:black">อุเทน</span><span style="font-family:"Times New Roman",serif;color:black">
</span><span style="font-family:Tahoma,sans-serif;color:black">แสวงวิทย์</span><span style="font-family:"Times New Roman",serif;color:black"><br>
</span><span style="font-family:Tahoma,sans-serif;color:black">นักวิจัยชำนาญการ</span><span style="font-family:"Times New Roman",serif;color:black"><br>
</span><span style="font-family:Tahoma,sans-serif;color:black">สถาบันวิจัยดาราศาสตร์แห่งชาติ</span><span style="font-family:"Times New Roman",serif;color:black">(</span><span style="font-family:Tahoma,sans-serif;color:black">องค์การมหาชน</span><span style="font-family:"Times New Roman",serif;color:black">)<br>
</span><span style="font-family:Tahoma,sans-serif;color:black">อุทยานดาราศาสตร์สิรินธร</span><span style="font-family:"Times New Roman",serif;color:black"> 260
</span><span style="font-family:Tahoma,sans-serif;color:black">หมู่</span><span style="font-family:"Times New Roman",serif;color:black"> 4
</span><span style="font-family:Tahoma,sans-serif;color:black">ต</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:Tahoma,sans-serif;color:black">ดอนแก้ว</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:Tahoma,sans-serif;color:black">อ</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:Tahoma,sans-serif;color:black">แม่ริม</span><span style="font-family:"Times New Roman",serif;color:black">
</span><span style="font-family:Tahoma,sans-serif;color:black">จ</span><span style="font-family:"Times New Roman",serif;color:black">.</span><span style="font-family:Tahoma,sans-serif;color:black">เชียงใหม่</span><span style="font-family:"Times New Roman",serif;color:black">
 50180</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><span style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Thu, 25 Jul 2019 at 22:05, Degremont, Aurelien <<a href="mailto:degremoa@amazon.com" target="_blank">degremoa@amazon.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-style:none none none solid;border-left-width:1pt;border-left-color:rgb(204,204,204);padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal"><span lang="FR">Lustre is transitionning /proc files to /sys per kernel developer requests.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
<p class="MsoNormal"><span lang="FR">Instead of chasing where these files are located now depending on your Lustre version, 'lctl get_param' is the official way to read them.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="FR">This command will figure out where to properly read the files.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
<div style="border-style:solid none none;border-top-width:1pt;border-top-color:rgb(181,196,223);padding:3pt 0in 0in">
<p class="MsoNormal"><b><span lang="FR" style="font-size:12pt;color:black">De :
</span></b><span lang="FR" style="font-size:12pt;color:black">lustre-discuss <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> au nom de U Sawangwit <<a href="mailto:u.sawangwit@gmail.com" target="_blank">u.sawangwit@gmail.com</a>><br>
<b>Date : </b>jeudi 25 juillet 2019 à 13:15<br>
<b>À : </b>"<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>" <<a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a>><br>
<b>Objet : </b>[lustre-discuss] osc and llite stats files are not exported to clients</span><span lang="FR"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><span lang="FR">Dear all,
<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">   I am having trouble with lustre monitoring using Ganglia gmond_python_modules <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">(<a href="https://github.com/ganglia/gmond_python_modules/tree/master/lustre" target="_blank">https://github.com/ganglia/gmond_python_modules/tree/master/lustre</a>).<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">    Upon closer inspections, I found that the stats files in /proc/fs/lustre/osc/*/<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">and /proc/fs/lustre/llite are missing (among other similar files in these directories). <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">     However, lctl get_param osc.*.stats and lctl get_param llite.*.stats return <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">parameters and values as you would expect. The stats files are what the <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">gmond_python_modules wants hence the problem monitoring with Ganglia. <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">    After many searching around, could not figure out what I could have done to <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">have stats export normally to clients and remounting did not help. On MDS and OSS,<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">I can see the obdfiler/*/export/*/stats or mdt/*/export/*/stats<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">    The lustre manual also said that the exporting of these info to client should be by <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">default.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">  Thank you in advance.<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">Cheers,<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">Utane  <u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR">  <u></u><u></u></span></p>
</div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------<br>
Utane Sawangwit, PhD.<br>
Research Astronomer<br>
National Astronomical Research Institute of Thailand (NARIT)<br>
Sirindhon AstroPark, 260, Mue 4, Donkaew</span><span lang="FR"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">Mae-Rim, Chiang Mai, 50180, Thailand</span><span lang="FR">
<u></u><u></u></span></p>
<div>
<p class="MsoNormal"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">----------------------------------------------------------------------------------------<br>
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">ดร</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">อุเทน</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">แสวงวิทย์</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"><br>
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">นักวิจัยชำนาญการ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"><br>
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">สถาบันวิจัยดาราศาสตร์แห่งชาติ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">(</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">องค์การมหาชน</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">)<br>
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">อุทยานดาราศาสตร์สิรินธร</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"> 260
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">หมู่</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black"> 4
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">ต</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">ดอนแก้ว</span><span lang="FR"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">อ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">แม่ริม</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">จ</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">.</span><span lang="FR" style="font-family:Tahoma,sans-serif;color:black">เชียงใหม่</span><span lang="FR" style="font-family:"Times New Roman",serif;color:black">
 50180</span><span lang="FR"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR" style="font-family:"Times New Roman",serif;color:black">---------------------------------------------------------------------------------------</span><span lang="FR"><u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> <u></u><u></u></span></p>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>