<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-CA" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Hello Lustre users and developers,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">We have a problem installing the Lustre client RPMs for Infiniband on our compute nodes (we haven't tried on the server yet). It seems that when installing lustre-client RPM, one of its
 indirect dependency, kmod-mlnx-ofa_kernel, conflicts with the already installed MOFED RPM: mlnx-ofa_kernel-modules. The conflicting files are 42 .ko kernel module files (see below). Note that both RPMs seems to install more or less the same .ko files.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">We don't understand why this is happening. We chose on purpose a compatible and recommended set of packages. Also just before having this problem, the CentOS upgrade (form 7.8 to 7.9),
 the MOFED upgrade (from 4.9-0.1.7.0 to 4.9.2.2.4.0) and the ConnectX-5 firmware update all went smoothly. Moreover after these upgrade but prior to trying to install Lustre client we tested our Infiniband interface and it was working well. Here are some details:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   Versions:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">     Lustre: 2.12.6                       (released 10 days ago)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">     MOFED:  4.9.2.2.4.0                  (the corresponding MOFED)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">     Linux:  CentOS 7.9                   (latest packages except for the kernel)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">     kernel: 3.10.0-1160.2.1.el7.x86_64   (a client primary unpatched kernel built and tested during Lustre release cycle)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   RPM source:   https://downloads.whamcloud.com/public/lustre/lustre-2.12.6-ib/MOFED-4.9-2.2.4.0/el7.9.2009/client/RPMS/x86_64/<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   Changelog:    https://git.whamcloud.com/?p=fs/lustre-release.git;a=blob_plain;f=lustre/ChangeLog;hb=ec36abd2f922eaf35ba412afd3368767b0fb2f26<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   Conflicting RPMs:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">      already installed from MOFED:  mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">      from Lustre:                   kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Previously we were running Lustre 2.12.5 with MOFED 4.9-0.1.7.0, CentOS 7.8 with kernel 3.10.0-1127.19.1.el7.x86_64 on clients and 3.10.0-1127.8.2.el7_lustre.x86_64 on the server (RPMs
 from whamcloud). With this previous configuration, everything was working well.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">One interesting thing to note is that with this previous configuration the corresponding mlnx-ofa_kernel-modules and kmod-mlnx-ofa_kernel RPMs were both installed we were NOT conflicting.
 Exact name of RPMs:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   mlnx-ofa_kernel-modules-4.9-OFED.4.9.0.1.7.1.gd3d963b.kver.3.10.0_1127.19.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">   kmod-mlnx-ofa_kernel-4.9-OFED.4.9.0.1.7.1.gd3d963b.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">So why are they now conflicting with Lustre 2.12.6 ?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Thanks a lot,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Martin Audet<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Research Officer, Simulation and Numerical Modeling<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Automotive and Surface Transportation<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">National Research Council Canada / Government of Canada<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">martin.audet@cnrc-nrc.gc.ca / Tel: 450-641-5034<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">Agent de Recherches, Simulation et modélisation numérique<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">Automobile et transport de surface<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">Conseil national de recherches Canada  / Gouvernement du Canada<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">martin.audet@cnrc-nrc.gc.ca / Tél. : 450-641-5034<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">[root@cn22 ~]# yum --nogpgcheck --enablerepo=lustre-client install lustre-client<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Loaded plugins: fastestmirror<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Loading mirror speeds from cached hostfile<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">centos-sclo-rh                                                                                     | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">centos-sclo-sclo                                                                                   | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">local-base                                                                                         | 3.6 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">local-centosplus                                                                                   | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">local-epel                                                                                         | 3.6 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">local-extras                                                                                       | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">local-updates                                                                                      | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">lustre-client                                                                                      | 2.9 kB  00:00:00    
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Resolving Dependencies<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Running transaction check<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">---> Package lustre-client.x86_64 0:2.12.6-1.el7 will be installed<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: kmod-lustre-client = 2.12.6 for package: lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Running transaction check<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">---> Package kmod-lustre-client.x86_64 0:2.12.6-1.el7 will be installed<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_set_reuseaddr) = 0x9ac3d1cf for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_resolve_route) = 0x66c72e40 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_resolve_addr) = 0x00abdf54 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_reject) = 0xc536b1f5 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_notify) = 0x3fdc2049 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_listen) = 0xa869e632 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_disconnect) = 0xfc1850f9 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_destroy_qp) = 0x3528e759 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_destroy_id) = 0x5c0e789f for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_create_qp) = 0x2ca71364 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_connect) = 0x0fbc2efd for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(rdma_bind_addr) = 0x67a68dd9 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_modify_qp) = 0x17d48237 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_map_mr_sg) = 0x502a2644 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_get_dma_mr) = 0xa66603df for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_fmr_pool_unmap) = 0xf6fc1550 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_fmr_pool_map_phys) = 0x7f71f47d for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_destroy_cq_user) = 0x792ee35f for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_dereg_mr_user) = 0xc577617c for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_dealloc_pd_user) = 0xc63f60d9 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_create_fmr_pool) = 0xf3f8d78e for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(ib_alloc_mr_user) = 0xb4458956 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(backport_dependency_symbol) = 0xb43a926b for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(__rdma_create_id) = 0x1ebc28e7 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(__rdma_accept) = 0x7d900ead for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(__ib_create_cq) = 0x8b2678d2 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Processing Dependency: ksym(__ib_alloc_pd) = 0x0a484884 for package: kmod-lustre-client-2.12.6-1.el7.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Running transaction check<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">---> Package kmod-mlnx-ofa_kernel.x86_64 0:4.9-OFED.4.9.2.2.4.1 will be installed<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">--> Finished Dependency Resolution<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Dependencies Resolved<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">==========================================================================================================================<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Package                           Arch                Version                           Repository                  Size<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">==========================================================================================================================<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">Installing:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR-CA" style="font-family:"Courier New"">lustre-client                     x86_64              2.12.6-1.el7                      lustre-client              657 k<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Installing for dependencies:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">kmod-lustre-client                x86_64              2.12.6-1.el7                      lustre-client              2.2 M<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">kmod-mlnx-ofa_kernel              x86_64              4.9-OFED.4.9.2.2.4.1              lustre-client              1.3 M<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Transaction Summary<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">==========================================================================================================================<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Install  1 Package (+2 Dependent packages)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Total size: 4.1 M<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Installed size: 19 M<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Is this ok [y/d/N]: y<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Downloading packages:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Running transaction check<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Running transaction test<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Transaction check error:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/compat/mlx_compat.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file from package
 mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_cm.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_core.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_ucm.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_umad.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/ib_uverbs.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/iw_cm.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/rdma_cm.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/core/rdma_ucm.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/bnxt_re/bnxt_re.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/cxgb3/iw_cxgb3.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/cxgb4/iw_cxgb4.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/efa/efa.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/hfi1/hfi1.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/i40iw/i40iw.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/ipath/ib_ipath.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/mlx4/mlx4_ib.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/mlx5/mlx5_ib.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/mthca/ib_mthca.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/nes/iw_nes.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/ocrdma/ocrdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/qedr/qedr.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/qib/ib_qib.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/usnic/usnic_verbs.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/hw/vmw_pvrdma/vmw_pvrdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/sw/rdmavt/rdmavt.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/sw/rxe/rdma_rxe.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/ipoib/ib_ipoib.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/iser/ib_iser.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/isert/ib_isert.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/opa_vnic/opa_vnic.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/srp/ib_srp.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/infiniband/ulp/srpt/ib_srpt.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/net/ethernet/mellanox/mlx4/mlx4_core.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/net/ethernet/mellanox/mlx4/mlx4_en.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/net/ethernet/mellanox/mlx5/core/mlx5_core.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64
 conflicts with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/net/ethernet/mellanox/mlxfw/mlxfw.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts
 with file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/nvme/host/nvme-rdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/drivers/nvme/target/nvmet-rdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with
 file from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/net/sunrpc/xprtrdma/rpcrdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/net/sunrpc/xprtrdma/svcrdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">  file /lib/modules/3.10.0-1160.2.1.el7.x86_64/extra/mlnx-ofa_kernel/net/sunrpc/xprtrdma/xprtrdma.ko from install of kmod-mlnx-ofa_kernel-4.9-OFED.4.9.2.2.4.1.x86_64 conflicts with file
 from package mlnx-ofa_kernel-modules-4.9-OFED.4.9.2.2.4.1.kver.3.10.0_1160.2.1.el7.x86_64.x86_64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">Error Summary<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">-------------<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-family:"Courier New"">[root@cn22 ~]#
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
</div>
</body>
</html>