<div dir="ltr"><div>Thank you very much, Nate.</div><div><br></div><div>It's works.</div><div><br></div><div>I setup the "max_sectors" parameter to "4096":</div><div><br></div><div><div># cat /etc/modprobe.d/mpt2sas.conf </div><div>options mpt2sas max_sectors=4096</div></div><div><br></div><div>And the bonnie++ tests were sucessfully executed.</div><div><br></div><div>Regards,</div><div>Angelo</div><div class="gmail_extra">
<br><div class="gmail_quote">2016-03-28 19:55 GMT-03:00 Nate Pearlstein <span dir="ltr"><<a href="mailto:darknater@darknater.org" target="_blank">darknater@darknater.org</a>></span>:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">I thought I responded to the entire list but only sent to Angelo,<br>
<span><br>
Very likely, lustre on the oss nodes is setting the max_sectors_kb all the way up to max_hw_sectors_kb and this value ends up being too large for the sas hca.  You should set max_sectors for you mpt2sas to something smaller like 4096, rebuild the initrd and this will put a better limit on max_hw_sectors_kb for the is5600 luns…<br>
<br>
<br>
</span>> On Mar 28, 2016, at 6:51 PM, Dilger, Andreas <<a href="mailto:andreas.dilger@intel.com" target="_blank">andreas.dilger@intel.com</a>> wrote:<br>
<span>><br>
> On 2016/03/28, 08:01, "lustre-discuss on behalf of Angelo Cavalcanti" <<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a><mailto:<a href="mailto:lustre-discuss-bounces@lists.lustre.org" target="_blank">lustre-discuss-bounces@lists.lustre.org</a>> on behalf of <a href="mailto:acrribeiro@gmail.com" target="_blank">acrribeiro@gmail.com</a><mailto:<a href="mailto:acrribeiro@gmail.com" target="_blank">acrribeiro@gmail.com</a>>> wrote:<br>
><br>
><br>
> Dear all,<br>
><br>
> We're having trouble with a lustre 2.5.3 implementation. This is our setup:<br>
><br>
><br>
</span>>  *   One server for MGS/MDS/MDT. MDT is served from a raid-6 backed partition of 2TB (que tipo de hd?)<br>
<span>><br>
> Note that using RAID-6 for the MDT storage will significantly hurt your metadata<br>
> performance, since this will incur a lot of read-modify-write overhead when doing<br>
> 4KB metadata block updates.<br>
><br>
> Cheers, Andreas<br>
> --<br>
> Andreas Dilger<br>
> Lustre Principal Architect<br>
> Intel High Performance Data Division<br>
><br>
><br>
</span>>  *   Two OSS/OST in a active/active HA with pacemaker. Both are connected to a storage via SAS.<br>
><br>
><br>
>  *   One SGI Infinite Storage IS5600 with two raid-6 backed volume groups. Each group has two volumes, each volume has 15TB capacity.<br>
<div><div>><br>
><br>
> Volumes are recognized by OSSs as multipath devices, each voulme has 4 paths. Volumes were created with a GPT partition table and a single partition.<br>
><br>
><br>
> Volume partitions were then formatted as OSTs with the following command:<br>
><br>
><br>
> # mkfs.lustre --replace --reformat --ost --mkfsoptions=" -E stride=128,stripe_width=1024" --mountfsoptions="errors=remount-ro,extents,mballoc" --fsname=lustre1 --mgsnode=10.149.0.153@o2ib1 --index=0 --servicenode=10.149.0.151@o2ib1 --servicenode=10.149.0.152@o2ib1 /dev/mapper/360080e500029eaec0000012656951fcap1<br>
><br>
><br>
> Testing with bonnie++ in a client with the below command:<br>
><br>
> $ ./bonnie++-1.03e/bonnie++ -m lustre1 -d /mnt/lustre -s 128G:1024k -n 0 -f -b -u vhpc<br>
><br>
><br>
> No problem creating files inside the lustre mount point, but *rewriting* the same files results in the errors below:<br>
><br>
><br>
> Mar 18 17:46:13 oss01 multipathd: 8:128: mark as failed<br>
><br>
> Mar 18 17:46:13 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 3<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:0:0: [sdi] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:0:0: [sdi] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:0:0: [sdi] CDB: Read(10): 28 00 00 06 d8 22 00 20 00 00<br>
><br>
> Mar 18 17:46:13 oss01 kernel: __ratelimit: 109 callbacks suppressed<br>
><br>
> Mar 18 17:46:13 oss01 kernel: device-mapper: multipath: Failing path 8:128.<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] CDB: Read(10): 28 00 00 07 18 22 00 18 00 00<br>
><br>
> Mar 18 17:46:13 oss01 kernel: device-mapper: multipath: Failing path 8:192.<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 1:0:1:0: [sdm] CDB: Read(10): 28 00 00 06 d8 22 00 20 00 00<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:1:0: [sde] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:1:0: [sde] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:1:0: [sde] CDB: Read(10): 28 00 00 07 18 22 00 18 00 00<br>
><br>
> Mar 18 17:46:13 oss01 kernel: device-mapper: multipath: Failing path 8:64.<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] CDB: Read(10): 28 00 00 07 18 22 00 18 00 00<br>
><br>
> Mar 18 17:46:13 oss01 kernel: device-mapper: multipath: Failing path 8:0.<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] Unhandled error code<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:13 oss01 kernel: sd 0:0:0:0: [sda] CDB: Read(10): 28 00 00 06 d8 22 00 20 00 00<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: sdi - rdac checker reports path is up<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 8:128: reinstated<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 4<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] Unhandled error code<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] CDB: Read(10): 28 00 00 07 18 22 00 18 00 00<br>
><br>
> Mar 18 17:46:14 oss01 kernel: device-mapper: multipath: Failing path 8:128.<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] Unhandled error code<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] Result: hostbyte=DID_SOFT_ERROR driverbyte=DRIVER_OK<br>
><br>
> Mar 18 17:46:14 oss01 kernel: sd 1:0:0:0: [sdi] CDB: Read(10): 28 00 00 06 d8 22 00 20 00 00<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 8:128: mark as failed<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 3<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 8:192: mark as failed<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 2<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 8:0: mark as failed<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 1<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 8:64: mark as failed<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: Entering recovery mode: max_retries=30<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: remaining active paths: 0<br>
><br>
> Mar 18 17:46:14 oss01 multipathd: 360080e500029eaec0000012656951fca: Entering recovery mode: max_retries=30<br>
><br>
> Mar 18 17:46:19 oss01 multipathd: 360080e500029eaec0000012656951fca: sdi - rdac checker reports path is up<br>
><br>
><br>
> Multipath configuration ( /etc/multipath.conf ) is below, and is correct according to the vendor (SGI).<br>
><br>
><br>
> defaults {<br>
><br>
>       user_friendly_names no<br>
><br>
> }<br>
><br>
><br>
> blacklist {<br>
><br>
>       wwid "*"<br>
><br>
> }<br>
><br>
><br>
> blacklist_exceptions {<br>
><br>
>       wwid "360080e500029eaec0000012656951fca"<br>
><br>
>       wwid "360080e500029eaec0000012956951fcb"<br>
><br>
>       wwid "360080e500029eaec0000012c56951fcb"<br>
><br>
>       wwid "360080e500029eaec0000012f56951fcb"<br>
><br>
> }<br>
><br>
><br>
> devices {<br>
><br>
>      device {<br>
><br>
>        vendor                       "SGI"<br>
><br>
>        product                      "IS.*"<br>
><br>
>        product_blacklist            "Universal Xport"<br>
><br>
>        getuid_callout               "/lib/udev/scsi_id --whitelisted --device=/dev/%n"<br>
><br>
>        prio                         "rdac"<br>
><br>
>        features                     "2 pg_init_retries 50"<br>
><br>
>        hardware_handler             "1 rdac"<br>
><br>
>        path_grouping_policy         "group_by_prio"<br>
><br>
>        failback                     "immediate"<br>
><br>
>        rr_weight                    "uniform"<br>
><br>
>        no_path_retry                30<br>
><br>
>        retain_attached_hw_handler   "yes"<br>
><br>
>        detect_prio                  "yes"<br>
><br>
>        #rr_min_io                   1000<br>
><br>
>        path_checker                 "rdac"<br>
><br>
>        #selector                    "round-robin 0"<br>
><br>
>        #polling_interval            10<br>
><br>
>      }<br>
><br>
> }<br>
><br>
><br>
><br>
> multipaths {<br>
><br>
>       multipath {<br>
><br>
>               wwid "360080e500029eaec0000012656951fca"<br>
><br>
>       }<br>
><br>
>       multipath {<br>
><br>
>               wwid "360080e500029eaec0000012956951fcb"<br>
><br>
>       }<br>
><br>
>       multipath {<br>
><br>
>               wwid "360080e500029eaec0000012c56951fcb"<br>
><br>
>       }<br>
><br>
>       multipath {<br>
><br>
>               wwid "360080e500029eaec0000012f56951fcb"<br>
><br>
>       }<br>
><br>
> }<br>
><br>
><br>
> Many many combinations of OST formating options were tried, internal and external journaling … But the same errors persist.<br>
><br>
><br>
> The same bonnie++ tests were repeated on all volumes of the storage using only ext4, all successful.<br>
><br>
><br>
> Regards,<br>
><br>
> Angelo<br>
</div></div><div><div>> _______________________________________________<br>
> lustre-discuss mailing list<br>
> <a href="mailto:lustre-discuss@lists.lustre.org" target="_blank">lustre-discuss@lists.lustre.org</a><br>
> <a href="http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org" rel="noreferrer" target="_blank">http://lists.lustre.org/listinfo.cgi/lustre-discuss-lustre.org</a><br>
<br>
</div></div></blockquote></div><br></div></div>