Yet more information.  Looks like the switch thinks that this could be set to 10Gbps (QDR):<br><br>hpc116:/mnt/SLES11x86_64 # <a href="http://iblinkinfo.pl">iblinkinfo.pl</a> -R | grep -i reshpc116<br>      1   34[  ]  ==( 4X 5.0 Gbps Active /   LinkUp)==>      20    1[  ] "hpc116 HCA-1" (  Could be 10.0 Gbps)<br>
<br>-J<br><br><div class="gmail_quote">On Thu, Feb 11, 2010 at 1:26 PM, Jagga Soorma <span dir="ltr"><<a href="mailto:jagga13@gmail.com">jagga13@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
More information:<br><br>hpc116:/mnt/SLES11x86_64 # lspci | grep -i mellanox<br>10:00.0 InfiniBand: Mellanox Technologies MT26428 [ConnectX IB QDR, PCIe 2.0 5GT/s] (rev a0)<br><br>hpc116:/mnt/SLES11x86_64 # ibstatus<br>Infiniband device 'mlx4_0' port 1 status:<br>

    default gid:     fe80:0000:0000:0000:0002:c903:0006:9109<br>    base lid:     0x14<br>    sm lid:         0x1<br>    state:         4: ACTIVE<br>    phys state:     5: LinkUp<br>    rate:         20 Gb/sec (4X DDR)<br>

<br>Infiniband device 'mlx4_0' port 2 status:<br>    default gid:     fe80:0000:0000:0000:0002:c903:0006:910a<br>    base lid:     0x0<br>    sm lid:         0x0<br>    state:         1: DOWN<br>    phys state:     2: Polling<br>

    rate:         10 Gb/sec (4X)<br><br>hpc116:/mnt/SLES11x86_64 # ibstat<br>CA 'mlx4_0'<br>    CA type: MT26428<br>    Number of ports: 2<br>    Firmware version: 2.6.100<br>    Hardware version: a0<br>    Node GUID: 0x0002c90300069108<br>

    System image GUID: 0x0002c9030006910b<br>    Port 1:<br>        State: Active<br>        Physical state: LinkUp<br>        Rate: 20<br>        Base lid: 20<br>        LMC: 0<br>        SM lid: 1<br>        Capability mask: 0x02510868<br>

        Port GUID: 0x0002c90300069109<br>    Port 2:<br>        State: Down<br>        Physical state: Polling<br>        Rate: 10<br>        Base lid: 0<br>        LMC: 0<br>        SM lid: 0<br>        Capability mask: 0x02510868<br>

        Port GUID: 0x0002c9030006910a<div><div></div><div class="h5"><br><br><br><div class="gmail_quote">On Thu, Feb 11, 2010 at 1:21 PM, Jagga Soorma <span dir="ltr"><<a href="mailto:jagga13@gmail.com" target="_blank">jagga13@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
Hi Guys,<br><br>Wanted to give a bit more information.  So for some reason the transfer rates on my ib interfaces are autonegotiating at 20Gb/s (4X DDR).  However, these are QDR HCA's.<br><br>Here is the hardware that I have:<br>


<br>HP IB 4X QDR PCI-e G2 Dual Port HCA<br>HP 3M 4X DDR/QDR QSFP IB Cu Cables<br>Qlogic 12200 QDR switch<br><br>I am using all the lustre provided rpms on my servers (RHEL 5.3) and clients (SLES 11).  All my servers in this cluster are auto negotiating to 20Gb/s (4X DDR) which should be 40Gb/s (4X QDR).<br>


<br>Are any others out there using QDR?  If so, did you run into anything similar to this?  Is there any specific configuration that is needed for the servers to detect the higher rates.<br><br>Thanks in advance for your assistance.<br>

<font color="#888888">
<br>-J<br>
</font></blockquote></div><br>
</div></div></blockquote></div><br>