<div dir="ltr">G'Day all,<div><br></div><div>I'm trying to get lustre to bind to a 100G Mellanox card shared between VM's but it fails with the following errors in dmeg:</div><div><br></div><div>[  406.474952] Lustre: Lustre: Build Version: 2.15.5<br>[  406.604652] LNetError: 92384:0:(o2iblnd.c:2838:kiblnd_dev_failover()) Failed to bind ens224:10.140.93.72 to device(0000000000000000): -19<br>[  406.604704] LNetError: 92384:0:(o2iblnd.c:3355:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<br>[  407.655888] LNetError: 105-4: Error -100 starting up LNI o2ib<br>[  407.656729] LustreError: 92384:0:(events.c:639:ptlrpc_init_portals()) network initialisation failed<br>[  559.741846] LNetError: 92993:0:(lib-move.c:2255:lnet_handle_find_routed_path()) peer 10.140.93.42@o2ib has no available nets<br>[  594.480161] LNetError: 93225:0:(o2iblnd.c:2838:kiblnd_dev_failover()) Failed to bind ens224:10.140.93.72 to device(0000000000000000): -19<br>[  594.480213] LNetError: 93225:0:(o2iblnd.c:3355:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<br>[  595.498493] LNetError: 105-4: Error -100 starting up LNI o2ib<br>[  707.825127] LNetError: 93691:0:(o2iblnd.c:2838:kiblnd_dev_failover()) Failed to bind ens224:10.140.93.72 to device(0000000000000000): -19<br>[  707.825182] LNetError: 93691:0:(o2iblnd.c:3355:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<br>[  708.843933] LNetError: 105-4: Error -100 starting up LNI o2ib<br>[  789.779769] LNetError: 93930:0:(o2iblnd.c:2838:kiblnd_dev_failover()) Failed to bind ens224:10.140.93.72 to device(0000000000000000): -19<br>[  789.779820] LNetError: 93930:0:(o2iblnd.c:3355:kiblnd_startup()) ko2iblnd: Can't initialize device: rc = -19<br>[  790.828974] LNetError: 105-4: Error -100 starting up LNI o2ib<br>[root@hpc-vm-02 2.15.5]#<br></div><div><br><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>The VM has two network interfaces ens192 and ens224 both are operational with TCP traffic.</div><div><br></div><div>/etc/modprobe.d/lnet.conf</div><div>options lnet networks="o2ib(ens224) 10.140.93.*"</div><div><br></div><div>[root@hpc-vm-02 2.15.5]# lnetctl net add --net o2ib --if ens224<br>add:<br>    - net:<br>          errno: -100<br>          descr: "cannot add network: Network is down"<br>[root@hpc-vm-02 2.15.5]#<br></div><div><br></div><div><br></div><div>Any ideas where I might look? </div><div>Are virtual machines even supported with Lustre</div><div>OS is VMWare 7U3 on HP DL385 with 256 cores and 512GB RAM.</div><div><br></div><div><br></div><div><br></div><div><br></div><div>Sid Young</div><div>W: <a href="https://off-grid-engineering.com" target="_blank">https://off-grid-engineering.com</a></div><div><br></div></div></div></div></div></div></div></div></div></div></div></div>