Configure NVMe over roce en el lado del host
La configuración del iniciador NVMe en un entorno roce incluye la instalación y la configuración de los paquetes rdma-Core y nvme-cli, la configuración de direcciones IP del iniciador y la configuración de la capa NVMe-of en el host.
Debe ejecutar el sistema operativo RHEL 7, RHEL 8, RHEL 9, SUSE Linux Enterprise Server 12 o 15 Service Pack más reciente compatible. Consulte "Herramienta de matriz de interoperabilidad de NetApp" para obtener una lista completa de los requisitos más recientes.
-
Instale los paquetes rdma y nvme-cli:
SLES 12 o SLES 15
# zypper install rdma-core # zypper install nvme-cli
-
RHEL 7, RHEL 8 Y RHEL 9*
# yum install rdma-core # yum install nvme-cli
-
-
Para RHEL 8 y RHEL 9, instale los scripts de red:
-
RHEL 8*
# yum install network-scripts
-
RHEL 9*
# yum install NetworkManager-initscripts-updown
-
-
Obtenga el host NQN, que se usarán para configurar el host en una cabina de.
# cat /etc/nvme/hostnqn
-
Configure direcciones IP IPv4 en los puertos ethernet que se utilizan para conectar NVMe over roce. Para cada interfaz de red, cree un script de configuración que contenga las diferentes variables para esa interfaz.
Las variables utilizadas en este paso se basan en el hardware del servidor y el entorno de red. Las variables incluyen la
IPADDR
y..GATEWAY
. Estas son instrucciones de ejemplo para SLES y RHEL:SLES 12 y SLES 15
Cree el archivo de ejemplo
/etc/sysconfig/network/ifcfg-eth4
con el siguiente contenido.BOOTPROTO='static' BROADCAST= ETHTOOL_OPTIONS= IPADDR='192.168.1.87/24' GATEWAY='192.168.1.1' MTU= NAME='MT27800 Family [ConnectX-5]' NETWORK= REMOTE_IPADDR= STARTMODE='auto'
A continuación, cree el archivo de ejemplo
/etc/sysconfig/network/ifcfg-eth5
:BOOTPROTO='static' BROADCAST= ETHTOOL_OPTIONS= IPADDR='192.168.2.87/24' GATEWAY='192.168.2.1' MTU= NAME='MT27800 Family [ConnectX-5]' NETWORK= REMOTE_IPADDR= STARTMODE='auto'
-
RHEL 7 o RHEL 8*
Cree el archivo de ejemplo
/etc/sysconfig/network-scripts/ifcfg-eth4
con el siguiente contenido.BOOTPROTO='static' BROADCAST= ETHTOOL_OPTIONS= IPADDR='192.168.1.87/24’ GATEWAY='192.168.1.1' MTU= NAME='MT27800 Family [ConnectX-5]' NETWORK= REMOTE_IPADDR= STARTMODE='auto'
A continuación, cree el archivo de ejemplo
/etc/sysconfig/network-scripts/ifcfg-eth5
:BOOTPROTO='static' BROADCAST= ETHTOOL_OPTIONS= IPADDR='192.168.2.87/24' GATEWAY='192.168.2.1' MTU= NAME='MT27800 Family [ConnectX-5]' NETWORK= REMOTE_IPADDR= STARTMODE='auto'
-
RHEL 9*
Utilice la
nmtui
herramienta para activar y editar una conexión. A continuación se muestra un archivo de ejemplo/etc/NetworkManager/system-connections/eth4.nmconnection
la herramienta generará:[connection] id=eth4 uuid=<unique uuid> type=ethernet interface-name=eth4 [ethernet] mtu=4200 [ipv4] address1=192.168.1.87/24 method=manual [ipv6] addr-gen-mode=default method=auto [proxy]
A continuación se muestra un archivo de ejemplo
/etc/NetworkManager/system-connections/eth5.nmconnection
la herramienta generará:
[connection] id=eth5 uuid=<unique uuid> type=ethernet interface-name=eth5 [ethernet] mtu=4200 [ipv4] address1=192.168.2.87/24 method=manual [ipv6] addr-gen-mode=default method=auto [proxy]
-
-
Habilite las interfaces de red:
# ifup eth4 # ifup eth5
-
Configure la capa NVMe-of en el host. Cree el siguiente archivo en
/etc/modules-load.d/
para cargar elnvme_rdma
el módulo del kernel y asegúrese de que el módulo del kernel estará siempre encendido, incluso después de un reinicio:# cat /etc/modules-load.d/nvme_rdma.conf nvme_rdma
-
Reinicie el host.
Para comprobar la
nvme_rdma
el módulo del kernel está cargado, ejecute este comando:# lsmod | grep nvme nvme_rdma 36864 0 nvme_fabrics 24576 1 nvme_rdma nvme_core 114688 5 nvme_rdma,nvme_fabrics rdma_cm 114688 7 rpcrdma,ib_srpt,ib_srp,nvme_rdma,ib_iser,ib_isert,rdma_ucm ib_core 393216 15 rdma_cm,ib_ipoib,rpcrdma,ib_srpt,ib_srp,nvme_rdma,iw_cm,ib_iser,ib_umad,ib_isert,rdma_ucm,ib_uverbs,mlx5_ib,qedr,ib_cm t10_pi 16384 2 sd_mod,nvme_core