Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar RHEL 8.10 para NVMe-oF con almacenamiento ONTAP

10/08/2025 Colaboradores

PDF

Los hosts Red Hat Enterprise Linux (RHEL) admiten los protocolos NVMe sobre canal de fibra (NVMe/FC) y NVMe sobre TCP (NVMe/TCP) con acceso asimétrico al espacio de nombres (ANA). ANA proporciona una funcionalidad de múltiples rutas equivalente al acceso a unidad lógica asimétrica (ALUA) en entornos iSCSI y FCP.

Aprenda a configurar hosts NVMe over Fabrics (NVMe-oF) para RHEL 8.10. Para obtener más información sobre soporte y funciones, consulte"Descripción general de NVME-oF" .

NVMe-oF con RHEL 8.10 tiene las siguientes limitaciones conocidas:

Actualmente no se admite el arranque SAN mediante el protocolo NVMe-oF.
La multiruta NVMe dentro del kernel está deshabilitada de manera predeterminada en los hosts NVMe-oF en RHEL 8.10; debe habilitarla manualmente.
NVMe/TCP está disponible como una versión preliminar de tecnología debido a problemas conocidos.

Paso 1: Opcionalmente, habilite el arranque SAN

Puede configurar su host para utilizar el arranque SAN para simplificar la implementación y mejorar la escalabilidad. Utilice el"Herramienta de matriz de interoperabilidad" para verificar que su sistema operativo Linux, el adaptador de bus de host (HBA), el firmware del HBA, el BIOS de arranque del HBA y la versión de ONTAP admitan el arranque SAN.

Pasos

"Cree un espacio de nombres NVMe y asígnelo al host" .
Habilite el arranque SAN en el BIOS del servidor para los puertos a los que está asignado el espacio de nombres de arranque SAN.

Para obtener información acerca de cómo activar el BIOS HBA, consulte la documentación específica de su proveedor.
Reinicie el host y verifique que el sistema operativo esté funcionando.

Paso 2: Verifique la versión del software y la configuración de NVMe

Verifique que su sistema cumpla con los requisitos de software y verifique las instalaciones de paquetes NVMe y la configuración del host.

Pasos

Instalar RHEL 8.10 en el servidor. Una vez completada la instalación, verifique que esté ejecutando el kernel RHEL 8.10 requerido:
```
uname -r
```
Ejemplo de versión del kernel RHEL:
```
4.18.0-553.el8_10.x86_64
```
Instale el nvme-cli paquete:
```
rpm -qa|grep nvme-cli
```
El siguiente ejemplo muestra una versión del paquete nvme-cli:
```
nvme-cli-1.16-9.el8.x86_64
```
Instale el libnvme paquete:
```
rpm -qa|grep libnvme
```
El siguiente ejemplo muestra una versión del paquete libnvme:
```
libnvme-1.4-3.el8.x86_64
```

Habilitar multivía en el kernel NVMe:

grubby --args=nvme_core.multipath=Y --update-kernel /boot/vmlinuz-4.18.0-553.el8_10.x86_64

En el host RHEL 8.10, verifique la hostnqn cuerda en /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
El siguiente ejemplo muestra una hostnqn versión:
```
nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0032-3410-8035-b8c04f4c5132
```

Verificar que el hostnqn La cadena coincide con la hostnqn cadena para el subsistema correspondiente en el sistema de almacenamiento ONTAP :

::> vserver nvme subsystem host show -vserver vs_fcnvme_141

Muestra el ejemplo

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_25_2742   rhel_101_QLe2772    nqn.2014-08.org.nvmexpress:uuid:546399fc-160f-11e5-89aa-98be942440ca

Si el hostnqn Las cadenas no coinciden, utilice el vserver modify comando para actualizar el hostnqn cadena en el subsistema del sistema de almacenamiento ONTAP correspondiente para que coincida con el hostnqn cadena de /etc/nvme/hostnqn en el host.

Reinicie el host.

Para ejecutar tráfico NVMe y SCSI en el mismo host, NetApp recomienda utilizar la ruta múltiple NVMe en el kernel para espacios de nombres ONTAP y dm-multipath para LUN ONTAP . Para evitar que dm-multipath reclame dispositivos de espacio de nombres ONTAP , exclúyalos agregando el enable_foreign Ajuste a la /etc/multipath.conf archivo:

cat /etc/multipath.conf
defaults {
        enable_foreign     NONE
}

Paso 3: Configurar NVMe/FC y NVMe/TCP

Configure NVMe/FC con adaptadores Broadcom/Emulex o Marvell/QLogic, o configure NVMe/TCP mediante operaciones de descubrimiento y conexión manuales.

FC - Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Pasos

Compruebe que está utilizando el modelo de adaptador admitido:

Mostrar los nombres de los modelos:
```
cat /sys/class/scsi_host/host*/modelname
```
Debe ver la siguiente salida:
```
LPe32002-M2
LPe32002-M2
```
Mostrar las descripciones del modelo:
```
cat /sys/class/scsi_host/host*/modeldesc
```
Debería ver un resultado similar al siguiente ejemplo:

Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:
1. Mostrar la versión del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  El comando devuelve las versiones del firmware:
  14.2.539.21, sli-4:2:c 14.2.539.21, sli-4:2:c
2. Mostrar la versión del controlador de la bandeja de entrada:
  cat /sys/module/lpfc/version
  El siguiente ejemplo muestra una versión del controlador:
  0:14.0.0.21
Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".

Compruebe que lpfc_enable_fc4_type se establece en 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Compruebe que puede ver los puertos de iniciador:
```
cat /sys/class/fc_host/host*/port_name
```
Debería ver un resultado similar a este:
```
0x10000090fae0ec88
0x10000090fae0ec89
```
Compruebe que los puertos de iniciador estén en línea:
```
cat /sys/class/fc_host/host*/port_state
```
Debe ver la siguiente salida:
```
Online
Online
```

Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

cat /sys/class/scsi_host/host*/nvme_info

Muestra el ejemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf044b1 WWNN x200000109bf044b1 DID x022a00 ONLINE
NVME RPORT       WWPN x211ad039eaa7dfc8 WWNN x2119d039eaa7dfc8 DID x021302 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x211cd039eaa7dfc8 WWNN x2119d039eaa7dfc8 DID x020b02 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000001ff Cmpl 00000001ff Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000001330ec7 Issue 0000000001330ec9 OutIO 0000000000000002
        abort 00000330 noxri 00000000 nondlp 0000000b qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000354 Err 00000361

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf044b2 WWNN x200000109bf044b2 DID x021b00 ONLINE
NVME RPORT       WWPN x211bd039eaa7dfc8 WWNN x2119d039eaa7dfc8 DID x022902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x211dd039eaa7dfc8 WWNN x2119d039eaa7dfc8 DID x020102 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000001ff Cmpl 00000001ff Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000012ec220 Issue 00000000012ec222 OutIO 0000000000000002
        abort 0000033b noxri 00000000 nondlp 00000085 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000368 Err 00000382

FC - Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Pasos

Verifique que esté utilizando el controlador del adaptador y las versiones de firmware compatibles:
```
cat /sys/class/fc_host/host*/symbolic_name
```
El siguiente ejemplo muestra las versiones del controlador y del firmware:
```
QLE2742 FW: v9.10.11 DVR: v10.02.08.200-k
QLE2742 FW: v9.10.11 DVR: v10.02.08.200-k
```
Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La salida esperada es 1.

TCP

El protocolo NVMe/TCP no admite la operación de conexión automática. En su lugar, puede descubrir los subsistemas y espacios de nombres NVMe/TCP realizando la prueba NVMe/TCP. connect o connect-all operaciones manualmente.

Pasos

Verifique que el puerto iniciador pueda obtener los datos de la página de registro de descubrimiento a través de los LIF NVMe/TCP compatibles:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme discover -t tcp -w 192.168.2.31 -a 192.168.2.25

Discovery Log Number of Records 8, Generation counter 18
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified.
portid:  0
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.a1b2b785b9de11ee8e7fd039ea9e8ae9:discovery
traddr:  192.168.1.25
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified.
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.a1b2b785b9de11ee8e7fd039ea9e8ae9:discovery
traddr:  192.168.2.26
sectype: none

Compruebe que las otras combinaciones de LIF iniciador-objetivo NVMe/TCP puedan recuperar correctamente los datos de la página del registro de detección:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme  discover  -t  tcp  -w 192.168.2.31  -a 192.168.2.25
nvme  discover  -t  tcp  -w 192.168.1.31  -a 192.168.1.24
nvme  discover  -t  tcp  -w 192.168.2.31  -a 192.168.2.26
nvme  discover  -t  tcp  -w 192.168.1.31  -a 192.168.1.25

Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

nvme connect-all -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme connect-all -t tcp -w 192.168.2.31 -a 192.168.2.25 -l 1800
nvme connect-all -t tcp -w 192.168.1.31 -a 192.168.1.24 -l 1800
nvme connect-all -t tcp -w 192.168.2.31 -a 192.168.2.26 -l 1800
nvme connect-all -t tcp -w 192.168.1.31 -a 192.168.1.25 -l 1800

Paso 4: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Estos pasos no se aplican a los hosts Qlogic NVMe/FC.

Pasos

Defina el lpfc_sg_seg_cnt parámetro en 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Debería ver un resultado similar al siguiente ejemplo:
```
options lpfc lpfc_sg_seg_cnt=256
```
Ejecute dracut -f el comando y reinicie el host.

Compruebe que el valor de lpfc_sg_seg_cnt es 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 5: Validar NVMe-oF

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos

Compruebe que la multivía NVMe en kernel esté habilitada:
```
cat /sys/module/nvme_core/parameters/multipath
```
Debe ver la siguiente salida:
```
Y
```
Compruebe que la configuración NVMe-oF adecuada (como, por ejemplo, el modelo configurado en la controladora NetApp ONTAP y la política de balanceo de carga establecida en round-robin) en los respectivos espacios de nombres de ONTAP se reflejen correctamente en el host:
1. Mostrar los subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Debe ver la siguiente salida:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Mostrar la política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Debe ver la siguiente salida:
```
round-robin
round-robin
```

Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

nvme list

Muestra el ejemplo

Node         SN                   Model
---------------------------------------------------------
/dev/nvme4n1 81Ix2BVuekWcAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

NVMe/FC

nvme list-subsys /dev/nvme0n1

Muestra el ejemplo

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.0cd9ee0dc0ec11ee8e7fd039ea9e8ae9:subsystem.nvme
\
 +- nvme1 fc traddr=nn-0x2005d039eaa7dfc8:pn-0x2086d039eaa7dfc8 host_traddr=nn-0x20000024ff752e6d:pn-0x21000024ff752e6d live non-optimized
 +- nvme2 fc traddr=nn-0x2005d039eaa7dfc8:pn-0x2016d039eaa7dfc8 host_traddr=nn-0x20000024ff752e6c:pn-0x21000024ff752e6c live optimized
 +- nvme3 fc traddr=nn-0x2005d039eaa7dfc8:pn-0x2081d039eaa7dfc8 host_traddr=nn-0x20000024ff752e6c:pn-0x21000024ff752e6c live non-optimized
 +- nvme4 fc traddr=nn-0x2005d039eaa7dfc8:pn-0x2087d039eaa7dfc8 host_traddr=nn-0x20000024ff752e6d:pn-0x21000024ff752e6d live optimized

NVMe/TCP

nvme list-subsys /dev/nvme0n1

Muestra el ejemplo

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.a1b2b785b9de11ee8e7fd039ea9e8ae9:subsystem.nvme_tcp_1
\
 +- nvme0 tcp traddr=192.168.2.26 trsvcid=4420 host_traddr=192.168.2.31 live non-optimized
 +- nvme1 tcp traddr=192.168.2.25 trsvcid=4420 host_traddr=192.168.2.31 live optimized
 +- nvme2 tcp traddr=192.168.1.25 trsvcid=4420 host_traddr=192.168.1.31 live non-optimized
 +- nvme3 tcp traddr=192.168.1.24 trsvcid=4420 host_traddr=192.168.1.31 live optimized

Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

Columna

nvme netapp ontapdevices -o column

Muestra el ejemplo

Device        Vserver       Namespace Path
-----------------------------------------------------
/dev/nvme0n1  tcpiscsi_129  /vol/tcpnvme_1_0_0/tcpnvme_ns



NSID       UUID                                   Size
------------------------------------------------------------
1          05c2c351-5d7f-41d7-9bd8-1a56c	        21.47GB

JSON

nvme netapp ontapdevices -o json

Muestra el ejemplo

{
  "ONTAPdevices": [
    {
      "Device": "/dev/nvme0n1",
      "Vserver": "tcpiscsi_129",
      "Namespace Path”: /vol/tcpnvme_1_0_0/tcpnvme_ns ",
      "NSID": 1,
      "UUID": " 05c2c351-5d7f-41d7-9bd8-1a56c160c80b ",
      "Size2: "21.47GB",
      "LBA_Data_Size": 4096,
      "Namespace Size" : 5242880
    },
  ]
}

Paso 6: Revise los problemas conocidos

Estos son los problemas conocidos:

ID de error de NetApp	Título	Descripción
"1479047"	Los hosts NVMe-oF de RHEL 8.10 crean controladores de descubrimiento persistentes (PDC) duplicados	En los hosts NVMe-oF, puede utilizar el comando "nvme discover -p" para crear PDC. Cuando se utiliza este comando, solo se debe crear un PDC por combinación iniciador-destino. Sin embargo, si está ejecutando RHEL 8.10 en un host NVMe-oF, se crea un PDC duplicado cada vez que se ejecuta "nvme discover -p". Esto genera un uso innecesario de recursos tanto en el host como en el destino.

ID de error de NetApp

Título

Descripción

"1479047"

Los hosts NVMe-oF de RHEL 8.10 crean controladores de descubrimiento persistentes (PDC) duplicados

En los hosts NVMe-oF, puede utilizar el comando "nvme discover -p" para crear PDC. Cuando se utiliza este comando, solo se debe crear un PDC por combinación iniciador-destino. Sin embargo, si está ejecutando RHEL 8.10 en un host NVMe-oF, se crea un PDC duplicado cada vez que se ejecuta "nvme discover -p". Esto genera un uso innecesario de recursos tanto en el host como en el destino.

Configurar RHEL 8.10 para NVMe-oF con almacenamiento ONTAP

Creating your file...

Paso 1: Opcionalmente, habilite el arranque SAN

Paso 2: Verifique la versión del software y la configuración de NVMe

Paso 3: Configurar NVMe/FC y NVMe/TCP

Paso 4: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

Paso 5: Validar NVMe-oF

Paso 6: Revise los problemas conocidos