Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar RHEL 10.x para NVMe-oF con almacenamiento ONTAP

06/17/2026 Colaboradores

PDF

Los hosts Red Hat Enterprise Linux (RHEL) admiten los protocolos NVMe sobre canal de fibra (NVMe/FC) y NVMe sobre TCP (NVMe/TCP) con acceso asimétrico al espacio de nombres (ANA). ANA proporciona una funcionalidad de múltiples rutas equivalente al acceso a unidad lógica asimétrica (ALUA) en entornos iSCSI y FCP.

Aprenda a configurar hosts NVMe over Fabrics (NVMe-oF) para RHEL 10.x. Para obtener más información sobre asistencia y funciones, consulte "Compatibilidad y características de RHEL ONTAP".

NVMe-oF con RHEL 10.x tiene las siguientes limitaciones conocidas:

El nvme disconnect-all El comando desconecta los sistemas de archivos raíz y de datos y podría provocar inestabilidad del sistema. No emita esto en sistemas que arrancan desde SAN a través de espacios de nombres NVMe-TCP o NVMe-FC.

Paso 1: Opcionalmente, habilite el arranque SAN

Puede configurar su host para utilizar el arranque SAN para simplificar la implementación y mejorar la escalabilidad. Utilice el"Herramienta de matriz de interoperabilidad" para verificar que su sistema operativo Linux, el adaptador de bus de host (HBA), el firmware del HBA, el BIOS de arranque del HBA y la versión de ONTAP admitan el arranque SAN.

Pasos

"Cree un espacio de nombres NVMe y asígnelo al host" .
Habilite el arranque SAN en el BIOS del servidor para los puertos a los que está asignado el espacio de nombres de arranque SAN.

Para obtener información acerca de cómo activar el BIOS HBA, consulte la documentación específica de su proveedor.
Reinicie el host y verifique que el sistema operativo esté funcionando.

Paso 2: Instale el software RHEL y NVMe y verifique su configuración

Para configurar su host para NVMe-oF, debe instalar los paquetes de software de host y NVMe, habilitar rutas múltiples y verificar la configuración NQN de su host.

Pasos

Instalar RHEL 10.x en el servidor. Una vez completada la instalación, verifique que esté ejecutando el kernel RHEL 10.x requerido:
```
uname -r
```
Ejemplo de versión del kernel RHEL:
```
6.12.0-211.7.3.el10_2.x86_64
```
Instale el nvme-cli paquete:
```
rpm -qa|grep nvme-cli
```
El siguiente ejemplo muestra un nvme-cli versión del paquete:
```
nvme-cli-2.16-2.el10.x86_64
```
Instale el libnvme paquete:
```
rpm -qa|grep libnvme
```
El siguiente ejemplo muestra un libnvme versión del paquete:
```
libnvme-1.16.1-3.el10_2.x86_64
```
En el host, verifique la cadena hostnqn en /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
El siguiente ejemplo muestra un hostnqn versión:
```
nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
```

En el sistema ONTAP , verifique que hostnqn La cadena coincide con la hostnqn cadena para el subsistema correspondiente en el sistema de almacenamiento ONTAP :

::> vserver nvme subsystem host show -vserver vs_coexistence_QLE2872

Muestra el ejemplo

Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_QLE2872
               subsystem_1
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
               subsystem_10
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
               subsystem_11
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633

Si el hostnqn Las cadenas no coinciden, utilice el vserver modify comando para actualizar el hostnqn cadena en el subsistema del sistema de almacenamiento ONTAP correspondiente para que coincida con el hostnqn cadena de /etc/nvme/hostnqn en el host.

Paso 3: Configurar NVMe/FC y NVMe/TCP

Configure NVMe/FC con adaptadores Broadcom/Emulex o Marvell/QLogic, o configure NVMe/TCP mediante operaciones de descubrimiento y conexión manuales.

NVMe/FC - Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Pasos

Compruebe que está utilizando el modelo de adaptador admitido:
1. Mostrar los nombres de los modelos:
  cat /sys/class/scsi_host/host*/modelname
  Debe ver la siguiente salida:
  SN1700E2P SN1700E2P
2. Mostrar las descripciones del modelo:
  cat /sys/class/scsi_host/host*/modeldesc
  Debería ver un resultado similar al siguiente ejemplo:
```
HPE SN1700E 64Gb 2p FC HBA
HPE SN1700E 64Gb 2p FC HBA
```
Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:
1. Mostrar la versión del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  El comando devuelve las versiones del firmware:
  14.4.731.5, sli-4:6:d 14.4.731.5, sli-4:6:d
2. Mostrar la versión del controlador de la bandeja de entrada:
  cat /sys/module/lpfc/version
  El siguiente ejemplo muestra una versión del controlador:
  0:14.4.0.12
Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".

Compruebe que lpfc_enable_fc4_type se establece en 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Compruebe que puede ver los puertos de iniciador:
```
cat /sys/class/fc_host/host*/port_name
```
Deberías ver una salida similar a:
```
0x10005ced8c53092a
0x10005ced8c53092a
```
Compruebe que los puertos de iniciador estén en línea:
```
cat /sys/class/fc_host/host*/port_state
```
Debe ver la siguiente salida:
```
Online
Online
```

Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

cat /sys/class/scsi_host/host*/nvme_info

Muestra el ejemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x10005ced8c53092a WWNN x20005ced8c53092a DID x081e00 ONLINE
NVME RPORT       WWPN x2049d039eac0cc5b WWNN x2047d039eac0cc5b DID x082208 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2008d039eac0cc5b WWNN x2007d039eac0cc5b DID x082202 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2009d039eac0cc5b WWNN x2007d039eac0cc5b DID x082602 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2048d039eac0cc5b WWNN x2047d039eac0cc5b DID x08260a TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 0000004553 Cmpl 0000004553 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000578fc29 Issue 000000000578fc8d OutIO 0000000000000064
        abort 00004f7c noxri 00000001 nondlp 000002da qdepth
00000000 wqerr 0000168a err 00000000
FCP CMPL: xb 00005033 Err 0000aa85

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x10005ced8c53092b WWNN x20005ced8c53092b DID x031f00 ONLINE
NVME RPORT       WWPN x204bd039eac0cc5b WWNN x2047d039eac0cc5b DID x03250a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200ad039eac0cc5b WWNN x2007d039eac0cc5b DID x032502 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x204ed039eac0cc5b WWNN x2047d039eac0cc5b DID x03260a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200bd039eac0cc5b WWNN x2007d039eac0cc5b DID x032602 TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 0000004509 Cmpl 0000004509 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000571ddc6 Issue 000000000571de28 OutIO 0000000000000062
        abort 0000421e noxri 00000000 nondlp 00000491 qdepth
00000000 wqerr 00000120 err 00000000
FCP CMPL: xb 00004410 Err 0000995c

NVMe/FC - Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Pasos

Verifique que esté utilizando el controlador del adaptador y las versiones de firmware compatibles:
```
cat /sys/class/fc_host/host*/symbolic_name
```
El siguiente ejemplo muestra las versiones del controlador y del firmware:
```
QLE2872 FW:v9.15.06 DVR:v10.02.10.100-k-debug
QLE2872 FW:v9.15.06 DVR:v10.02.10.100-k-debug
```
Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La salida esperada es 1.

NVMe/TCP

El protocolo NVMe/TCP no admite la operación de conexión automática. En su lugar, puede descubrir los subsistemas y espacios de nombres NVMe/TCP realizando la prueba NVMe/TCP. connect o connect-all operaciones manualmente.

Pasos

Verifique que el puerto iniciador pueda obtener los datos de la página de registro de descubrimiento a través de los LIF NVMe/TCP compatibles:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.26
Discovery Log Number of Records 196, Generation counter 245
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  9
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.21.26
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.20.26
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  11
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.20.27
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4

subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.21.27
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 8======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 9======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 10======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 11======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 12======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 13======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 14======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 15======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 16======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 17======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 18======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 19======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 20======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_2_3
traddr:  192.168.21.26
eflags:  none
sectype: none
…

Verifique que las otras combinaciones de LIF de iniciador-destino NVMe/TCP puedan recuperar correctamente los datos de la página del registro de descubrimiento:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.26
nvme discover -t tcp -w 192.168.21.1 -a 192.168.21.26
nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.27
nvme discover -t tcp -w 192.168.21.1 -a 192.168.21.27

Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

nvme connect-all -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme	connect-all -t	tcp -w	192.168.20.1	-a 192.168.20.26
nvme	connect-all -t	tcp -w	192.168.21.1	-a 192.168.21.26
nvme	connect-all -t	tcp -w	192.168.20.1	-a 192.168.20.27
nvme	connect-all -t	tcp -w	192.168.21.1	-a 192.168.21.27

A partir de RHEL 9.4, la configuración para NVMe/TCP ctrl_loss_tmo timeout se establece automáticamente en "apagado". Como resultado:

No hay límites en el número de reintentos (reintento indefinido).
No es necesario configurar manualmente un elemento específico. ctrl_loss_tmo timeout Duración al utilizar el nvme connect o nvme connect-all comandos (opción -l ).
Los controladores NVMe/TCP no experimentan tiempos de espera en caso de una falla de ruta y permanecen conectados indefinidamente.

Paso 4: Opcionalmente, modifique la iopolicy en las reglas de udev

Cambios en iopolicy para las versiones RHEL 10.x

A partir de RHEL 10.1, la iopolicy por defecto es queue-depth.
En RHEL 10.0, round-robin es la iopolicy por defecto, pero queue-depth está disponible como opción configurable.

Si estás usando RHEL 10.0 y quieres cambiar la iopolicy a queue-depth, modifica el archivo de reglas udev de la siguiente manera:

Pasos

Abra el archivo de reglas de udev en un editor de texto con privilegios de root:
```
/usr/lib/udev/rules.d/71-nvmf-netapp.rules
```
Debe ver la siguiente salida:
```
vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules
```

Busque la línea que establece iopolicy para el controlador NetApp ONTAP , como se muestra en la siguiente regla de ejemplo:

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

Modificar la regla para que round-robin se convierte queue-depth :

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

Recargue las reglas udev y aplique los cambios:

udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

Verifique la iopolicy actual para su subsistema. Reemplace <subsistema>, por ejemplo, nvme-subsys0 .
```
cat /sys/class/nvme-subsystem/<subsystem>/iopolicy
```
Debe ver la siguiente salida:
```
queue-depth.
```

La nueva iopolicy se aplica automáticamente a los dispositivos NetApp ONTAP Controller coincidentes. No es necesario reiniciar.

Paso 5: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Estos pasos no se aplican a los hosts Qlogic NVMe/FC.

Pasos

Defina el lpfc_sg_seg_cnt parámetro en 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Debería ver un resultado similar al siguiente ejemplo:
```
options lpfc lpfc_sg_seg_cnt=256
```
Ejecute dracut -f el comando y reinicie el host.

Compruebe que el valor de lpfc_sg_seg_cnt es 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 6: Verificar los servicios de arranque NVMe

El nvmefc-boot-connections.service y nvmf-autoconnect.service Servicios de arranque incluidos en NVMe/FC nvme-cli Los paquetes se habilitan automáticamente cuando se inicia el sistema.

Una vez finalizado el arranque, verifique que nvmefc-boot-connections.service y nvmf-autoconnect.service Los servicios de arranque están habilitados.

Pasos

Compruebe que nvmf-autoconnect.service está activado:

systemctl status nvmf-autoconnect.service

Muestra el resultado de ejemplo

nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: disabled)
     Active: inactive (dead) since Sun 2026-04-19 02:19:18 EDT; 2 days ago
 Invocation: 4a0dab1649ff454b957224c7fcafbe1d
   Main PID: 9704 (code=exited, status=0/SUCCESS)
   Mem peak: 3M
        CPU: 44ms

Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Starting nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot...
Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Finished nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot.

Compruebe que nvmefc-boot-connections.service está activado:

systemctl status nvmefc-boot-connections.service

Muestra el resultado de ejemplo

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Sun 2026-04-19 02:19:09 EDT; 2 days ago
 Invocation: da450120872f454d8264f1dfa0c646e3
   Main PID: 4277 (code=exited, status=0/SUCCESS)
   Mem peak: 2.9M
        CPU: 15ms

Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Starting nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.
Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Finished nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.

Paso 7: Verificar la configuración de rutas múltiples

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos

Verifique que las configuraciones NVMe-oF adecuadas (por ejemplo, el modelo establecido en NetApp ONTAP Controller y la política de equilibrio de carga establecida en profundidad de cola) para los respectivos espacios de nombres ONTAP se muestren correctamente en el host:
1. Mostrar los subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Debe ver la siguiente salida:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Mostrar la política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Debe ver la siguiente salida:
```
queue-depth
queue-depth
```

Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

nvme list

Muestra el ejemplo

Node                  Generic               SN                   Model
--------------------- --------------------- -------------------- ----------------------------------------
/dev/nvme11n1         /dev/ng11n1           81OcqJXhgWtsAAAAAAAI NetApp ONTAP Controller

Namespace  Usage                      Format           FW Rev
---------- -------------------------- ---------------- --------
0x1        951.90  MB /  21.47  GB    4 KiB +  0 B     9.18.1

Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

nvme list-subsys /dev/<controller_ID>

A partir de ONTAP 9.16.1, NVMe/FC y NVMe/TCP informan todas las rutas optimizadas en los sistemas ASA r2.

NVMe/FC

Los siguientes ejemplos de salida muestran un espacio de nombres alojado en una controladora ONTAP de dos nodos para sistemas AFF, FAS y ASA, y un sistema ASA r2 con NVMe/FC.

Mostrar salida de ejemplo de AFF, FAS y ASA

nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.f7565b15a66911ef9668d039ea951c46:subsystem.nvme 1
hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
\
+- nvme126 fc traddr=nn-0x2036d039ea951c45:pn-0x2038d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c3:pn-0x2100f4c7aa0cd7c3 live optimized
+- nvme176 fc traddr=nn-0x2036d039ea951c45:pn-0x2037d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c2:pn-0x2100f4c7aa0cd7c2 live optimized
+- nvme5 fc traddr=nn-0x2036d039ea951c45:pn-0x2039d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c2:pn-0x2100f4c7aa0cd7c2 live non-optimized
+- nvme71 fc traddr=nn-0x2036d039ea951c45:pn-0x203ad039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c3:pn-0x2100f4c7aa0cd7c3 live non-optimized

Mostrar un ejemplo de salida de ASA r2

nvme-subsys96 - NQN=nqn.1992-08.om.netapp:sn.b351b2b6777b11f0b3c2d039ea5cfc91:subsystem.nvme2 4
hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b581b4-c975-11e6-8425-0894ef31a074
\
+- nvme203 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2015d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
+- nvme25 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2014d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
+- nvme30 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2012d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
+- nvme32 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2013d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized

NVMe/TCP

Los siguientes ejemplos de salida muestran un espacio de nombres alojado en una controladora ONTAP de dos nodos para sistemas AFF, FAS y ASA, y sistemas ASA r2 con NVMe/TCP.

Mostrar salida de ejemplo de AFF, FAS y ASA

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.64e65e6caae711ef9668d039ea951c46:subsystem.nvme4
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-c2c04f444d33
\
 +- nvme102 tcp traddr=192.168.21.20,trsvcid=4420,host_traddr=192.168.21.1,src_addr=192.168.21.1 live non-optimized
 +- nvme151 tcp traddr=192.168.21.21,trsvcid=4420,host_traddr=192.168.21.1,src_addr=192.168.21.1 live optimized
 +- nvme4 tcp traddr=192.168.20.20,trsvcid=4420,host_traddr=192.168.20.1,src_addr=192.168.20.1 live non-optimized
 +- nvme53 tcp traddr=192.168.20.21,trsvcid=4420,host_traddr=192.168.20.1,src_addr=192.168.20.1 live optimized

Mostrar un ejemplo de salida de ASA r2

nvme-subsys6 - NQN= nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidi rectional_DHCP_1_0
hostnqn=nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c
\
+- nvme4 tcp traddr=192.168.20.26,trsvcid=4420,host_traddr=192.168.20.1,src_ addr=192.168.20.1 live optimized
+- nvme5 tcp traddr=192.168.20.27,trsvcid=4420,host_traddr=192.168.20.1,src_ addr=192.168.20.1 live optimized
+- nvme6 tcp traddr=192.168.21.26,trsvcid=4420,host_traddr=192.168.21.1,src_ addr=192.168.21.1 live optimized
+- nvme7 tcp traddr=192.168.21.27,trsvcid=4420,host_traddr=192.168.21.1,src_ addr=192.168.21.1 live optimized

Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

Columna

nvme netapp ontapdevices -o column

Muestra el ejemplo

Device           Vserver                   Subsystem                 Namespace Path
---------------- ------------------------- ------------------------- ------------------
/dev/nvme0n1     linux_tcnvme_iscsi        Bidirectional_DHCP_1_0       tcp_1

NSID UUID                                   Size
---- -------------------------------------- ---------
1    98fdc7cc-1407-11f1-b4eb-d039eac0cc5b   322.12GB

JSON

nvme netapp ontapdevices -o json

Muestra el ejemplo

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme0n1",
      "Vserver":"vs_nvme_sanboot_tcp",
      "Subsystem":"rhel_sanboot_tcp170",
      "Namespace_Path":"tcp_97",
      "NSID":1,
      "UUID":"982c0f2a-6b8b-11f0-a6c0-d039eac03c33",
      "LBA_Size":4096,
      "Namespace_Size":322122547200,
      "UsedBytes":16285069312,
      "Version":"9.18.1"
    }
]
}

Paso 8: Configurar la autenticación segura en banda

La autenticación segura en banda es compatible con NVMe/TCP entre un host RHEL 10.x y un controlador ONTAP .

Cada host o controlador debe estar asociado con un DH-HMAC-CHAP Clave para configurar la autenticación segura. A DH-HMAC-CHAP La clave es una combinación del NQN del host o controlador NVMe y un secreto de autenticación configurado por el administrador. Para autenticar su par, un host o una controladora NVMe deben reconocer la clave asociada con el par.

Pasos

Configure la autenticación segura en banda mediante la CLI o un archivo JSON de configuración. Si necesita especificar diferentes claves dhchap para diferentes subsistemas, debe utilizar un archivo JSON de configuración.

CLI

Configure la autenticación segura en banda mediante la CLI.

Obtenga el NQN del host:
```
cat /etc/nvme/hostnqn
```

Genere la clave dhchap para el host RHEL 10.x.

La siguiente salida describe el gen-dhchap-key parámetros del comando:

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

En el siguiente ejemplo, se genera una clave dhchap aleatoria con HMAC establecido en 3 (SHA-512).

nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:

En la controladora ONTAP, añada el host y especifique ambas claves dhchap:

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

Un host admite dos tipos de métodos de autenticación: Unidireccional y bidireccional. En el host, conéctese a la controladora ONTAP y especifique claves dhchap según el método de autenticación elegido:
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

Valide el nvme connect authentication comando mediante la verificación de las claves dhchap de host y controladora:

Verifique las claves dhchap del host:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

Mostrar ejemplo de salida para una configuración unidireccional

cat /sys/class/nvme-subsystem/nvme-subsys5/nvme*/dhchap_secret
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:

Compruebe las claves dhchap del controlador:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

Mostrar ejemplo de salida para una configuración bidireccional

cat /sys/class/nvme-subsystem/nvme-subsys5/nvme*/dhchap_ctrl_secret
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:

JSON

Cuando hay varios subsistemas NVMe disponibles en el controlador ONTAP , puede utilizar el /etc/nvme/config.json archivo con el nvme connect-all dominio.

Utilice el -o Opción para generar el archivo JSON. Consulte las páginas del manual de NVMe connect-all para obtener más opciones de sintaxis.

Configurar el archivo JSON.

En el siguiente ejemplo, dhchap_key corresponde a dhchap_secret y dhchap_ctrl_key corresponde a dhchap_ctrl_secret .

Muestra el ejemplo

[
  {
    "hostnqn":" nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c",
    "hostid":"44454c4c-5400-1051-8039-c3c04f523034",
    "dhchap_key":" DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ: ",
    "subsystems":[

      {
        "nqn":"nqn.1992-08.com.netapp:sn.5857c8c9b22411f08d0ed039eac03c33:subsystem.Bidi rectional_DHCP_1_0",
        "ports":[

          {
            "transport":"tcp",
            "traddr":"192.168.20.26",
            "host_traddr":"192.168.20.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.20.27",
            "host_traddr":"192.168.20.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.21.26",
            "host_traddr":"192.168.21.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.21.27",
            "host_traddr":"192.168.21.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
          }
        ]
      }
    ]
  }
]

Conéctese a la controladora ONTAP mediante el archivo JSON de configuración:

nvme connect-all -J /etc/nvme/config.json

Muestra el ejemplo

traddr=192.168.20.26 is already connected
traddr=192.168.20.27 is already connected
traddr=192.168.20.26 is already connected
traddr=192.168.20.27 is already connected

Verifique que los secretos dhchap se hayan habilitado para los controladores respectivos de cada subsistema.

Verifique las claves dhchap del host:

cat /sys/class/nvme-subsystem/nvme-subsys4/nvme4/dhchap_secret

El siguiente ejemplo muestra una clave dhchap:

DHHC-1:01:2G7lsg9PMO00h1Wf1g4QtP0XT11kREz0qVuLm2xvZdbaWR/g:

Compruebe las claves dhchap del controlador:
```
cat /sys/class/nvme-subsystem/nvme-subsys5/nvme5/dhchap_ctrl_secret
```
Debería ver un resultado similar al siguiente ejemplo:

DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:

Paso 9: Revise los problemas conocidos

No hay problemas conocidos.

Configurar RHEL 10.x para NVMe-oF con almacenamiento ONTAP

Creating your file...

Paso 1: Opcionalmente, habilite el arranque SAN

Paso 2: Instale el software RHEL y NVMe y verifique su configuración

Paso 3: Configurar NVMe/FC y NVMe/TCP

Paso 4: Opcionalmente, modifique la iopolicy en las reglas de udev

Paso 5: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

Paso 6: Verificar los servicios de arranque NVMe

Paso 7: Verificar la configuración de rutas múltiples

Paso 8: Configurar la autenticación segura en banda

Paso 9: Revise los problemas conocidos