Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar Oracle Linux 8x con NVMe-oF para almacenamiento ONTAP

12/08/2025 Colaboradores

PDF

Los hosts Oracle Linux admiten los protocolos NVMe sobre canal de fibra (NVMe/FC) y NVMe sobre TCP (NVMe/TCP) con acceso asimétrico al espacio de nombres (ANA). ANA proporciona una funcionalidad de múltiples rutas equivalente al acceso a unidad lógica asimétrica (ALUA) en entornos iSCSI y FCP.

Aprenda a configurar hosts NVMe over Fabrics (NVMe-oF) para Oracle Linux 8x. Para obtener más información sobre asistencia y funciones, consulte "Compatibilidad y características de Oracle Linux ONTAP".

NVMe-oF con Oracle Linux 8x tiene las siguientes limitaciones conocidas:

No se admite el arranque SAN mediante el protocolo NVMe-oF.
La compatibilidad con la utilidad de host sanlun de NetApp no está disponible para NVMe-oF en un host Oracle Linux 8x. En su lugar, puede confiar en el complemento NetApp incluido en el paquete nativo. nvme-cli paquete para todos los transportes NVMe-oF.
Para Oracle Linux 8.2 y versiones anteriores, los scripts de conexión automática NVMe/FC nativos no están disponibles en el paquete nvme-cli. Utilice los scripts de conexión automática externos proporcionados por el proveedor de HBA.
Para Oracle Linux 8.2 y versiones anteriores, el equilibrio de carga round-robin no está habilitado de manera predeterminada para las rutas múltiples NVMe. Para habilitar esta funcionalidad, vaya al paso paraescribir una regla udev .

Paso 1: Instale el software Oracle Linux y NVMe y verifique su configuración

Utilice el siguiente procedimiento para validar las versiones mínimas compatibles del software Oracle Linux 8x.

Pasos

Instalar Oracle Linux 8x en el servidor. Una vez completada la instalación, verifique que esté ejecutando el kernel Oracle Linux 8x especificado.
```
uname -r
```
Ejemplo de versión del kernel de Oracle Linux:
```
5.15.0-206.153.7.1.el8uek.x86_64
```
Instale el nvme-cli paquete:
```
rpm -qa|grep nvme-cli
```
El siguiente ejemplo muestra un nvme-cli versión del paquete:
```
nvme-cli-1.16-9.el8.x86_64
```
Para Oracle Linux 8.2 y anteriores, agregue la siguiente cadena como una regla udev separada para /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules . Esto permite el equilibrio de carga por turnos para rutas múltiples NVMe.
```
cat /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules
Enable round-robin for NetApp ONTAP
ACTION=="add", SUBSYSTEMS=="nvme-subsystem", ATTRS{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"
```
En el host Oracle Linux 8x, verifique la hostnqn cuerda en /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
El siguiente ejemplo muestra un hostnqn versión:
```
nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
```

En el sistema ONTAP , verifique que hostnqn La cadena coincide con la hostnqn cadena para el subsistema correspondiente en el sistema de almacenamiento ONTAP :

vserver nvme subsystem host show -vserver vs_coexistence_LPE36002

Muestra el ejemplo

Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_LPE36002
        nvme
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme1
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme2
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme3
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
4 entries were displayed.

Si hostnqn las cadenas no coinciden, use vserver modify el comando para actualizar la hostnqn cadena en el subsistema de cabina ONTAP correspondiente a fin de que coincida con la hostnqn cadena del /etc/nvme/hostnqn host.

De manera opcional, para ejecutar tráfico coexistente NVMe y SCSI en el mismo host, NetApp recomienda usar la ruta múltiple NVMe en el kernel para espacios de nombres ONTAP y dm-multipath para LUN de ONTAP respectivamente. Esto debería excluir los espacios de nombres ONTAP de dm-multipath y prevenir dm-multipath de reclamar los dispositivos del espacio de nombres ONTAP .
1. Añade el enable_foreign Ajuste a la /etc/multipath.conf archivo.
  cat /etc/multipath.conf defaults { enable_foreign NONE }
2. Reiniciar el multipathd demonio para aplicar la nueva configuración.
  systemctl restart multipathd

Paso 2: Configurar NVMe/FC y NVMe/TCP

Configure NVMe/FC con adaptadores Broadcom/Emulex o Marvell/QLogic, o configure NVMe/TCP mediante operaciones de descubrimiento y conexión manuales.

FC - Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Compruebe que está utilizando el modelo de adaptador compatible:
1. Mostrar los nombres de los modelos:
  cat /sys/class/scsi_host/host*/modelname
  Debe ver la siguiente salida:
  LPe36002-M64 LPe36002-M64
2. Mostrar las descripciones del modelo:
  cat /sys/class/scsi_host/host*/modeldesc
  Debería ver un resultado similar al siguiente ejemplo:
```
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
```
Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:
1. Mostrar la versión del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  El siguiente ejemplo muestra las versiones de firmware:
  14.4.317.10, sli-4:6:d 14.4.317.10, sli-4:6:d
2. Mostrar la versión del controlador de la bandeja de entrada:
  cat /sys/module/lpfc/version
  El siguiente ejemplo muestra una versión del controlador:
```
0:14.2.0.13
```
+
Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".
Compruebe que lpfc_enable_fc4_type está configurado en «3»:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Compruebe que puede ver los puertos de iniciador:
```
cat /sys/class/fc_host/host*/<port_name>
```
El siguiente ejemplo muestra las identidades del puerto:
```
0x100000109bf0449c
0x100000109bf0449d
```
Compruebe que los puertos de iniciador estén en línea:
```
cat /sys/class/fc_host/host*/port_state
```
Debe ver la siguiente salida:
```
Online
Online
```

Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

cat /sys/class/scsi_host/host*/nvme_info

Muestra el ejemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0449c WWNN x200000109bf0449c DID x061500 ONLINE
NVME RPORT       WWPN x200bd039eab31e9c WWNN x2005d039eab31e9c DID x020e06 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2006d039eab31e9c WWNN x2005d039eab31e9c DID x020a0a TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000002c Cmpl 000000002c Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000008ffe8 Issue 000000000008ffb9 OutIO ffffffffffffffd1
        abort 0000000c noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000000c Err 0000000c
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0449d WWNN x200000109bf0449d DID x062d00 ONLINE
NVME RPORT       WWPN x201fd039eab31e9c WWNN x2005d039eab31e9c DID x02090a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200cd039eab31e9c WWNN x2005d039eab31e9c DID x020d06 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000041 Cmpl 0000000041 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000000936bf Issue 000000000009369a OutIO ffffffffffffffdb
        abort 00000016 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000016 Err 00000016

FC - Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Compruebe que está ejecutando las versiones de firmware y controlador del adaptador compatibles:
```
cat /sys/class/fc_host/host*/symbolic_name
```
El siguiente ejemplo muestra las versiones del controlador y del firmware:
```
QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k
QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k
```
Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La salida esperada es 1.

TCP

El protocolo NVMe/TCP no admite la operación de conexión automática. En su lugar, puede descubrir los subsistemas y espacios de nombres NVMe/TCP realizando la prueba NVMe/TCP. connect o connect-all operaciones manualmente.

Compruebe que el puerto del iniciador pueda recuperar los datos de la página de registro de detección en las LIF NVMe/TCP admitidas:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Muestra el ejemplo

nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24 Discovery Log Number of Records 20, Generation counter 45
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.24
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.24
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.25
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
..........

Compruebe que todas las demás combinaciones de LIF iniciador-objetivo NVMe/TCP puedan recuperar correctamente los datos de la página del registro de detección:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Muestra el ejemplo

nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24
nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.25
nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.24
nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.25

Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>

Muestra el ejemplo

nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.24	-l -1
nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.25	-l -1
nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.24	-l -1
nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.25	-l -1

NetApp recomienda configurar el ctrl-loss-tmo option a -1 para que el iniciador NVMe/TCP intente reconectarse indefinidamente en caso de pérdida de ruta.

Paso 3: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Estos pasos no se aplican a los hosts Qlogic NVMe/FC.

Pasos

Defina el lpfc_sg_seg_cnt parámetro en 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Debería ver un resultado similar al siguiente ejemplo:
```
options lpfc lpfc_sg_seg_cnt=256
```
Ejecute dracut -f el comando y reinicie el host.

Compruebe que el valor de lpfc_sg_seg_cnt es 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 4: Verificar la configuración de rutas múltiples

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos

Compruebe que la multivía NVMe en kernel esté habilitada:
```
cat /sys/module/nvme_core/parameters/multipath
```
Debe ver la siguiente salida:
```
Y
```
Compruebe que la configuración NVMe-oF adecuada (como, por ejemplo, el modelo configurado en la controladora NetApp ONTAP y la política de balanceo de carga establecida en round-robin) en los respectivos espacios de nombres de ONTAP se reflejen correctamente en el host:
1. Mostrar los subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Debe ver la siguiente salida:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Mostrar la política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Debe ver la siguiente salida:
```
round-robin
round-robin
```

Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

nvme list

Muestra el ejemplo

Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller

Namespace Usage   Format               FW            Rev
-----------------------------------------------------------
1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
3	                85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF

Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

nvme list-subsys /dev/nvme0n1

Mostrar ejemplo de NVMe/FC

nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: 4b4d82566aab11ef9ab8d039eab31e9d:subsystem.nvme\
+-  nvme1 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ad039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live optimized
+-  nvme2 fc traddr=nn-0x2038d039eab31e9c:pn-0x203cd039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live optimized
+- nvme3 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ed039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live non-optimized
+-  nvme7 fc traddr=nn-0x2038d039eab31e9c:pn-0x2039d039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live non-optimized

Mostrar ejemplo de NVMe/TCP

nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
\
+- nvme1 tcp traddr=192.168.5.25 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live optimized
+- nvme10 tcp traddr=192.168.6.24 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live optimized
+- nvme2 tcp traddr=192.168.5.24 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live non-optimized
+- nvme9 tcp traddr=192.168.6.25 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live non-optimized

Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

Columna

nvme netapp ontapdevices -o column

Muestra el ejemplo

Device         Vserver                  Namespace Path                NSID UUID                                  Size
-------------- ------------------------ ----------------------------- ---- ------------------------------------- ---------
/dev/nvme0n1   vs_coexistence_QLE2772   /vol/fcnvme_1_1_0/fcnvme_ns   1    159f9f88-be00-4828-aef6-197d289d4bd9  10.74GB
/dev/nvme0n2   vs_coexistence_QLE2772   /vol/fcnvme_1_1_1/fcnvme_ns   2    2c1ef769-10c0-497d-86d7-e84811ed2df6  10.74GB
/dev/nvme0n3   vs_coexistence_QLE2772   /vol/fcnvme_1_1_2/fcnvme_ns   3    9b49bf1a-8a08-4fa8-baf0-6ec6332ad5a4  10.74GB

JSON

nvme netapp ontapdevices -o json

Muestra el ejemplo

{
  "ONTAPdevices" : [
    {
      "Device" : "/dev/nvme0n1",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_0/fcnvme_ns",
      "NSID" : 1,
      "UUID" : "159f9f88-be00-4828-aef6-197d289d4bd9",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n2",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_1/fcnvme_ns",
      "NSID" : 2,
      "UUID" : "2c1ef769-10c0-497d-86d7-e84811ed2df6",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n4",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_3/fcnvme_ns",
      "NSID" : 4,
      "UUID" : "f3572189-2968-41bc-972a-9ee442dfaed7",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },

Paso 5: Opcionalmente, habilite un tamaño de E/S de 1 MB

Estos pasos no se aplican a los hosts Qlogic NVMe/FC.

Pasos

Defina el lpfc_sg_seg_cnt parámetro en 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Debería ver un resultado similar al siguiente ejemplo:
```
options lpfc lpfc_sg_seg_cnt=256
```
Ejecute dracut -f el comando y reinicie el host.

Compruebe que el valor de lpfc_sg_seg_cnt es 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 6: Revise los problemas conocidos

Estos son los problemas conocidos:

ID de error de NetApp Título Descripción

ID de error de NetApp	Título	Descripción
"1479047"	Los hosts Oracle Linux 8x NVMe-oF crean controladores de descubrimiento persistente (PDC) duplicados	En hosts NVMe-oF, puede utilizar el comando `nvme discover -p` para crear CDP. Cuando se utiliza este comando, solo se debe crear un PDC por combinación iniciador-destino. Sin embargo, si está ejecutando Oracle Linux 8x con un host NVMe-oF, se crea un PDC duplicado cada vez que se ejecuta `nvme discover -p`. Esto genera un uso innecesario de recursos tanto en el host como en el destino.

"1479047"

Los hosts Oracle Linux 8x NVMe-oF crean controladores de descubrimiento persistente (PDC) duplicados

En hosts NVMe-oF, puede utilizar el comando nvme discover -p para crear CDP. Cuando se utiliza este comando, solo se debe crear un PDC por combinación iniciador-destino. Sin embargo, si está ejecutando Oracle Linux 8x con un host NVMe-oF, se crea un PDC duplicado cada vez que se ejecuta nvme discover -p. Esto genera un uso innecesario de recursos tanto en el host como en el destino.

Configurar Oracle Linux 8x con NVMe-oF para almacenamiento ONTAP

Creating your file...

Paso 1: Instale el software Oracle Linux y NVMe y verifique su configuración

Paso 2: Configurar NVMe/FC y NVMe/TCP

Paso 3: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

Paso 4: Verificar la configuración de rutas múltiples

Paso 5: Opcionalmente, habilite un tamaño de E/S de 1 MB

Paso 6: Revise los problemas conocidos