Skip to main content
SAN hosts and cloud clients
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configuración de host de NVMe-oF para Oracle Linux 8,10 con ONTAP

Colaboradores
PDF

Las configuraciones de host SAN de NetApp admiten el protocolo NVMe over Fabrics (NVMe-oF) con acceso asimétrico al espacio de nombres (ANA). En entornos con NVMe-oF, ANA es equivalente a accesos múltiples asimétricos de unidad lógica (ALUA) en entornos iSCSI y FCP. ANA se implementa mediante la función multivía de NVMe interna.

Acerca de esta tarea

Puede utilizar el siguiente soporte y funciones con la configuración del host NVMe-oF para Oracle Linux 8,10. También debe revisar las limitaciones conocidas antes de iniciar el proceso de configuración.

  • Soporte disponible:

    • Soporte para NVMe sobre TCP (NVMe/TCP) y NVMe sobre Fibre Channel (NVMe/FC). Esto otorga al plugin de NetApp en el paquete nvme-cli nativo la capacidad de mostrar la información de ONTAP para espacios de nombres tanto de NVMe/FC como de NVMe/TCP.

      Según la configuración del host, debe configurar NNMe/FC, NVMe/TCP o ambos protocolos.

    • Ejecutar el tráfico NVMe y SCSI simultáneamente en el mismo host. Por ejemplo, es posible configurar dm-multipath para dispositivos SCSI mpath para LUN SCSI y utilizar NVMe multipath para configurar dispositivos de espacio de nombres NVMe-oF en el host.

    Si quiere más información sobre las configuraciones compatibles, consulte "Herramienta de matriz de interoperabilidad de NetApp".

  • Características disponibles:

    • La función multivía de NVMe en kernel está habilitada para espacios de nombres NVMe de forma predeterminada en Oracle Linux 8,10. No es necesario configurar ajustes explícitos.

  • Limitaciones conocidas:

    • Actualmente no se admite el arranque SAN mediante el protocolo NVMe-oF.

    • La compatibilidad con la utilidad de host sanlun de NetApp no está disponible para NVMe-oF en un host Oracle Linux 8,10. En su lugar, puede confiar en el plugin de NetApp incluido en el paquete nativo nvme-cli para todos los transportes NVMe-oF.

Validación de versiones de software

Validar las versiones mínimas de software admitidas para Oracle Linux 8,10.

Pasos

  1. Instale Oracle Linux 8,10 GA en el servidor. Una vez finalizada la instalación, compruebe que está ejecutando el núcleo GA de Oracle Linux 8,10 especificado:

    uname -r
    5.15.0-206.153.7.1.el8uek.x86_64

  2. Instale el nvme-cli paquete:

    rpm -qa|grep nvme-cli
    nvme-cli-1.16-9.el8.x86_64

  3. En el host Oracle Linux 8,10, compruebe hostnqn la cadena en /etc/nvme/hostnqn:

    cat /etc/nvme/hostnqn
    nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a

  4. Compruebe que hostnqn en el host de Oracle Linux 8,10 coincide hostnqn con el subsistema correspondiente en la cabina de ONTAP:

    vserver nvme subsystem host show -vserver vs_coexistence_LPE36002
    Muestra el ejemplo 
    Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_LPE36002
        nvme
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme1
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme2
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme3
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
4 entries were displayed.
    Nota Si hostnqn las cadenas no coinciden, use vserver modify el comando para actualizar la hostnqn cadena en el subsistema de cabina ONTAP correspondiente a fin de que coincida con la hostnqn cadena del /etc/nvme/hostnqn host.

  5. Si tiene intención de ejecutar el tráfico coexistente de NVMe y SCSI en el mismo host, NetApp recomienda utilizar la ruta multivía in-kernel de NVMe para espacios de nombres de ONTAP y dm-multipath para las LUN de ONTAP respectivamente. Esto debería excluir los espacios de nombres ONTAP de dm-multipath e impedir dm-multipath la reclamación de los dispositivos de espacio de nombres ONTAP:

    1. Agregue la enable_foreign configuración al /etc/multipath.conf archivo:

      # cat /etc/multipath.conf
defaults {
  enable_foreign     NONE
}

    2. Reinicie el multipathd daemon para aplicar la nueva configuración:

      systemctl restart multipathd

Configure NVMe/FC

Puede configurar NVMe/FC con adaptadores FC Broadcom/Emulex o Marvell/Qlogic. Para NVMe/FC configurado con un adaptador Broadcom, puede habilitar solicitudes de E/S de tamaño 1 MB.

Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Pasos

  1. Compruebe que está utilizando el modelo de adaptador admitido:

    1. cat /sys/class/scsi_host/host*/modelname

      LPe36002-M64
LPe36002-M64

    2. cat /sys/class/scsi_host/host*/modeldesc

      Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter

  2. Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:

    1. cat /sys/class/scsi_host/host*/fwrev

      14.4.317.10, sli-4:6:d
14.4.317.10, sli-4:6:d

    2. cat /sys/module/lpfc/version

      0:14.2.0.13

      Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad de NetApp".

  3. Compruebe que lpfc_enable_fc4_type está configurado en «3»:

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

  4. Compruebe que los puertos del iniciador están en funcionamiento y que puede ver los LIF de destino:

    1. cat /sys/class/fc_host/host*/port_name

      0x100000109bf0449c
0x100000109bf0449d

    2. cat /sys/class/fc_host/host*/port_state

      Online
Online

    3. cat /sys/class/scsi_host/host*/nvme_info

      Muestra el ejemplo 
      NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0449c WWNN x200000109bf0449c DID x061500 ONLINE
NVME RPORT       WWPN x200bd039eab31e9c WWNN x2005d039eab31e9c DID x020e06 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2006d039eab31e9c WWNN x2005d039eab31e9c DID x020a0a TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000002c Cmpl 000000002c Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000008ffe8 Issue 000000000008ffb9 OutIO ffffffffffffffd1
        abort 0000000c noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000000c Err 0000000c
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0449d WWNN x200000109bf0449d DID x062d00 ONLINE
NVME RPORT       WWPN x201fd039eab31e9c WWNN x2005d039eab31e9c DID x02090a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200cd039eab31e9c WWNN x2005d039eab31e9c DID x020d06 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000041 Cmpl 0000000041 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000000936bf Issue 000000000009369a OutIO ffffffffffffffdb
        abort 00000016 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000016 Err 00000016
Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Nota El controlador de la bandeja de entrada nativa qla2xxx incluido en el kernel GA de Oracle Linux 10 tiene las correcciones más recientes. Estas correcciones son esenciales para la compatibilidad con ONTAP.
Pasos

  1. Compruebe que está ejecutando las versiones de firmware y controlador del adaptador compatibles:

    cat /sys/class/fc_host/host*/symbolic_name

    QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k
QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k

  2. Compruebe que ql2xnvmeenable está configurado en 1. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

Habilitar tamaño de I/o de 1 MB (opcional)

ONTAP informa de un MDT (tamaño de transferencia de MAX Data) de 8 en los datos Identify Controller. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1MB TB. Para emitir solicitudes de I/O de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar lpfc el valor lpfc_sg_seg_cnt del parámetro a 256 con respecto al valor predeterminado de 64.

Nota Estos pasos no se aplican a los hosts Qlogic NVMe/FC.
Pasos

  1. Defina el lpfc_sg_seg_cnt parámetro en 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256

  2. Ejecute dracut -f el comando y reinicie el host.

  3. Compruebe que el valor esperado de lpfc_sg_seg_cnt es 256:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Configure NVMe/TCP

El protocolo NVMe/TCP no admite auto-connect la operación. En su lugar, puede detectar los subsistemas y los espacios de nombres NVMe/TCP ejecutando manualmente las operaciones o connect-all NVMe/TCP connect.

Pasos

  1. Compruebe que el puerto del iniciador pueda recuperar los datos de la página de registro de detección en las LIF NVMe/TCP admitidas:

    nvme discover -t tcp -w <host-traddr> -a <traddr>
    Muestra el ejemplo 
    #	nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24 Discovery Log Number of Records 20, Generation counter 45
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.24
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.24
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.25
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
..........

  2. Compruebe que todas las demás combinaciones de LIF iniciador-objetivo NVMe/TCP puedan recuperar correctamente los datos de la página del registro de detección:

    nvme discover -t tcp -w <host-traddr> -a <traddr>
    Muestra el ejemplo 
    # nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24
# nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.25
# nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.24
# nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.25

  3. Ejecute nvme connect-all el comando en todos los LIF destino iniciador NVMe/TCP compatibles entre los nodos:

    nvme connect-all -t tcp -w <host-traddr> -a <traddr> -l <ctrl_loss_timeout_in_seconds>
    Muestra el ejemplo 
    #	nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.24	-l -1
#	nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.25	-l -1
#	nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.24	-l -1
#	nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.25	-l -1
    Nota NetApp recomienda establecer ctrl-loss-tmo la opción en «-1» para que el iniciador NVMe/TCP intente reconectarse de forma indefinida en caso de pérdida de ruta.

Valide NVMe-of

Para admitir el funcionamiento correcto de las LUN de ONTAP, compruebe que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean los correctos para la configuración de NVMe-oF.

Pasos

  1. Compruebe que la multivía de NVMe en kernel está habilitada:

    cat /sys/module/nvme_core/parameters/multipath

    Y

  2. Verifique que la configuración de NVMe-oF (como el modelo establecido en «controladora NetApp ONTAP» y la política de balanceo de carga establecida en «round-robin») en los espacios de nombres de ONTAP respectivos aparezcan correctamente en el host:

    1. cat /sys/class/nvme-subsystem/nvme-subsys*/model

      NetApp ONTAP Controller
NetApp ONTAP Controller

    2. cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      round-robin
round-robin

  3. Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

    nvme list

    Muestra el ejemplo 
    Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller

Namespace Usage   Format               FW            Rev
-----------------------------------------------------------
1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
3	                85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF

  4. Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

    NVMe/FC

    nvme list-subsys /dev/nvme0n1

    Muestra el ejemplo 
    nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: 4b4d82566aab11ef9ab8d039eab31e9d:subsystem.nvme\
+-  nvme1 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ad039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live optimized
+-  nvme2 fc traddr=nn-0x2038d039eab31e9c:pn-0x203cd039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live optimized
+- nvme3 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ed039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live non-optimized
+-  nvme7 fc traddr=nn-0x2038d039eab31e9c:pn-0x2039d039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live non-optimized
    NVMe/TCP

    nvme list-subsys /dev/nvme0n1

    Muestra el ejemplo 
    nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
\
+- nvme1 tcp traddr=192.168.5.25 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live optimized
+- nvme10 tcp traddr=192.168.6.24 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live optimized
+- nvme2 tcp traddr=192.168.5.24 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live non-optimized
+- nvme9 tcp traddr=192.168.6.25 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live non-optimized

  5. Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

    Columna

    nvme netapp ontapdevices -o column

    Muestra el ejemplo 
    Device         Vserver                  Namespace Path                NSID UUID                                  Size
-------------- ------------------------ ----------------------------- ---- ------------------------------------- ---------
/dev/nvme0n1   vs_coexistence_QLE2772   /vol/fcnvme_1_1_0/fcnvme_ns   1    159f9f88-be00-4828-aef6-197d289d4bd9  10.74GB
/dev/nvme0n2   vs_coexistence_QLE2772   /vol/fcnvme_1_1_1/fcnvme_ns   2    2c1ef769-10c0-497d-86d7-e84811ed2df6  10.74GB
/dev/nvme0n3   vs_coexistence_QLE2772   /vol/fcnvme_1_1_2/fcnvme_ns   3    9b49bf1a-8a08-4fa8-baf0-6ec6332ad5a4  10.74GB
    JSON

    nvme netapp ontapdevices -o json

    Muestra el ejemplo 
    {
  "ONTAPdevices" : [
    {
      "Device" : "/dev/nvme0n1",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_0/fcnvme_ns",
      "NSID" : 1,
      "UUID" : "159f9f88-be00-4828-aef6-197d289d4bd9",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n2",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_1/fcnvme_ns",
      "NSID" : 2,
      "UUID" : "2c1ef769-10c0-497d-86d7-e84811ed2df6",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n4",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_3/fcnvme_ns",
      "NSID" : 4,
      "UUID" : "f3572189-2968-41bc-972a-9ee442dfaed7",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },

Problemas conocidos

La configuración de host de NVMe-oF para Oracle Linux 8,10 con ONTAP tiene el siguiente problema conocido:

ID de error de NetApp Título Descripción

CONTAPEXT-1082

Los hosts NVMe-oF de Oracle Linux 8,10 crean PDCs duplicados

En los hosts NVMe-oF de Oracle Linux 8,10, las controladoras de detección persistente (PDCs) se crean mediante -p la opción con nvme discover el comando. Para una combinación de iniciador-destino determinada, nvme discover se espera que cada ejecución del comando cree un PDC. Sin embargo, a partir de Oracle Linux 8.x, los hosts NVMe-oF crean un PDC duplicado. Esto desperdicia recursos tanto en el host como en el destino.