Skip to main content
ONTAP SAN Host Utilities
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar RHEL 9.1 para NVMe-oF con almacenamiento ONTAP

Colaboradores netapp-sarajane
PDF

Los hosts Red Hat Enterprise Linux (RHEL) admiten los protocolos NVMe sobre canal de fibra (NVMe/FC) y NVMe sobre TCP (NVMe/TCP) con acceso asimétrico al espacio de nombres (ANA). ANA proporciona una funcionalidad de múltiples rutas equivalente al acceso a unidad lógica asimétrica (ALUA) en entornos iSCSI y FCP.

Aprenda a configurar hosts NVMe over Fabrics (NVMe-oF) para RHEL 9.1. Para obtener más información sobre soporte y funciones, consulte"Descripción general de NVME-oF" .

NVMe-oF con RHEL 9.1 tiene las siguientes limitaciones conocidas:

  • Actualmente no se admite el arranque SAN mediante el protocolo NVMe-oF.

Paso 1: Opcionalmente, habilite el arranque SAN

Puede configurar su host para utilizar el arranque SAN para simplificar la implementación y mejorar la escalabilidad. Utilice el"Herramienta de matriz de interoperabilidad" para verificar que su sistema operativo Linux, el adaptador de bus de host (HBA), el firmware del HBA, el BIOS de arranque del HBA y la versión de ONTAP admitan el arranque SAN.

Pasos

  1. "Cree un espacio de nombres NVMe y asígnelo al host" .

  2. Habilite el arranque SAN en el BIOS del servidor para los puertos a los que está asignado el espacio de nombres de arranque SAN.

    Para obtener información acerca de cómo activar el BIOS HBA, consulte la documentación específica de su proveedor.

  3. Reinicie el host y verifique que el sistema operativo esté funcionando.

Paso 2: Verifique la versión del software y la configuración de NVMe

Verifique que su sistema cumpla con los requisitos de software y verifique las instalaciones de paquetes NVMe y la configuración del host.

Pasos

  1. Instalar RHEL 9.1 en el servidor. Una vez completada la instalación, verifique que esté ejecutando el kernel RHEL 9.1 requerido:

    uname -r

    Ejemplo de versión del kernel RHEL:

    5.14.0-162.6.1.el9_1.x86_64

  2. Instale el nvme-cli paquete:

    rpm -qa|grep nvme-cli

    El siguiente ejemplo muestra una versión del paquete nvme-cli:

    nvme-cli-2.0-4.el9.x86_64

  3. Instale el libnvme paquete:

    rpm -qa|grep libnvme

    El siguiente ejemplo muestra una versión del paquete libnvme:

    libnvme-1.0-3.el9.x86_64

  4. En el host RHEL 9.1, verifique la hostnqn cuerda en /etc/nvme/hostnqn :

    cat /etc/nvme/hostnqn

    El siguiente ejemplo muestra una hostnqn versión:

    nqn.2014-08.org.nvmexpress:uuid:325e7554-1f9b-11ec-8489-3a68dd61a4df

  5. Verificar que el hostnqn La cadena coincide con la hostnqn cadena para el subsistema correspondiente en el sistema de almacenamiento ONTAP :

    ::> vserver nvme subsystem host show -vserver vs_nvme207
    Muestra el ejemplo 
    Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_nvme207   rhel_207_LPe32002    nqn.2014-08.org.nvmexpress:uuid:325e7554-1f9b-11ec-8489-3a68dd61a4df
    Nota Si el hostnqn Las cadenas no coinciden, utilice el vserver modify comando para actualizar el hostnqn cadena en el subsistema del sistema de almacenamiento ONTAP correspondiente para que coincida con el hostnqn cadena de /etc/nvme/hostnqn en el host.

Paso 3: Configurar NVMe/FC y NVMe/TCP

Configure NVMe/FC con adaptadores Broadcom/Emulex o Marvell/QLogic, o configure NVMe/TCP mediante operaciones de descubrimiento y conexión manuales.

FC - Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Pasos

  1. Compruebe que está utilizando el modelo de adaptador admitido:

    1. Mostrar los nombres de los modelos:

      cat /sys/class/scsi_host/host*/modelname

      Debe ver la siguiente salida:

      LPe32002-M2
LPe32002-M2

    2. Mostrar las descripciones del modelo:

      cat /sys/class/scsi_host/host*/modeldesc

      Debería ver un resultado similar al siguiente ejemplo:

    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

  2. Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:

    1. Mostrar la versión del firmware:

      cat /sys/class/scsi_host/host*/fwrev

      El comando devuelve las versiones del firmware:

      14.0.505.11, sli-4:2:c
14.0.505.11, sli-4:2:c

    2. Mostrar la versión del controlador de la bandeja de entrada:

      cat /sys/module/lpfc/version

      El siguiente ejemplo muestra una versión del controlador:

    0:14.2.0.5

    +
    Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".

  3. Compruebe que lpfc_enable_fc4_type se establece en 3:

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

  4. Compruebe que puede ver los puertos de iniciador:

    cat /sys/class/fc_host/host*/port_name

    Debería ver un resultado similar a este:

    0x100000109b1b95ef
0x100000109b1b95f0

  5. Compruebe que los puertos de iniciador estén en línea:

    cat /sys/class/fc_host/host*/port_state

    Debe ver la siguiente salida:

    Online
Online

  6. Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

    cat /sys/class/scsi_host/host*/nvme_info
    Muestra el ejemplo 
    NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b1b95ef WWNN x200000109b1b95ef DID x061700 ONLINE
NVME RPORT       WWPN x2035d039ea1308e5 WWNN x2082d039ea1308e5 DID x062f05 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2083d039ea1308e5 WWNN x2082d039ea1308e5 DID x062407 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000001df6c Issue 000000000001df6e OutIO 0000000000000002
  abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000004

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b1b95f0 WWNN x200000109b1b95f0 DID x061400 ONLINE
NVME RPORT       WWPN x2036d039ea1308e5 WWNN x2082d039ea1308e5 DID x061605 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2037d039ea1308e5 WWNN x2082d039ea1308e5 DID x062007 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000001dd28 Issue 000000000001dd29 OutIO 0000000000000001
  abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000004
FC - Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Pasos

  1. Verifique que esté utilizando el controlador del adaptador y las versiones de firmware compatibles:

    cat /sys/class/fc_host/host*/symbolic_name

    El siguiente ejemplo muestra las versiones del controlador y del firmware:

    QLE2772 FW:v9.08.02 DVR:v10.02.07.400-k-debug
QLE2772 FW:v9.08.02 DVR:v10.02.07.400-k-debug

  2. Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

    La salida esperada es 1.

TCP

El protocolo NVMe/TCP no admite la operación de conexión automática. En su lugar, puede descubrir los subsistemas y espacios de nombres NVMe/TCP realizando la prueba NVMe/TCP. connect o connect-all operaciones manualmente.

Pasos

  1. Verifique que el puerto iniciador pueda obtener los datos de la página de registro de descubrimiento a través de los LIF NVMe/TCP compatibles:

    nvme discover -t tcp -w host-traddr -a traddr
    Muestra el ejemplo 
    nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51

Discovery Log Number of Records 10, Generation counter 119
=====Discovery Log Entry 0======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
trsvcid: 4420
traddr: 192.168.2.56
=====Discovery Log Entry 1======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
trsvcid: 4420
traddr: 192.168.1.51
sectype: none
=====Discovery Log Entry 2======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
trsvcid: 4420
traddr: 192.168.2.56

  2. Verifique que las otras combinaciones de LIF de iniciador-destino NVMe/TCP puedan recuperar correctamente los datos de la página del registro de descubrimiento:

    nvme discover -t tcp -w host-traddr -a traddr
    Muestra el ejemplo 
    nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57

  3. Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

    nvme connect-all -t tcp -w host-traddr -a traddr
    Muestra el ejemplo 
    nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

Paso 4: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Nota Estos pasos no se aplican a los hosts Qlogic NVMe/FC.
Pasos

  1. Defina el lpfc_sg_seg_cnt parámetro en 256:

    cat /etc/modprobe.d/lpfc.conf

    Debería ver un resultado similar al siguiente ejemplo:

    options lpfc lpfc_sg_seg_cnt=256

  2. Ejecute dracut -f el comando y reinicie el host.

  3. Compruebe que el valor de lpfc_sg_seg_cnt es 256:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 5: Verificar la configuración de rutas múltiples

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos

  1. Compruebe que la multivía NVMe en kernel esté habilitada:

    cat /sys/module/nvme_core/parameters/multipath

    Debe ver la siguiente salida:

    Y

  2. Compruebe que la configuración NVMe-oF adecuada (como, por ejemplo, el modelo configurado en la controladora NetApp ONTAP y la política de balanceo de carga establecida en round-robin) en los respectivos espacios de nombres de ONTAP se reflejen correctamente en el host:

    1. Mostrar los subsistemas:

      cat /sys/class/nvme-subsystem/nvme-subsys*/model

      Debe ver la siguiente salida:

      NetApp ONTAP Controller
NetApp ONTAP Controller

    2. Mostrar la política:

      cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      Debe ver la siguiente salida:

    round-robin
round-robin

  3. Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

    nvme list
    Muestra el ejemplo 
    Node         SN                   Model
---------------------------------------------------------
/dev/nvme4n1 81Ix2BVuekWcAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

  4. Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

    NVMe/FC
    nvme list-subsys /dev/nvme0n1
    Muestra el ejemplo 
    nvme-subsys10 - NQN=nqn.1992-08.com.netapp:sn.82e7f9edc72311ec8187d039ea14107d:subsystem.rhel_131_QLe2742
\
 +- nvme2 fc traddr=nn-0x2038d039ea1308e5:pn-0x2039d039ea1308e5,host_traddr=nn-0x20000024ff171d30:pn-0x21000024ff171d30 live non-optimized
 +- nvme3 fc traddr=nn-0x2038d039ea1308e5:pn-0x203cd039ea1308e5,host_traddr=nn-0x20000024ff171d31:pn-0x21000024ff171d31 live optimized
 +- nvme4 fc traddr=nn-0x2038d039ea1308e5:pn-0x203bd039ea1308e5,host_traddr=nn-0x20000024ff171d30:pn-0x21000024ff171d30 live optimized
 +- nvme5 fc traddr=nn-0x2038d039ea1308e5:pn-0x203ad039ea1308e5,host_traddr=nn-0x20000024ff171d31:pn-0x21000024ff171d31 live non-optimized
    NVMe/TCP
    nvme list-subsys /dev/nvme0n1
    Muestra el ejemplo 
    nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.bf0691a7c74411ec8187d039ea14107d:subsystem.rhel_tcp_133
\
 +- nvme1 tcp traddr=192.168.166.21,trsvcid=4420,host_traddr=192.168.166.5 live non-optimized
 +- nvme2 tcp traddr=192.168.166.20,trsvcid=4420,host_traddr=192.168.166.5 live optimized
 +- nvme3 tcp traddr=192.168.167.21,trsvcid=4420,host_traddr=192.168.167.5 live non-optimized
 +- nvme4 tcp traddr=192.168.167.20,trsvcid=4420,host_traddr=192.168.167.5 live optimized

  5. Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

    Columna
    nvme netapp ontapdevices -o column
    Muestra el ejemplo 
    Device       Vserver          Namespace Path
---------    -------          --------------------------------------------------
/dev/nvme0n1 vs_tcp79     /vol/vol1/ns1 

NSID  UUID                                   Size
----  ------------------------------         ------
1     79c2c569-b7fa-42d5-b870-d9d6d7e5fa84  21.47GB
    JSON
    nvme netapp ontapdevices -o json
    Muestra el ejemplo 
    {

  "ONTAPdevices" : [
  {

      "Device" : "/dev/nvme0n1",
      "Vserver" : "vs_tcp79",
      "Namespace_Path" : "/vol/vol1/ns1",
      "NSID" : 1,
      "UUID" : "79c2c569-b7fa-42d5-b870-d9d6d7e5fa84",
      "Size" : "21.47GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 5242880
    },

]

}

Paso 6: Revise los problemas conocidos

Estos son los problemas conocidos:

ID de error de NetApp Título Descripción

1503468

nvme list-subsys el comando devuelve una lista repetida de la controladora nvme para un subsistema determinado

El nvme list-subsys El comando devuelve una lista de controladores NVMe para un subsistema determinado. En RHEL 9.1, este comando muestra los controladores con su estado ANA para todos los espacios de nombres del subsistema. Dado que el estado de ANA es un atributo por espacio de nombres, el comando debe mostrar entradas de controlador únicas con el estado de la ruta para cada espacio de nombres.