Skip to main content
ONTAP SAN Host Utilities
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configura Ubuntu 24.04 para NVMe-oF con almacenamiento ONTAP

Colaboradores netapp-camdenc netapp-pcarriga netapp-sarajane

NVMe over Fabrics (NVMe-oF), incluido NVMe over Fibre Channel (NVMe/FC) y otros transportes, es compatible con Ubuntu 24,04 y Acceso asimétrico a espacio de nombres (ANA). En entornos de NVMe-oF, ANA es el equivalente a la multivía ALUA en entornos iSCSI y FC y se implementa con NVMe multivía en kernel.

Aprende cómo configurar hosts NVMe over Fabrics (NVMe-oF) para Ubuntu 24.04. Para más información sobre soporte y funciones, consulta "Soporte y funciones de Ubuntu ONTAP".

NVMe-oF con Ubuntu 24.04 tiene las siguientes limitaciones conocidas:

  • Actualmente, el arranque SAN que usa el protocolo NVMe-oF no es compatible con Ubuntu 24,04 con ONTAP.

Si quiere más información sobre las configuraciones compatibles, consulte la "Herramienta de matriz de interoperabilidad".

Paso 1: instala Ubuntu y el software NVMe y verifica tu configuración

Para configurar su host para NVMe-oF, debe instalar los paquetes de software de host y NVMe, habilitar rutas múltiples y verificar la configuración NQN de su host.

Pasos
  1. Instale Ubuntu 24,04 en el servidor. Una vez completada la instalación, verifique que está ejecutando el kernel de Ubuntu 24,04 especificado:

    uname -r

    Ejemplo de versión de kernel de Ubuntu:

    6.8.0-31-generic
  2. Instale el nvme-cli paquete:

    apt list | grep nvme

    El siguiente ejemplo muestra un nvme-cli versión del paquete:

    nvme-cli/noble-updates 2.8-1ubuntu0.1 amd64
  3. En el host Ubuntu 24,04, compruebe la cadena hostnqn en /etc/nvme/hostnqn:

    cat /etc/nvme/hostnqn

    El siguiente ejemplo muestra un hostnqn versión:

    nqn.2014-08.org.nvmexpress:uuid:ace1xxxx-1f5a-xxxx-b0c3-3a6xxxx1a6ff
  4. En el sistema ONTAP, verifica que la cadena hostnqn de /etc/nvme/hostnqn coincida con la cadena hostnqn para el subsistema correspondiente en el sistema de almacenamiento ONTAP:

    vserver nvme subsystem host show -vserver vs_106_fc_nvme
    Muestra el ejemplo
    Vserver     Subsystem          Host NQN
    ----------- --------------- ----------------------------------------------------------
    vs_106_fc_nvme ub_106 nqn.2014-08.org.nvmexpress:uuid:c047xxxx-e91e-xxxx-9995-ba4xxxx14631
    Nota Si las cadenas hostnqn no coinciden, usa el comando vserver modify para actualizar la cadena hostnqn en tu subsistema correspondiente del sistema de almacenamiento ONTAP para que coincida con la cadena hostnqn de /etc/nvme/hostnqn en el host.

Paso 2: Configurar NVMe/FC y NVMe/TCP

Configura NVMe/FC para adaptadores Broadcom/Emulex o Marvell/Qlogic, o configura NVMe/TCP usando descubrimiento y operaciones de conexión manuales.

Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Pasos
  1. Compruebe que está utilizando el modelo de adaptador compatible:

    1. Mostrar los nombres de los modelos:

      cat /sys/class/scsi_host/host*/modelname

      Debe ver la siguiente salida:

      LPe36002-M64
      LPe36002-M64
    2. Mostrar las descripciones del modelo:

      cat /sys/class/scsi_host/host*/modeldesc

      Deberías ver una salida similar al siguiente ejemplo:

    Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
    Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
  2. Verifica que estás usando el firmware recomendado de Broadcom lpfc y el controlador inbox:

    1. Mostrar la versión del firmware:

      cat /sys/class/scsi_host/host*/fwrev

      El comando devuelve las versiones del firmware:

      14.4.317.10, sli-4:6:d
      14.4.317.10, sli-4:6:d
    2. Mostrar la versión del controlador de la bandeja de entrada:

      cat /sys/module/lpfc/version

      El siguiente ejemplo muestra una versión del controlador:

    0:14.2.0.17

    + Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".

  3. Compruebe que lpfc_enable_fc4_type se establece en 3:

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
  4. Compruebe que puede ver los puertos de iniciador:

    cat /sys/class/fc_host/host*/port_name

    Deberías ver una salida similar a:

    0x100000109bf0447b
    0x100000109bf0447c
  5. Compruebe que los puertos de iniciador estén en línea:

    cat /sys/class/fc_host/host*/port_state

    Debe ver la siguiente salida:

    Online
    Online
  6. Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

    cat /sys/class/scsi_host/host*/nvme_info
    Muestra el resultado de ejemplo
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022600 ONLINE
    NVME RPORT       WWPN x200fd039eaa8138b WWNN x200ad039eaa8138b DID x021006 TARGET DISCSRVC ONLINE
    
    NVME Statistics
    LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
    LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 0000000014096514 Issue 000000001407fcd6 OutIO fffffffffffe97c2
            abort 00000048 noxri 00000000 nondlp 0000001c qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00000048 Err 00000077
    
    NVME Initiator Enabled
    XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x022300 ONLINE
    NVME RPORT       WWPN x2010d039eaa8138b WWNN x200ad039eaa8138b DID x021106 TARGET DISCSRVC ONLINE
    
    NVME Statistics
    LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
    LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 00000000140970ed Issue 00000000140813da OutIO fffffffffffea2ed
            abort 00000047 noxri 00000000 nondlp 0000002b qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00000047 Err 00000075
NVMe/FC - Marvell/QLogic

El controlador de bandeja de entrada nativa qla2xxx incluido en el kernel Ubuntu 24,04 GA tiene las últimas correcciones ascendentes. Estas correcciones son esenciales para la compatibilidad con ONTAP.

Configure NVMe/FC para un adaptador Marvell/QLogic.

Pasos
  1. Verifique que esté utilizando el controlador del adaptador y las versiones de firmware compatibles:

    cat /sys/class/fc_host/host*/symbolic_name

    El siguiente ejemplo muestra las versiones del controlador y del firmware:

    QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k
    QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k
  2. Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

    La salida esperada es 1.

NVMe/TCP

NVMe/TCP no admite la operación de conexión automática. En su lugar, puedes descubrir los subsistemas y espacios de nombres de NVMe/TCP realizando las operaciones de NVMe/TCP connect o connect-all manualmente.

Pasos
  1. Verifica que el puerto iniciador puede obtener los datos de la página de registro de descubrimiento a través de los LIF NVMe/TCP compatibles:

    nvme discover -t tcp -w <host-traddr> -a <traddr>
    Muestra el ejemplo
    # nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
    Discovery Log Number of Records 8, Generation counter 10
    =====Discovery Log Entry 0======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  4
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
    traddr:  192.168.167.156
    eflags:  explicit discovery connections, duplicate discovery information*
    sectype: none
    =====Discovery Log Entry 1======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  2
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
    traddr:  192.168.166.156
    eflags:  explicit discovery connections, duplicate discovery information*
    sectype: none
    =====Discovery Log Entry 2======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  3
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
    traddr:  192.168.167.155
    eflags:  explicit discovery connections, duplicate discovery information*
    sectype: none
    =====Discovery Log Entry 3======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  1
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
    traddr:  192.168.166.155
    eflags:  explicit discovery connections, duplicate discovery information*
    sectype: none
    =====Discovery Log Entry 4======
    trtype:  tcp
    adrfam:  ipv4
    subtype: nvme subsystem
    treq:    not specified
    portid:  4
    trsvcid: 4420
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
    traddr:  192.168.167.156
    eflags:  none
    sectype: none
    =====Discovery Log Entry 5======
    trtype:  tcp
    adrfam:  ipv4
    subtype: nvme subsystem
    treq:    not specified
    portid:  2
    trsvcid: 4420
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
    traddr:  192.168.166.156
    eflags:  none
    sectype: none
    =====Discovery Log Entry 6======
    trtype:  tcp
    adrfam:  ipv4
    subtype: nvme subsystem
    treq:    not specified
    portid:  3
    trsvcid: 4420
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
    traddr:  192.168.167.155
    eflags:  none
    sectype: none
    =====Discovery Log Entry 7======
    trtype:  tcp
    adrfam:  ipv4
    subtype: nvme subsystem
    treq:    not specified
    portid:  1
    trsvcid: 4420
    subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
    traddr:  192.168.166.155
    eflags:  none
    sectype: none
  2. Verifique que las otras combinaciones de LIF de iniciador-destino NVMe/TCP puedan recuperar correctamente los datos de la página del registro de descubrimiento:

    nvme discover -t tcp -w <host-traddr> -a <traddr>
    Muestra el resultado de ejemplo
    #nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
    #nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.156
    #nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.155
    #nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.156
  3. Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

    nvme connect-all -t tcp -w <host-traddr> -a <traddr>
    Muestra el ejemplo
    #nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.155
    #nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.156
    #nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.155
    #nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.156
    Nota A partir de Ubuntu 24,04, la configuración predeterminada de tiempo de espera ctrl_LOSS_tmo para NVMe/TCP está desactivada. Esto significa que no hay límite en el número de reintentos (reintentos indefinidos) y no es necesario configurar manualmente una duración de tiempo de espera específica de ctrl_LOSS_tmo cuando se utilizan los nvme connect comandos o nvme connect-all (opción -l ). Gracias a este comportamiento predeterminado, las controladoras NVMe/TCP no experimentan tiempos de espera en caso de un fallo de ruta y permanecen conectadas indefinidamente.

Paso 3: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Nota Estos pasos no se aplican a los hosts Qlogic NVMe/FC.
Pasos
  1. Defina el lpfc_sg_seg_cnt parámetro en 256:

    cat /etc/modprobe.d/lpfc.conf

    Debería ver un resultado similar al siguiente ejemplo:

    options lpfc lpfc_sg_seg_cnt=256
  2. Ejecute dracut -f el comando y reinicie el host.

  3. Compruebe que el valor de lpfc_sg_seg_cnt es 256:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 4: verifica la configuración de multivía

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos
  1. Verifique que las configuraciones NVMe-oF apropiadas (por ejemplo, el modelo establecido en NetApp ONTAP Controller y la política de equilibrio de carga establecida en round-robin) para los respectivos espacios de nombres ONTAP se muestren correctamente en el host:

    1. Compruebe que la multivía NVMe en kernel esté habilitada:

      cat /sys/module/nvme_core/parameters/multipath

      La salida esperada es “Y”.

    2. Mostrar los subsistemas:

      cat /sys/class/nvme-subsystem/nvme-subsys*/model

      Debe ver la siguiente salida:

      NetApp ONTAP Controller
      NetApp ONTAP Controller
    3. Mostrar la política:

      cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      Debe ver la siguiente salida:

    round-robin
    round-robin
  2. Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

    nvme list
    Muestra el resultado de ejemplo
    Node         SN                         Model
    ---------------------------------------------------------
    /dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB	NetApp ONTAP Controller
    
    
    Namespace Usage   Format                FW            Rev
    -----------------------------------------------------------
    1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF
  3. Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

    NVMe/FC
    nvme list-subsys /dev/nvme0n1
    Muestra el resultado de ejemplo
    nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.8763d311b2ac11ed950ed039ea951c46:subsystem. ubuntu_24.04 \
    +- nvme1 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a7d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live optimized
    +- nvme2 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a8d039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live optimized
    +- nvme3 fc traddr=nn-0x20a6d039ea954d17:pn-0x20aad039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live non-optimized
    +- nvme5 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a9d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live non-optimized
    NVMe/TCP
    nvme list-subsys /dev/nvme1n1
    Muestra el resultado de ejemplo
    nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
                   hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0050-xxxx-8035-c3cxxxxa5933
                   iopolicy=round-robin
     +- nvme0 tcp traddr=192.168.166.155,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live optimized
     +- nvme1 tcp traddr=192.168.167.155,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live optimized
     +- nvme2 tcp traddr=192.168.166.156,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live non-optimized
     +- nvme3 tcp traddr=192.168.167.156,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live non-optimized
    1. Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

nvme netapp ontapdevices -o column
Muestra el resultado de ejemplo
Device        Vserver        Namespace Path          NSID UUID                                   Size
------------- -------------  ----------------------- ---- -------------------------------------- ---------
/dev/nvme0n1   vs_211_tcp    /vol/tcpvol1/ns1        1    1cc7bc78-8d7b-4d8e-a3c4-750f9461a6e9   21.47GB
JSON
nvme netapp ontapdevices -o json
Muestra el resultado de ejemplo
{

"ONTAPdevices" : [
{
      "Device":"/dev/nvme0n9",
      "Vserver":"vs_211_tcp",
      "Namespace_Path":"/vol/tcpvol9/ns9",
      "NSID":9,
      "UUID":"99640dd9-8463-4c12-8282-b525b39fc10b",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    }
  ]
}

== Paso 5: revisa los problemas conocidos

No existen problemas conocidos para la configuración de host NVMe-oF para Ubuntu 24,04 con la versión ONTAP.