Skip to main content
SAN hosts and cloud clients
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

NVMe-of host Configuration per Oracle Linux 9,3 con ONTAP

Collaboratori

NVMe over Fabrics (NVMe-of), incluso NVMe over Fibre Channel (NVMe/FC) e altri trasporti, è supportato con Oracle Linux (OL) 9,3 con Asymmetric Namespace Access (ANA). Negli ambienti NVMe-of, ANA è l'equivalente del multipathing ALUA in ambienti iSCSI e FC ed è implementato con multipath NVMe nel kernel.

Il seguente supporto è disponibile per la configurazione host NVMe-of per OL 9,3 con ONTAP:

  • Supporto per NVMe su TCP (NVMe/TCP) oltre a NVMe/FC. Il plug-in NetApp nel pacchetto nvme-cli nativo visualizza i dettagli ONTAP per gli spazi dei nomi NVMe/FC e NVMe/TCP.

  • Utilizzo di traffico NVMe e SCSI coesistente sullo stesso host su un determinato HBA (host bus adapter), senza le impostazioni esplicite di dm-multipath per impedire la richiesta di spazi dei nomi NVMe.

Per ulteriori informazioni sulle configurazioni supportate, consultare "Tool di matrice di interoperabilità NetApp".

Caratteristiche

Oracle Linux 9,3 ha il multipath NVMe in-kernel abilitato per gli spazi dei nomi NVMe per impostazione predefinita, pertanto non sono necessarie impostazioni esplicite.

Limitazioni note

L'avvio SAN che utilizza il protocollo NVMe-of non è attualmente supportato.

Convalidare le versioni software

È possibile utilizzare la seguente procedura per convalidare le versioni minime del software OL 9,3 supportate.

Fasi
  1. Installare OL 9,3 GA sul server. Una volta completata l'installazione, verificare di eseguire il kernel OL 9,3 GA specificato.

    # uname -r

    Esempio di output:

    5.15.0-200.131.27.el9uek.x86_64
  2. Installare nvme-cli pacchetto:

    # rpm -qa|grep nvme-cli

    Esempio di output:

    nvme-cli-2.4-10.el9.x86_64
  3. Installare libnvme pacchetto:

    #rpm -qa|grep libnvme

    Esempio di output

    libnvme-1.4-7.el9.x86_64
  4. Sull'host Oracle Linux 9,3, controllare la hostnqn stringa su /etc/nvme/hostnqn:

    # cat /etc/nvme/hostnqn

    Esempio di output:

    nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053
  5. Verificare che il hostnqn la stringa corrisponde a. hostnqn Stringa per il sottosistema corrispondente sull'array ONTAP:

    ::> vserver nvme subsystem host show -vserver vs_ol_nvme

    Esempio di output:

    Vserver     Subsystem          Host NQN
    ----------- --------------- ----------------------------------------------------------
    vs_ol_nvme   nvme              nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053
    Nota Se il hostnqn le stringhe non corrispondono, è possibile utilizzare vserver modify per aggiornare hostnqn Stringa sul sottosistema di array ONTAP corrispondente a hostnqn stringa da /etc/nvme/hostnqn sull'host.

Configurare NVMe/FC

È possibile configurare NVMe/FC per gli adattatori Broadcom/Emulex o Marvell/Qlogic.

Broadcom/Emulex
Fasi
  1. Verificare di utilizzare il modello di adattatore supportato:

    # cat /sys/class/scsi_host/host*/modelname

    Esempio di output:

    LPe36002-M2
    LPe36002-M2
    # cat /sys/class/scsi_host/host*/modeldesc

    Esempio di output:

    Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter
    Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter
  2. Verificare di utilizzare il Broadcom consigliato lpfc firmware e driver della posta in arrivo:

    # cat /sys/class/scsi_host/host*/fwrev
    14.2.673.40, sli-4:2:c
    14.2.673.40, sli-4:2:c
    # cat /sys/module/lpfc/version
    0:14.2.0.13

    Per l'elenco più aggiornato delle versioni firmware e dei driver della scheda di rete supportati, consultare "Tool di matrice di interoperabilità NetApp".

  3. Verificare che lpfc_enable_fc4_type è impostato su 3:

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
    3
  4. Verificare che le porte dell'iniziatore siano attive e in esecuzione e che siano visualizzate le LIF di destinazione:

    # cat /sys/class/fc_host/host*/port_name
    0x100000620b3c089c
    0x100000620b3c089d
    # cat /sys/class/fc_host/host*/port_state
    Online
    Online
    Mostra output di esempio
    # cat /sys/class/scsi_host/host*/nvme_info
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc0 WWPN x100000620b3c089c WWNN x200000620b3c089c DID x062f00 ONLINE
    NVME RPORT       WWPN x2019d039ea9ea480 WWNN x2018d039ea9ea480 DID x061b06 TARGET DISCSRVC ONLINE
    NVME RPORT       WWPN x201cd039ea9ea480 WWNN x2018d039ea9ea480 DID x062706 TARGET DISCSRVC ONLINE
    
    NVME Statistics
    LS: Xmt 0000000f03 Cmpl 0000000efa Abort 0000004a
    LS XMIT: Err 00000009  CMPL: xb 0000004a Err 0000004a
    Total FCP Cmpl 00000000b9b3486a Issue 00000000b97ba0d2 OutIO ffffffffffc85868
    abort 00000afc noxri 00000000 nondlp 00002e34 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 0000138c Err 00014750
    
    NVME Initiator Enabled
    XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc1 WWPN x100000620b3c089d WWNN x200000620b3c089d DID x062400 ONLINE
    NVME RPORT       WWPN x201ad039ea9ea480 WWNN x2018d039ea9ea480 DID x060206 TARGET DISCSRVC ONLINE
    NVME RPORT       WWPN x201dd039ea9ea480 WWNN x2018d039ea9ea480 DID x061305 TARGET DISCSRVC ONLINE
    
    NVME Statistics
    LS: Xmt 0000000b40 Cmpl 0000000b40 Abort 00000000
    LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 00000000b9a9f03f Issue 00000000b96e622e OutIO ffffffffffc471ef
    abort 0000090d noxri 00000000 nondlp 00003b3f qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 000010a5 Err 000147e4
Adattatore FC Marvell/QLogic per NVMe/FC

Il driver inbox qla2xxx nativo incluso nel kernel OL 9,3 GA ha le ultime correzioni upstream. Queste correzioni sono essenziali per il supporto di ONTAP.

Fasi
  1. Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:

    # cat /sys/class/fc_host/host*/symbolic_name
    QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k
    QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k
  2. Verificare che ql2xnvmeenable è impostato. Ciò consente all'adattatore Marvell di funzionare come iniziatore NVMe/FC:

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
    1

Abilita dimensione i/o 1 MB (opzionale)

ONTAP riporta un MDTS (MAX Data Transfer Size) di 8 nei dati del controller di identificazione. Ciò significa che le dimensioni massime delle richieste i/o possono essere fino a 1MB MB. Per emettere richieste di i/o di dimensioni pari a 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Nota I seguenti passaggi non si applicano agli host Qlogic NVMe/FC.
Fasi
  1. Impostare il lpfc_sg_seg_cnt parametro su 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256
  2. Eseguire il dracut -f comando e riavviare l'host:

  3. Verificare che lpfc_sg_seg_cnt sia 256:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

    Il valore previsto è 256.

Configurare NVMe/TCP

NVMe/TCP non dispone di funzionalità di connessione automatica. Pertanto, è necessario eseguire manualmente la funzionalità di connessione o connessione NVMe/TCP per rilevare i sottosistemi NVMe/TCP e i namespace. Puoi utilizzare la seguente procedura per configurare NVMe/TCP.

Fasi
  1. Verificare che la porta iniziatore possa recuperare i dati della pagina del registro di rilevamento attraverso le LIF NVMe/TCP supportate:

    nvme discover -t tcp -w host-traddr -a traddr
    Mostra esempio
    # nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56
    
    Discovery Log Number of Records 4, Generation counter 10
    =====Discovery Log Entry 0======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  2
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery
    traddr:  192.168.165.56
    eflags:  explicit discovery connections, duplicate discovery information
    sectype: none
    =====Discovery Log Entry 1======
    trtype:  tcp
    adrfam:  ipv4
    subtype: current discovery subsystem
    treq:    not specified
    portid:  1
    trsvcid: 8009
    subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery
    traddr:  192.168.166.56
    eflags:  explicit discovery connections, duplicate discovery information
    sectype: none
    =====Discovery Log Entry 2======
    trtype:  tcp
    adrfam:  ipv4
    subtype: nvme subsystem
    treq:    not specified
    portid:  2
    trsvcid: 4420
    subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95
    traddr:  192.168.165.56
    eflags:  none
    sectype: none
    ..........
  2. Verificare che le altre combinazioni LIF iniziatore-destinazione NVMe/TCP possano recuperare correttamente i dati della pagina del registro di rilevamento:

    nvme discover -t tcp -w host-traddr -a traddr

    Esempio di output:

    # nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56
    # nvme discover -t tcp -w 192.168.165.3 -a 192.168.165.56
  3. Eseguire nvme connect-all Command tra tutti i LIF target initiator NVMe/TCP supportati nei nodi:

    nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>

    Esempio di output:

    # nvme connect-all -t tcp -w 192.168.166.4 -a 192.168.166.56 -l -1
    # nvme connect-all -t tcp -w 192.168.165.3 -a 192.168.165.56 -l -1
    Nota NetApp consiglia di impostare ctrl-loss-tmo opzione a. -1 In modo che l'iniziatore NVMe/TCP tenti di riconnettersi a tempo indeterminato in caso di perdita di percorso.

Validare NVMe-of

È possibile utilizzare la seguente procedura per convalidare NVMe-of.

Fasi
  1. Verificare le seguenti impostazioni NVMe/FC sull'host OL 9.3:

    # cat /sys/module/nvme_core/parameters/multipath
    Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
    NetApp ONTAP Controller
    NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
    round-robin
    round-robin
  2. Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:

    # nvme list

    Esempio di output:

    Node         SN                   Model
    ---------------------------------------------------------
    /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    
    
    Namespace Usage    Format             FW             Rev
    -----------------------------------------------------------
    1                 21.47 GB / 21.47 GB  4 KiB + 0 B   FFFFFFFF
    2                 21.47 GB / 21.47 GB  4 KiB + 0 B  FFFFFFFF
    3	                21.47 GB/ 21.47 GB 4 KiB + 0 B   FFFFFFFF
  3. Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:

    NVMe/FC
    # nvme list-subsys /dev/nvme0n1

    Esempio di output:

    nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.4aa0fa76c92c11eeb301d039eab0dadd:subsystem.rhel_213
    \
     +- nvme3 fc traddr=nn-0x2018d039ea9ea480:pn-0x201dd039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live non-optimized
     +- nvme4 fc traddr=nn-0x2018d039ea9ea480:pn-0x201cd039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live non-optimized
     +- nvme6 fc traddr=nn-0x2018d039ea9ea480:pn-0x2019d039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live optimized
     +- nvme7 fc traddr=nn-0x2018d039ea9ea480:pn-0x201ad039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live optimized
    NVMe/TCP
    nvme list-subsys /dev/nvme1n22

    Esempio di output

    nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95
    \
     +- nvme2 tcp traddr=192.168.166.56,trsvcid=4420,host_traddr=192.168.166.4,src_addr=192.168.166.4 live optimized
     +- nvme3 tcp traddr=192.168.165.56,trsvcid=4420,host_traddr=192.168.165.3,src_addr=192.168.165.3 live non-optimized
  4. Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:

    Colonna
    # nvme netapp ontapdevices -o column

    Esempio di output:

    Device        Vserver   Namespace Path
    ----------------------- ------------------------------
    /dev/nvme5n6     vs_nvme175                /vol/vol6/ns
    /dev/nvme5n7     vs_nvme175                /vol/vol7/ns
    /dev/nvme5n8     vs_nvme175                /vol/vol8/ns
    
    
    
    
    NSID       UUID                                   Size
    ------------------------------------------------------------
    6          72b887b1-5fb6-47b8-be0b-33326e2542e2   21.47GB
    7          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   21.47GB
    8          264823b1-8e03-4155-80dd-e904237014a4   21.47GB
    JSON
    # nvme netapp ontapdevices -o json

    Esempio di output

    {
      "ONTAPdevices":[
        {
          "Device":"/dev/nvme5n1",
          "Vserver":"vs_nvme175",
          "Namespace_Path":"/vol/vol1/ns",
          "NSID":1,
          "UUID":"d4791955-07c9-44fc-b41c-d1c39d3d9b5b",
          "Size":"21.47GB",
          "LBA_Data_Size":4096,
          "Namespace_Size":5242880
        },
        {
          "Device":"/dev/nvme5n10",
          "Vserver":"vs_nvme175",
          "Namespace_Path":"/vol/vol10/ns",
          "NSID":10,
          "UUID":"f3a4ce94-bcc5-4ff0-9e52-e59030bbc97f",
          "Size":"21.47GB",
          "LBA_Data_Size":4096,
          "Namespace_Size":5242880
        },
        {
          "Device":"/dev/nvme5n11",
          "Vserver":"vs_nvme175",
          "Namespace_Path":"/vol/vol11/ns",
          "NSID":11,
          "UUID":"0bf171d2-51f7-4a00-8f6a-0ea2190885a2",
          "Size":"21.47GB",
          "LBA_Data_Size":4096,
          "Namespace_Size":5242880
        },
      ]
    }

Problemi noti

Non ci sono problemi noti per Oracle Linux 9,3 con ONTAP release.