NVMe-of host Configuration per Oracle Linux 9,3 con ONTAP
NVMe over Fabrics (NVMe-of), incluso NVMe over Fibre Channel (NVMe/FC) e altri trasporti, è supportato con Oracle Linux (OL) 9,3 con Asymmetric Namespace Access (ANA). Negli ambienti NVMe-of, ANA è l'equivalente del multipathing ALUA in ambienti iSCSI e FC ed è implementato con multipath NVMe nel kernel.
Il seguente supporto è disponibile per la configurazione host NVMe-of per OL 9,3 con ONTAP:
-
Supporto per NVMe su TCP (NVMe/TCP) oltre a NVMe/FC. Il plug-in NetApp nel pacchetto nvme-cli nativo visualizza i dettagli ONTAP per gli spazi dei nomi NVMe/FC e NVMe/TCP.
-
Utilizzo di traffico NVMe e SCSI coesistente sullo stesso host su un determinato HBA (host bus adapter), senza le impostazioni esplicite di dm-multipath per impedire la richiesta di spazi dei nomi NVMe.
Per ulteriori informazioni sulle configurazioni supportate, consultare "Tool di matrice di interoperabilità NetApp".
Caratteristiche
Oracle Linux 9,3 ha il multipath NVMe in-kernel abilitato per gli spazi dei nomi NVMe per impostazione predefinita, pertanto non sono necessarie impostazioni esplicite.
Limitazioni note
L'avvio SAN che utilizza il protocollo NVMe-of non è attualmente supportato.
Convalidare le versioni software
È possibile utilizzare la seguente procedura per convalidare le versioni minime del software OL 9,3 supportate.
-
Installare OL 9,3 GA sul server. Una volta completata l'installazione, verificare di eseguire il kernel OL 9,3 GA specificato.
# uname -r
Esempio di output:
5.15.0-200.131.27.el9uek.x86_64
-
Installare
nvme-cli
pacchetto:# rpm -qa|grep nvme-cli
Esempio di output:
nvme-cli-2.4-10.el9.x86_64
-
Installare
libnvme
pacchetto:#rpm -qa|grep libnvme
Esempio di output
libnvme-1.4-7.el9.x86_64
-
Sull'host Oracle Linux 9,3, controllare la
hostnqn
stringa su/etc/nvme/hostnqn
:# cat /etc/nvme/hostnqn
Esempio di output:
nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053
-
Verificare che il
hostnqn
la stringa corrisponde a.hostnqn
Stringa per il sottosistema corrispondente sull'array ONTAP:::> vserver nvme subsystem host show -vserver vs_ol_nvme
Esempio di output:
Vserver Subsystem Host NQN ----------- --------------- ---------------------------------------------------------- vs_ol_nvme nvme nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053
Se il hostnqn
le stringhe non corrispondono, è possibile utilizzarevserver modify
per aggiornarehostnqn
Stringa sul sottosistema di array ONTAP corrispondente ahostnqn
stringa da/etc/nvme/hostnqn
sull'host.
Configurare NVMe/FC
È possibile configurare NVMe/FC per gli adattatori Broadcom/Emulex o Marvell/Qlogic.
-
Verificare di utilizzare il modello di adattatore supportato:
# cat /sys/class/scsi_host/host*/modelname
Esempio di output:
LPe36002-M2 LPe36002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Esempio di output:
Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter
-
Verificare di utilizzare il Broadcom consigliato
lpfc
firmware e driver della posta in arrivo:# cat /sys/class/scsi_host/host*/fwrev 14.2.673.40, sli-4:2:c 14.2.673.40, sli-4:2:c
# cat /sys/module/lpfc/version 0:14.2.0.13
Per l'elenco più aggiornato delle versioni firmware e dei driver della scheda di rete supportati, consultare "Tool di matrice di interoperabilità NetApp".
-
Verificare che
lpfc_enable_fc4_type
è impostato su3
:# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Verificare che le porte dell'iniziatore siano attive e in esecuzione e che siano visualizzate le LIF di destinazione:
# cat /sys/class/fc_host/host*/port_name 0x100000620b3c089c 0x100000620b3c089d
# cat /sys/class/fc_host/host*/port_state Online Online
Mostra output di esempio
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000620b3c089c WWNN x200000620b3c089c DID x062f00 ONLINE NVME RPORT WWPN x2019d039ea9ea480 WWNN x2018d039ea9ea480 DID x061b06 TARGET DISCSRVC ONLINE NVME RPORT WWPN x201cd039ea9ea480 WWNN x2018d039ea9ea480 DID x062706 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f03 Cmpl 0000000efa Abort 0000004a LS XMIT: Err 00000009 CMPL: xb 0000004a Err 0000004a Total FCP Cmpl 00000000b9b3486a Issue 00000000b97ba0d2 OutIO ffffffffffc85868 abort 00000afc noxri 00000000 nondlp 00002e34 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 0000138c Err 00014750 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000620b3c089d WWNN x200000620b3c089d DID x062400 ONLINE NVME RPORT WWPN x201ad039ea9ea480 WWNN x2018d039ea9ea480 DID x060206 TARGET DISCSRVC ONLINE NVME RPORT WWPN x201dd039ea9ea480 WWNN x2018d039ea9ea480 DID x061305 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000b40 Cmpl 0000000b40 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 00000000b9a9f03f Issue 00000000b96e622e OutIO ffffffffffc471ef abort 0000090d noxri 00000000 nondlp 00003b3f qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 000010a5 Err 000147e4
Il driver inbox qla2xxx nativo incluso nel kernel OL 9,3 GA ha le ultime correzioni upstream. Queste correzioni sono essenziali per il supporto di ONTAP.
-
Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:
# cat /sys/class/fc_host/host*/symbolic_name QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k
-
Verificare che
ql2xnvmeenable
è impostato. Ciò consente all'adattatore Marvell di funzionare come iniziatore NVMe/FC:# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
Abilita dimensione i/o 1 MB (opzionale)
ONTAP riporta un MDTS (MAX Data Transfer Size) di 8 nei dati del controller di identificazione. Ciò significa che le dimensioni massime delle richieste i/o possono essere fino a 1MB MB. Per emettere richieste di i/o di dimensioni pari a 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc
valore del lpfc_sg_seg_cnt
parametro a 256 dal valore predefinito di 64.
I seguenti passaggi non si applicano agli host Qlogic NVMe/FC. |
-
Impostare il
lpfc_sg_seg_cnt
parametro su 256:cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
Eseguire il
dracut -f
comando e riavviare l'host: -
Verificare che
lpfc_sg_seg_cnt
sia 256:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
Il valore previsto è 256.
Configurare NVMe/TCP
NVMe/TCP non dispone di funzionalità di connessione automatica. Pertanto, è necessario eseguire manualmente la funzionalità di connessione o connessione NVMe/TCP per rilevare i sottosistemi NVMe/TCP e i namespace. Puoi utilizzare la seguente procedura per configurare NVMe/TCP.
-
Verificare che la porta iniziatore possa recuperare i dati della pagina del registro di rilevamento attraverso le LIF NVMe/TCP supportate:
nvme discover -t tcp -w host-traddr -a traddr
Mostra esempio
# nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56 Discovery Log Number of Records 4, Generation counter 10 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 2 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery traddr: 192.168.165.56 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: current discovery subsystem treq: not specified portid: 1 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery traddr: 192.168.166.56 eflags: explicit discovery connections, duplicate discovery information sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 2 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95 traddr: 192.168.165.56 eflags: none sectype: none ..........
-
Verificare che le altre combinazioni LIF iniziatore-destinazione NVMe/TCP possano recuperare correttamente i dati della pagina del registro di rilevamento:
nvme discover -t tcp -w host-traddr -a traddr
Esempio di output:
# nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56 # nvme discover -t tcp -w 192.168.165.3 -a 192.168.165.56
-
Eseguire
nvme connect-all
Command tra tutti i LIF target initiator NVMe/TCP supportati nei nodi:nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>
Esempio di output:
# nvme connect-all -t tcp -w 192.168.166.4 -a 192.168.166.56 -l -1 # nvme connect-all -t tcp -w 192.168.165.3 -a 192.168.165.56 -l -1
NetApp consiglia di impostare ctrl-loss-tmo
opzione a.-1
In modo che l'iniziatore NVMe/TCP tenti di riconnettersi a tempo indeterminato in caso di perdita di percorso.
Validare NVMe-of
È possibile utilizzare la seguente procedura per convalidare NVMe-of.
-
Verificare le seguenti impostazioni NVMe/FC sull'host OL 9.3:
# cat /sys/module/nvme_core/parameters/multipath Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:
# nvme list
Esempio di output:
Node SN Model --------------------------------------------------------- /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller Namespace Usage Format FW Rev ----------------------------------------------------------- 1 21.47 GB / 21.47 GB 4 KiB + 0 B FFFFFFFF 2 21.47 GB / 21.47 GB 4 KiB + 0 B FFFFFFFF 3 21.47 GB/ 21.47 GB 4 KiB + 0 B FFFFFFFF
-
Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:
NVMe/FC# nvme list-subsys /dev/nvme0n1
Esempio di output:
nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.4aa0fa76c92c11eeb301d039eab0dadd:subsystem.rhel_213 \ +- nvme3 fc traddr=nn-0x2018d039ea9ea480:pn-0x201dd039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live non-optimized +- nvme4 fc traddr=nn-0x2018d039ea9ea480:pn-0x201cd039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live non-optimized +- nvme6 fc traddr=nn-0x2018d039ea9ea480:pn-0x2019d039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live optimized +- nvme7 fc traddr=nn-0x2018d039ea9ea480:pn-0x201ad039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live optimized
NVMe/TCPnvme list-subsys /dev/nvme1n22
Esempio di output
nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95 \ +- nvme2 tcp traddr=192.168.166.56,trsvcid=4420,host_traddr=192.168.166.4,src_addr=192.168.166.4 live optimized +- nvme3 tcp traddr=192.168.165.56,trsvcid=4420,host_traddr=192.168.165.3,src_addr=192.168.165.3 live non-optimized
-
Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:
Colonna# nvme netapp ontapdevices -o column
Esempio di output:
Device Vserver Namespace Path ----------------------- ------------------------------ /dev/nvme5n6 vs_nvme175 /vol/vol6/ns /dev/nvme5n7 vs_nvme175 /vol/vol7/ns /dev/nvme5n8 vs_nvme175 /vol/vol8/ns NSID UUID Size ------------------------------------------------------------ 6 72b887b1-5fb6-47b8-be0b-33326e2542e2 21.47GB 7 04bf9f6e-9031-40ea-99c7-a1a61b2d7d08 21.47GB 8 264823b1-8e03-4155-80dd-e904237014a4 21.47GB
JSON# nvme netapp ontapdevices -o json
Esempio di output
{ "ONTAPdevices":[ { "Device":"/dev/nvme5n1", "Vserver":"vs_nvme175", "Namespace_Path":"/vol/vol1/ns", "NSID":1, "UUID":"d4791955-07c9-44fc-b41c-d1c39d3d9b5b", "Size":"21.47GB", "LBA_Data_Size":4096, "Namespace_Size":5242880 }, { "Device":"/dev/nvme5n10", "Vserver":"vs_nvme175", "Namespace_Path":"/vol/vol10/ns", "NSID":10, "UUID":"f3a4ce94-bcc5-4ff0-9e52-e59030bbc97f", "Size":"21.47GB", "LBA_Data_Size":4096, "Namespace_Size":5242880 }, { "Device":"/dev/nvme5n11", "Vserver":"vs_nvme175", "Namespace_Path":"/vol/vol11/ns", "NSID":11, "UUID":"0bf171d2-51f7-4a00-8f6a-0ea2190885a2", "Size":"21.47GB", "LBA_Data_Size":4096, "Namespace_Size":5242880 }, ] }
Problemi noti
Non ci sono problemi noti per Oracle Linux 9,3 con ONTAP release.