Configurazione host NVMe/FC per Oracle Linux 8.3 con ONTAP
È possibile configurare NVMe over Fibre Channel (NVMe/FC) su host Initiator che eseguono Oracle Linux 8,3 e ONTAP come destinazione.
Supportabilità
NVMe over Fabrics o NVMe-of (incluso NVMe/FC) è supportato con Oracle Linux 8.3 con ANA (Asymmetric namespace Access) necessario per superare i failover dello storage (SFO) sull'array ONTAP. ANA è l'equivalente ALUA nell'ambiente NVMe-of ed è attualmente implementato con il multipath NVMe nel kernel. Usando questa procedura, puoi abilitare NVMe-of con multipath NVMe in-kernel utilizzando ANA su OL 8,3 e ONTAP come destinazione.
È possibile utilizzare le impostazioni di configurazione fornite in questo documento per configurare i client cloud connessi a. "Cloud Volumes ONTAP" e. "Amazon FSX per ONTAP". |
Caratteristiche
-
Oracle Linux 8.3 dispone di multipath NVMe in-kernel abilitato per impostazione predefinita per gli spazi dei nomi NVMe.
-
Con Oracle Linux 8,3,
nvme-fc auto-connect
gli script sono inclusi nel pacchetto nvme-cli nativo. È possibile utilizzare questi script di connessione automatica nativi invece di installare script di connessione automatica in uscita forniti dal fornitore esterno. -
Con Oracle Linux 8.3, una soluzione nativa
udev
la regola viene fornita come parte dinvme-cli
Pacchetto che consente il bilanciamento del carico round-robin per il multipath NVMe. Pertanto, non è più necessario creare manualmente questa regola. -
Con Oracle Linux 8.3, il traffico NVMe e SCSI può essere eseguito sullo stesso host coesistente. In effetti, si prevede che questa sia la configurazione host comunemente implementata. Quindi, per SCSI, è possibile configurare dm-multipath come di consueto per i LUN SCSI, generando dispositivi mpath, mentre NVMe multipath può essere utilizzato per configurare i dispositivi NVMe-of multipath (ad esempio,
/dev/nvmeXnY
) sull'host. -
Con Oracle Linux 8.3, il plug-in NetApp nel nativo
nvme-cli
Il pacchetto è in grado di visualizzare i dettagli di ONTAP e gli spazi dei nomi ONTAP.
Limitazioni note
L'avvio SAN che utilizza il protocollo NVMe-of non è attualmente supportato.
Requisiti di configurazione
Fare riferimento a. "Tool di matrice di interoperabilità NetApp (IMT)" per l'elenco corrente delle configurazioni supportate.
Abilitare NVMe/FC con Oracle Linux 8.3
-
Installare Oracle Linux 8.3 GA sul server. Una volta completata l'installazione, verificare di eseguire il kernel Oracle Linux 8.3 GA specificato. Vedere "Tool di matrice di interoperabilità NetApp" per l'elenco più aggiornato delle versioni supportate.
# uname -r 5.4.17-2011.7.4.el8uek.x86_64
-
Installare
nvme-cli
pacchetto.# rpm -qa|grep nvme-cli nvme-cli-1.12-2.el8.x86_64_
-
Sull'host Oracle Linux 8.3, controllare la stringa hostnqn all'indirizzo
/etc/nvme/hostnqn
e verificare che corrisponda a.hostnqn
Stringa per il sottosistema corrispondente sull'array ONTAP.#cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:446c21ab-f4c1-47ed-9a8f-1def96f3fed2 ::> vserver nvme subsystem host show -vserver vs_coexistance_2 Vserver Subsystem Host NQN ------- --------- ---------------------------------------------------------- vs_coexistance_2 nvme_1 nqn.2014-08.org.nvmexpress:uuid:446c21ab-f4c1-47ed-9a8f-1def96f3fed2
Se le stringhe hostnqn non corrispondono, utilizzare vserver modify
Comando per aggiornare la stringa hostnqn nel sottosistema di array ONTAP corrispondente in modo che corrisponda alla stringa hostnqn da/etc/nvme/hostnqn
sull'host. -
Riavviare l'host.
Se si intende eseguire traffico NVMe e SCSI sullo stesso host coesistente di Oracle Linux 8.3, NetApp consiglia di utilizzare il multipath NVMe nel kernel per gli spazi dei nomi ONTAP e.
dm-multipath
Rispettivamente per LUN ONTAP. Questo significa anche che gli spazi dei nomi ONTAP devono essere inseriti nella blacklistdm-multipath
per preveniredm-multipath
dal rivendicare questi dispositivi dello spazio dei nomi. Per eseguire questa operazione, aggiungere l'impostazione enable_foreign al/etc/multipath.conf
file:#cat /etc/multipath.conf defaults { enable_foreign NONE }
Riavviare il daemon multipathd eseguendo il comando systemctl restart multipathd per rendere effettiva la nuova impostazione.
Configurare l'adattatore Broadcom FC per NVMe/FC
-
Verificare di utilizzare l'adattatore supportato. Per l'elenco aggiornato degli adattatori supportati, consultare "Tool di matrice di interoperabilità NetApp".
#cat /sys/class/scsi_host/host*/modelname LPe36002-M2 LPe36002-M2
#cat /sys/class/scsi_host/host*/modeldesc Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
-
Verificare di utilizzare il firmware Broadcom lpfc e il driver della posta in arrivo consigliati. Per l'elenco più aggiornato dei driver della scheda e delle versioni firmware supportate, consultare "Tool di matrice di interoperabilità NetApp".
#cat /sys/class/scsi_host/host*/fwrev 12.8.351.49, sli-4:6:d 12.8.351.49, sli-4:6:d
#cat /sys/module/lpfc/version 0:12.6.0.3
-
Verificare che il
lpfc_enable_fc4_type
il parametro è impostato su 3.#cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Verificare che le porte dell'iniziatore siano attive e in esecuzione e che siano visualizzate le LIF di destinazione.
#cat /sys/class/fc_host/host*/port_name 0x100000109bf0447b 0x100000109bf0447c
#cat /sys/class/fc_host/host*/port_state Online Online
#cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022400 ONLINE NVME RPORT WWPN x20e1d039ea243510 WWNN x20e0d039ea243510 DID x0a0314 TARGET DISCSRVC ONLINE NVME RPORT WWPN x20e4d039ea243510 WWNN x20e0d039ea243510 DID x0a0713 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 00000003b6 Cmpl 00000003b6 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 00000000be1425e8 Issue 00000000be1425f2 OutIO 000000000000000a abort 00000251 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000c5b Err 0000d176 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x021600 ONLINE NVME RPORT WWPN x20e2d039ea243510 WWNN x20e0d039ea243510 DID x0a0213 TARGET DISCSRVC ONLINE NVME RPORT WWPN x20e3d039ea243510 WWNN x20e0d039ea243510 DID x0a0614 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000419 Cmpl 0000000419 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 00000000be37ff65 Issue 00000000be37ff84 OutIO 000000000000001f abort 0000025a noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000c89 Err 0000cd87
Abilitare le dimensioni i/o di 1 MB
ONTAP riporta un MDTS (MAX Data Transfer Size) di 8 nei dati del controller di identificazione. Ciò significa che le dimensioni massime delle richieste i/o possono essere fino a 1MB MB. Per emettere richieste di i/o di dimensioni pari a 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc
valore del lpfc_sg_seg_cnt
parametro a 256 dal valore predefinito di 64.
I seguenti passaggi non si applicano agli host Qlogic NVMe/FC. |
-
Impostare il
lpfc_sg_seg_cnt
parametro su 256:cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
Eseguire il
dracut -f
comando e riavviare l'host: -
Verificare che
lpfc_sg_seg_cnt
sia 256:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
Il valore previsto è 256.
Configurare l'adattatore FC Marvell/QLogic per NVMe/FC
Il driver inbox qla2xxx nativo incluso nel kernel OL 8,3 GA ha le ultime correzioni upstream. Queste correzioni sono essenziali per il supporto di ONTAP.
-
Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:
#cat /sys/class/fc_host/host*/symbolic_name QLE2742 FW:v9.10.11 DVR:v10.01.00.25-k QLE2742 FW:v9.10.11 DVR:v10.01.00.25-k
-
Verificare che il
ql2xnvmeenable
Il parametro viene impostato per consentire all'adattatore Marvell di funzionare come iniziatore NVMe/FC.#cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
Validare NVMe/FC
-
Verificare le seguenti impostazioni NVMe/FC sull'host Oracle Linux 8.3.
#cat /sys/module/nvme_core/parameters/multipath Y #cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller #cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host.
# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ---------------------------------------- --------- ------------------ /dev/nvme0n1 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 1 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n10 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 10 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n11 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 11 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n12 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 12 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n13 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 13 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n14 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 14 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n15 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 15 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n16 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 16 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n17 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 17 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n18 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 18 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n19 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 19 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n2 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 2 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n20 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 20 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n3 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 3 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n4 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 4 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n5 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 5 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n6 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 6 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n7 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 7 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n8 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 8 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF /dev/nvme0n9 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 9 37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
-
Verificare che lo stato del controller di ciascun percorso sia attivo e che lo stato ANA sia corretto.
# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.b79f5c6e4d0911edb3a0d039ea243511:subsystem.nvme_1 \ + +- nvme214 fc traddr=nn-0x20e0d039ea243510:pn-0x20e4d039ea243510 host_traddr=nn-0x200000109bf0447b:pn-0x100000109bf0447b live non-optimized +- nvme219 fc traddr=nn-0x20e0d039ea243510:pn-0x20e2d039ea243510 host_traddr=nn-0x200000109bf0447c:pn-0x100000109bf0447c live optimized +- nvme223 fc traddr=nn-0x20e0d039ea243510:pn-0x20e1d039ea243510 host_traddr=nn-0x200000109bf0447b:pn-0x100000109bf0447b live optimized +- nvme228 fc traddr=nn-0x20e0d039ea243510:pn-0x20e3d039ea243510 host_traddr=nn-0x200000109bf0447c:pn-0x100000109bf0447c live non-optimized
-
Verificare che il plug-in NetApp visualizzi i valori corretti per ogni dispositivo dello spazio dei nomi ONTAP.
#nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID UUID Size ---------------- ------------------------- -------------------------------------------------- ---- --------- /dev/nvme0n1 LPE36002_ASA_BL /vol/fcnvme_1_0_0/fcnvme_ns 1 ae10e16d-1fa4-49c2-8594-02bf6f3b1af1 37.58GB /dev/nvme0n10 LPE36002_ASA_BL /vol/fcnvme_1_0_9/fcnvme_ns 10 2cf00782-e2bf-40fe-8495-63e4501727cd 37.58GB /dev/nvme0n11 LPE36002_ASA_BL /vol/fcnvme_1_1_9/fcnvme_ns 11 fbefbe6c-90fe-46a2-8a51-47bad9e2eb95 37.58GB /dev/nvme0n12 LPE36002_ASA_BL /vol/fcnvme_1_1_0/fcnvme_ns 12 0e9cc8fa-d821-4f1c-8944-3003dcded864 37.58GB /dev/nvme0n13 LPE36002_ASA_BL /vol/fcnvme_1_1_1/fcnvme_ns 13 31f03b13-aaf9-4a3f-826b-d126ef007991 37.58GB /dev/nvme0n14 LPE36002_ASA_BL /vol/fcnvme_1_1_8/fcnvme_ns 14 bcf4627c-5bf9-4a51-a920-5da174ec9876 37.58GB /dev/nvme0n15 LPE36002_ASA_BL /vol/fcnvme_1_1_7/fcnvme_ns 15 239fd09d-11db-46a3-8e94-b5ebe6eb2421 37.58GB /dev/nvme0n16 LPE36002_ASA_BL /vol/fcnvme_1_1_2/fcnvme_ns 16 1d8004df-f2e8-48c8-8ccb-ce45f18a15ae 37.58GB /dev/nvme0n17 LPE36002_ASA_BL /vol/fcnvme_1_1_3/fcnvme_ns 17 4f7afbcf-3ace-4e6c-9245-cbf5bd155ef4 37.58GB /dev/nvme0n18 LPE36002_ASA_BL /vol/fcnvme_1_1_4/fcnvme_ns 18 b022c944-6ebf-4986-a28c-8d9e8ec130c9 37.58GB /dev/nvme0n19 LPE36002_ASA_BL /vol/fcnvme_1_1_5/fcnvme_ns 19 c457d0c7-bfea-43aa-97ef-c749d8612a72 37.58GB /dev/nvme0n2 LPE36002_ASA_BL /vol/fcnvme_1_0_1/fcnvme_ns 2 d2413d8b-e82e-4412-89d3-c9a751ed7716 37.58GB /dev/nvme0n20 LPE36002_ASA_BL /vol/fcnvme_1_1_6/fcnvme_ns 20 650e0d93-967d-4415-874a-36bf9c93c952 37.58GB /dev/nvme0n3 LPE36002_ASA_BL /vol/fcnvme_1_0_2/fcnvme_ns 3 09d89d9a-7835-423f-93e7-f6f3ece1dcbc 37.58GB /dev/nvme0n4 LPE36002_ASA_BL /vol/fcnvme_1_0_3/fcnvme_ns 4 d8e99326-a67c-469f-b3e9-e0e4a38c8a76 37.58GB /dev/nvme0n5 LPE36002_ASA_BL /vol/fcnvme_1_0_4/fcnvme_ns 5 c91c71f9-3e04-4844-b376-30acab6311f1 37.58GB /dev/nvme0n6 LPE36002_ASA_BL /vol/fcnvme_1_0_5/fcnvme_ns 6 4e8b4345-e5b1-4aa4-ae1a-adf0de2879ea 37.58GB /dev/nvme0n7 LPE36002_ASA_BL /vol/fcnvme_1_0_6/fcnvme_ns 7 ef715a16-a946-4bb8-8735-74f214785874 37.58GB /dev/nvme0n8 LPE36002_ASA_BL /vol/fcnvme_1_0_7/fcnvme_ns 8 4b038502-966c-49fd-9631-a17f23478ae0 37.58GB /dev/nvme0n9 LPE36002_ASA_BL /vol/fcnvme_1_0_8/fcnvme_ns 9 f565724c-992f-41f6-83b5-da1fe741c09b 37.58GB
#nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "LPE36002_ASA_BL", "Namespace_Path" : "/vol/fcnvme_1_0_0/fcnvme_ns", "NSID" : 1, "UUID" : "ae10e16d-1fa4-49c2-8594-02bf6f3b1af1", "Size" : "37.58GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 9175040 }, { "Device" : "/dev/nvme0n10", "Vserver" : "LPE36002_ASA_BL", "Namespace_Path" : "/vol/fcnvme_1_0_9/fcnvme_ns", "NSID" : 10, "UUID" : "2cf00782-e2bf-40fe-8495-63e4501727cd", "Size" : "37.58GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 9175040 }, { "Device" : "/dev/nvme0n11", "Vserver" : "LPE36002_ASA_BL", "Namespace_Path" : "/vol/fcnvme_1_1_9/fcnvme_ns", "NSID" : 11, "UUID" : "fbefbe6c-90fe-46a2-8a51-47bad9e2eb95", "Size" : "37.58GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 9175040 }, { "Device" : "/dev/nvme0n12", "Vserver" : "LPE36002_ASA_BL", "Namespace_Path" : "/vol/fcnvme_1_1_0/fcnvme_ns", "NSID" : 12, "UUID" : "0e9cc8fa-d821-4f1c-8944-3003dcded864", "Size" : "37.58GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 9175040 }, { "Device" : "/dev/nvme0n13", "Vserver" : "LPE36002_ASA_BL", "Namespace_Path" : "/vol/fcnvme_1_1_1/fcnvme_ns", "NSID" : 13, "UUID" : "31f03b13-aaf9-4a3f-826b-d126ef007991", "Size" : "37.58GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 9175040 },
Problemi noti
La configurazione dell'host NVMe-of per OL 8.3 con ONTAP presenta i seguenti problemi noti:
ID bug NetApp | Titolo | Descrizione |
---|---|---|
1517321 |
Gli host Oracle Linux 8.3 NVMe-of creano controller di rilevamento persistenti duplicati |
Negli host Oracle Linux 8.3 NVMe over Fabrics (NVMe-of), è possibile utilizzare |