La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Configurazione host NVMe/FC per Oracle Linux 8.3 con ONTAP

12/21/2023 Collaboratori

PDF

Supportabilità

NVMe over Fabrics o NVMe-of (incluso NVMe/FC) è supportato con Oracle Linux 8.3 con ANA (Asymmetric namespace Access) necessario per superare i failover dello storage (SFO) sull'array ONTAP. ANA è l'equivalente ALUA nell'ambiente NVMe-of ed è attualmente implementato con il multipath NVMe nel kernel. Questo documento contiene i dettagli per abilitare NVMe-of con multipath NVMe nel kernel utilizzando ANA su OL 8.3 e ONTAP come destinazione.

È possibile utilizzare le impostazioni di configurazione fornite in questo documento per configurare i client cloud connessi a. "Cloud Volumes ONTAP" e. "Amazon FSX per ONTAP".

Caratteristiche

Oracle Linux 8.3 dispone di multipath NVMe in-kernel abilitato per impostazione predefinita per gli spazi dei nomi NVMe.
Con Oracle Linux 8.3, nvme-fc auto-connect gli script sono inclusi nel pacchetto nvme-cli nativo. Puoi affidarti a questi script nativi di connessione automatica invece di installare gli script di connessione automatica forniti da un vendor esterno.
Con Oracle Linux 8.3, una soluzione nativa udev la regola viene fornita come parte di nvme-cli Pacchetto che consente il bilanciamento del carico round-robin per il multipath NVMe. Pertanto, non è più necessario creare manualmente questa regola.
Con Oracle Linux 8.3, il traffico NVMe e SCSI può essere eseguito sullo stesso host coesistente. In effetti, si prevede che questa sia la configurazione host comunemente implementata. Quindi, per SCSI, è possibile configurare dm-multipath come di consueto per i LUN SCSI, generando dispositivi mpath, mentre NVMe multipath può essere utilizzato per configurare i dispositivi NVMe-of multipath (ad esempio, /dev/nvmeXnY) sull'host.
Con Oracle Linux 8.3, il plug-in NetApp nel nativo nvme-cli Il pacchetto è in grado di visualizzare i dettagli di ONTAP e gli spazi dei nomi ONTAP.

Limitazioni note

L'avvio SAN che utilizza il protocollo NVMe-of non è attualmente supportato.

Requisiti di configurazione

Fare riferimento a. "Tool di matrice di interoperabilità NetApp (IMT)" per l'elenco corrente delle configurazioni supportate.

Abilitare NVMe/FC con Oracle Linux 8.3

Fasi

Installare Oracle Linux 8.3 GA sul server. Una volta completata l'installazione, verificare di eseguire il kernel Oracle Linux 8.3 GA specificato. Vedere "Tool di matrice di interoperabilità NetApp" per l'elenco più aggiornato delle versioni supportate.
```
# uname -r
5.4.17-2011.7.4.el8uek.x86_64
```

Installare nvme-cli pacchetto.

# rpm -qa|grep nvme-cli

nvme-cli-1.12-2.el8.x86_64_

Sull'host Oracle Linux 8.3, controllare la stringa hostnqn all'indirizzo /etc/nvme/hostnqn e verificare che corrisponda a. hostnqn Stringa per il sottosistema corrispondente sull'array ONTAP.

#cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:446c21ab-f4c1-47ed-9a8f-1def96f3fed2

::> vserver nvme subsystem host show -vserver vs_coexistance_2
Vserver   Subsystem      Host NQN
------- --------- ----------------------------------------------------------
vs_coexistance_2 nvme_1 nqn.2014-08.org.nvmexpress:uuid:446c21ab-f4c1-47ed-9a8f-1def96f3fed2

Se le stringhe hostnqn non corrispondono, utilizzare vserver modify Comando per aggiornare la stringa hostnqn nel sottosistema di array ONTAP corrispondente in modo che corrisponda alla stringa hostnqn da /etc/nvme/hostnqn sull'host.

Riavviare l'host.

Se si intende eseguire traffico NVMe e SCSI sullo stesso host coesistente di Oracle Linux 8.3, NetApp consiglia di utilizzare il multipath NVMe nel kernel per gli spazi dei nomi ONTAP e. dm-multipath Rispettivamente per LUN ONTAP. Questo significa anche che gli spazi dei nomi ONTAP devono essere inseriti nella blacklist dm-multipath per prevenire dm-multipath dal rivendicare questi dispositivi dello spazio dei nomi. Per eseguire questa operazione, aggiungere l'impostazione enable_foreign al /etc/multipath.conf file:

#cat /etc/multipath.conf
defaults {
   enable_foreign  NONE
}

Riavviare il daemon multipathd eseguendo il comando systemctl restart multipathd per rendere effettiva la nuova impostazione.

Configurare l'adattatore Broadcom FC per NVMe/FC

Fasi

Verificare di utilizzare l'adattatore supportato. Per l'elenco aggiornato degli adattatori supportati, consultare "Tool di matrice di interoperabilità NetApp".

#cat /sys/class/scsi_host/host*/modelname
LPe36002-M2
LPe36002-M2

#cat /sys/class/scsi_host/host*/modeldesc
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter

Verificare di utilizzare il firmware Broadcom lpfc e il driver della posta in arrivo consigliati. Per l'elenco più aggiornato dei driver della scheda e delle versioni firmware supportate, consultare "Tool di matrice di interoperabilità NetApp".
```
#cat /sys/class/scsi_host/host*/fwrev
12.8.351.49, sli-4:6:d
12.8.351.49, sli-4:6:d
```
```
#cat /sys/module/lpfc/version
0:12.6.0.3
```
Verificare che il lpfc_enable_fc4_type il parametro è impostato su 3.
```
#cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3
```

Verificare che le porte dell'iniziatore siano attive e in esecuzione e che siano visualizzate le LIF di destinazione.

#cat /sys/class/fc_host/host*/port_name
0x100000109bf0447b
0x100000109bf0447c

#cat /sys/class/fc_host/host*/port_state
Online
Online

#cat /sys/class/scsi_host/host*/nvme_info

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022400 ONLINE
NVME RPORT WWPN x20e1d039ea243510 WWNN x20e0d039ea243510 DID x0a0314 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x20e4d039ea243510 WWNN x20e0d039ea243510 DID x0a0713 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 00000003b6 Cmpl 00000003b6 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000be1425e8 Issue 00000000be1425f2 OutIO 000000000000000a
abort 00000251 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000c5b Err 0000d176

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x021600 ONLINE
NVME RPORT WWPN x20e2d039ea243510 WWNN x20e0d039ea243510 DID x0a0213 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x20e3d039ea243510 WWNN x20e0d039ea243510 DID x0a0614 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000419 Cmpl 0000000419 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000be37ff65 Issue 00000000be37ff84 OutIO 000000000000001f
abort 0000025a noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000c89 Err 0000cd87

Abilitare le dimensioni i/o di 1 MB

ONTAP riporta un MDTS (MAX Data Transfer Size) di 8 nei dati del controller di identificazione, il che significa che la dimensione massima della richiesta di i/o può essere fino a 1 MB. Tuttavia, per emettere richieste di i/o di dimensione 1 MB per un host Broadcom NVMe/FC, è necessario aumentare lpfc valore di lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Fasi

Impostare lpfc_sg_seg_cnt parametro a 256.

# cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256

Eseguire un dracut -f e riavviare l'host.

Verificare che lpfc_sg_seg_cnt è 256.

# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256

Non applicabile agli host Qlogic NVMe/FC.

Configurare l'adattatore FC Marvell/QLogic per NVMe/FC

Fasi

Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate. Il driver nativo qla2xxx della posta in arrivo incluso nel kernel OL 8.3 GA presenta le ultime correzioni upstream essenziali per il supporto di ONTAP.
```
#cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.10.11 DVR:v10.01.00.25-k
QLE2742 FW:v9.10.11 DVR:v10.01.00.25-k
```
Verificare che il ql2xnvmeenable Il parametro viene impostato per consentire all'adattatore Marvell di funzionare come iniziatore NVMe/FC.
```
#cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1
```

Validare NVMe/FC

Fasi

Verificare le seguenti impostazioni NVMe/FC sull'host Oracle Linux 8.3.

#cat /sys/module/nvme_core/parameters/multipath
Y

#cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller

#cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host.

# nvme list
Node         SN                   Model                  Namespace Usage              Format FW Rev
---------------- -------------------- ---------------------------------------- --------- ------------------
/dev/nvme0n1 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 1        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n10 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 10      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n11 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 11      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n12 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 12      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n13 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 13      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n14 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 14      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n15 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 15      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n16 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 16      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n17 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 17      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n18 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 18      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n19 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 19      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n2 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 2        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n20 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 20      37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n3 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 3        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n4 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 4        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n5 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 5        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n6 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 6        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n7 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 7        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n8 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 8        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF
/dev/nvme0n9 81Ec-JRMlkL9AAAAAAAB NetApp ONTAP Controller 9        37.58 GB / 37.58 GB 4 KiB + 0 B FFFFFFFF

Verificare che lo stato del controller di ciascun percorso sia attivo e che lo stato ANA sia corretto.

# nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.b79f5c6e4d0911edb3a0d039ea243511:subsystem.nvme_1
\ +
+- nvme214 fc traddr=nn-0x20e0d039ea243510:pn-0x20e4d039ea243510 host_traddr=nn-0x200000109bf0447b:pn-0x100000109bf0447b live non-optimized
+- nvme219 fc traddr=nn-0x20e0d039ea243510:pn-0x20e2d039ea243510 host_traddr=nn-0x200000109bf0447c:pn-0x100000109bf0447c live optimized
+- nvme223 fc traddr=nn-0x20e0d039ea243510:pn-0x20e1d039ea243510 host_traddr=nn-0x200000109bf0447b:pn-0x100000109bf0447b live optimized
+- nvme228 fc traddr=nn-0x20e0d039ea243510:pn-0x20e3d039ea243510 host_traddr=nn-0x200000109bf0447c:pn-0x100000109bf0447c live non-optimized

Verificare che il plug-in NetApp visualizzi i valori corretti per ogni dispositivo dello spazio dei nomi ONTAP.

#nvme netapp ontapdevices -o column
Device      Vserver         Namespace Path             NSID UUID                               Size
---------------- ------------------------- -------------------------------------------------- ---- ---------
/dev/nvme0n1 LPE36002_ASA_BL /vol/fcnvme_1_0_0/fcnvme_ns 1 ae10e16d-1fa4-49c2-8594-02bf6f3b1af1 37.58GB
/dev/nvme0n10 LPE36002_ASA_BL /vol/fcnvme_1_0_9/fcnvme_ns 10 2cf00782-e2bf-40fe-8495-63e4501727cd 37.58GB
/dev/nvme0n11 LPE36002_ASA_BL /vol/fcnvme_1_1_9/fcnvme_ns 11 fbefbe6c-90fe-46a2-8a51-47bad9e2eb95 37.58GB
/dev/nvme0n12 LPE36002_ASA_BL /vol/fcnvme_1_1_0/fcnvme_ns 12 0e9cc8fa-d821-4f1c-8944-3003dcded864 37.58GB
/dev/nvme0n13 LPE36002_ASA_BL /vol/fcnvme_1_1_1/fcnvme_ns 13 31f03b13-aaf9-4a3f-826b-d126ef007991 37.58GB
/dev/nvme0n14 LPE36002_ASA_BL /vol/fcnvme_1_1_8/fcnvme_ns 14 bcf4627c-5bf9-4a51-a920-5da174ec9876 37.58GB
/dev/nvme0n15 LPE36002_ASA_BL /vol/fcnvme_1_1_7/fcnvme_ns 15 239fd09d-11db-46a3-8e94-b5ebe6eb2421 37.58GB
/dev/nvme0n16 LPE36002_ASA_BL /vol/fcnvme_1_1_2/fcnvme_ns 16 1d8004df-f2e8-48c8-8ccb-ce45f18a15ae 37.58GB
/dev/nvme0n17 LPE36002_ASA_BL /vol/fcnvme_1_1_3/fcnvme_ns 17 4f7afbcf-3ace-4e6c-9245-cbf5bd155ef4 37.58GB
/dev/nvme0n18 LPE36002_ASA_BL /vol/fcnvme_1_1_4/fcnvme_ns 18 b022c944-6ebf-4986-a28c-8d9e8ec130c9 37.58GB
/dev/nvme0n19 LPE36002_ASA_BL /vol/fcnvme_1_1_5/fcnvme_ns 19 c457d0c7-bfea-43aa-97ef-c749d8612a72 37.58GB
/dev/nvme0n2 LPE36002_ASA_BL /vol/fcnvme_1_0_1/fcnvme_ns 2 d2413d8b-e82e-4412-89d3-c9a751ed7716 37.58GB
/dev/nvme0n20 LPE36002_ASA_BL /vol/fcnvme_1_1_6/fcnvme_ns 20 650e0d93-967d-4415-874a-36bf9c93c952 37.58GB
/dev/nvme0n3 LPE36002_ASA_BL /vol/fcnvme_1_0_2/fcnvme_ns 3 09d89d9a-7835-423f-93e7-f6f3ece1dcbc 37.58GB
/dev/nvme0n4 LPE36002_ASA_BL /vol/fcnvme_1_0_3/fcnvme_ns 4 d8e99326-a67c-469f-b3e9-e0e4a38c8a76 37.58GB
/dev/nvme0n5 LPE36002_ASA_BL /vol/fcnvme_1_0_4/fcnvme_ns 5 c91c71f9-3e04-4844-b376-30acab6311f1 37.58GB
/dev/nvme0n6 LPE36002_ASA_BL /vol/fcnvme_1_0_5/fcnvme_ns 6 4e8b4345-e5b1-4aa4-ae1a-adf0de2879ea 37.58GB
/dev/nvme0n7 LPE36002_ASA_BL /vol/fcnvme_1_0_6/fcnvme_ns 7 ef715a16-a946-4bb8-8735-74f214785874 37.58GB
/dev/nvme0n8 LPE36002_ASA_BL /vol/fcnvme_1_0_7/fcnvme_ns 8 4b038502-966c-49fd-9631-a17f23478ae0 37.58GB
/dev/nvme0n9 LPE36002_ASA_BL /vol/fcnvme_1_0_8/fcnvme_ns 9 f565724c-992f-41f6-83b5-da1fe741c09b 37.58GB

#nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
{
"Device" : "/dev/nvme0n1",
"Vserver" : "LPE36002_ASA_BL",
"Namespace_Path" : "/vol/fcnvme_1_0_0/fcnvme_ns",
"NSID" : 1,
"UUID" : "ae10e16d-1fa4-49c2-8594-02bf6f3b1af1",
"Size" : "37.58GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 9175040
},
{
"Device" : "/dev/nvme0n10",
"Vserver" : "LPE36002_ASA_BL",
"Namespace_Path" : "/vol/fcnvme_1_0_9/fcnvme_ns",
"NSID" : 10,
"UUID" : "2cf00782-e2bf-40fe-8495-63e4501727cd",
"Size" : "37.58GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 9175040
},
{
"Device" : "/dev/nvme0n11",
"Vserver" : "LPE36002_ASA_BL",
"Namespace_Path" : "/vol/fcnvme_1_1_9/fcnvme_ns",
"NSID" : 11,
"UUID" : "fbefbe6c-90fe-46a2-8a51-47bad9e2eb95",
"Size" : "37.58GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 9175040
},
{
"Device" : "/dev/nvme0n12",
"Vserver" : "LPE36002_ASA_BL",
"Namespace_Path" : "/vol/fcnvme_1_1_0/fcnvme_ns",
"NSID" : 12,
"UUID" : "0e9cc8fa-d821-4f1c-8944-3003dcded864",
"Size" : "37.58GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 9175040
},
{
"Device" : "/dev/nvme0n13",
"Vserver" : "LPE36002_ASA_BL",
"Namespace_Path" : "/vol/fcnvme_1_1_1/fcnvme_ns",
"NSID" : 13,
"UUID" : "31f03b13-aaf9-4a3f-826b-d126ef007991",
"Size" : "37.58GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 9175040
},

Problemi noti

La configurazione dell'host NVMe-of per OL 8.3 con ONTAP presenta i seguenti problemi noti:

ID bug NetApp Titolo Descrizione Oracle Bugzilla

ID bug NetApp	Titolo	Descrizione	Oracle Bugzilla
1517321	Gli host Oracle Linux 8.3 NVMe-of creano controller di rilevamento persistenti duplicati	Negli host Oracle Linux 8.3 NVMe over Fabrics (NVMe-of), è possibile utilizzare `nvme discover -p` Per creare controller di rilevamento persistenti (PDC). Quando si utilizza questo comando, è necessario creare un solo PDC per ogni combinazione initiator-target. Tuttavia, se si esegue ONTAP 9.10.1 e Oracle Linux 8.3 con un host NVMe-of, viene creato ogni volta un PDC duplicato `nvme discover -p` viene eseguito. Ciò comporta un utilizzo non necessario delle risorse sia sull'host che sulla destinazione.	"18118"

1517321

Gli host Oracle Linux 8.3 NVMe-of creano controller di rilevamento persistenti duplicati

Negli host Oracle Linux 8.3 NVMe over Fabrics (NVMe-of), è possibile utilizzare nvme discover -p Per creare controller di rilevamento persistenti (PDC). Quando si utilizza questo comando, è necessario creare un solo PDC per ogni combinazione initiator-target. Tuttavia, se si esegue ONTAP 9.10.1 e Oracle Linux 8.3 con un host NVMe-of, viene creato ogni volta un PDC duplicato nvme discover -p viene eseguito. Ciò comporta un utilizzo non necessario delle risorse sia sull'host che sulla destinazione.

"18118"

Configurazione host NVMe/FC per Oracle Linux 8.3 con ONTAP

Creating your file...

Supportabilità

Caratteristiche

Limitazioni note

Requisiti di configurazione

Abilitare NVMe/FC con Oracle Linux 8.3

Configurare l'adattatore Broadcom FC per NVMe/FC

Abilitare le dimensioni i/o di 1 MB

Configurare l'adattatore FC Marvell/QLogic per NVMe/FC

Validare NVMe/FC

Problemi noti