NVMe/FC-Host-Konfiguration für Oracle Linux 8.6 mit ONTAP
Sie können NVMe over Fibre Channel (NVMe/FC) auf Initiator-Hosts konfigurieren, auf denen Oracle Linux 8.6 und ONTAP als Ziel ausgeführt werden.
Instandhaltung
NVMe over Fabrics oder NVMe-of (einschließlich NVMe/FC und NVMe/TCP) wird mit Oracle Linux 8.6 mit Asymmetric Namespace Access (ANA) unterstützt, der für die verbleibenden Storage-Failover (SFOs) auf dem ONTAP-Array erforderlich ist. ANA ist das ALUA-Äquivalent (Asymmetric Logical Unit Access) in der NVMe-of-Umgebung und wird derzeit mit NVMe Multipath im Kernel implementiert. Mit diesem Verfahren können Sie NVMe-of mit in-Kernel NVMe Multipath unter Verwendung von ANA auf Oracle Linux 8.6 und ONTAP als Ziel aktivieren.
|
Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP". |
Funktionen
-
Oracle Linux 8.6 hat NVMe Multipath im Kernel standardmäßig für NVMe Namepsaces aktiviert.
-
Bei Oracle Linux 8.6
nvme-fc auto-connect
sind Skripts im nativen Paket enthaltennvme-cli
. Sie können diese nativen automatischen Verbindungsskripte verwenden, anstatt externe, vom Anbieter bereitgestellte automatische Verbindungsskripte zu installieren. -
Mit Oracle Linux 8.6 ist dies ein nativer Bestandteil
udev
Regel wird als Teil des bereitgestelltnvme-cli
Paket, das Lastverteilung für NVMe Multipath nach dem Round Robin-Verfahren ermöglicht Daher müssen Sie diese Regel nicht mehr manuell erstellen. -
Mit Oracle Linux 8.6 kann sowohl NVMe- als auch SCSI-Datenverkehr auf demselben Host ausgeführt werden. Dies ist die häufig bereitgestellte Host-Konfiguration. Sie können dm-Multipath wie gewohnt für SCSI-LUNs konfigurieren, was zu mpath-Geräten führt, und zudem NVMe Multipath verwenden, um NVMe-of Multipath-Geräte (z. B. ) auf dem Host zu konfigurieren
/dev/nvmeXnY
. -
Für Oracle Linux 8.6 gibt es das NetApp Plug-in nativ
nvme-cli
Das Paket kann ONTAP-Details sowie ONTAP-Namespaces anzeigen.
Bekannte Einschränkungen
Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.
Konfigurationsanforderungen
Genaue Details zu unterstützten Konfigurationen finden Sie in der"Interoperabilitäts-Matrix-Tool".
Aktivieren Sie NVMe/FC mit Oracle Linux 8.6
-
Installieren Sie Oracle Linux 8.6 GA auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Oracle Linux 8.6 GA-Kernel ausführen. Die aktuelle Liste der unterstützten Versionen finden Sie im"Interoperabilitäts-Matrix-Tool".
# uname -r 5.4.17-2136.307.3.1.el8uek.x86_64
-
Installieren Sie den
nvme-cli
Paket:# rpm -qa|grep nvme-cli nvme-cli-1.14-3.el8.x86_64
-
Überprüfen Sie auf dem Oracle Linux 8.6-Host den
hostnqn
Zeichenfolge bei/etc/nvme/hostnqn
Und stellen Sie sicher, dass es mit der hostnqn-Zeichenfolge für das entsprechende Subsystem auf dem ONTAP-Array übereinstimmt.# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0032-3310-8033-b8c04f4c5132 ::> vserver nvme subsystem host show -vserver vs_ol_nvme Vserver Subsystem Host NQN ----------- --------------- ---------------------------------------------------------- vs_ol_nvme nvme_ss_ol_1 nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
Wenn der hostnqn
Zeichenfolgen stimmen nicht überein. Verwenden Sie dievserver modify
Befehl zum Aktualisieren deshostnqn
Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die mit dem übereinstimmthostnqn
Zeichenfolge von/etc/nvme/hostnqn
Auf dem Host: -
Starten Sie den Host neu.
Wenn Sie sowohl NVMe- als auch SCSI-Datenverkehr auf demselben Oracle Linux 8.6 Host ausführen möchten, empfiehlt NetApp die Verwendung des NVMe Multipath im Kernel für ONTAP-Namespaces und des dm-Multipath für ONTAP-LUNs. Dies bedeutet auch, dass die ONTAP-Namespaces in dm-multipath auf die schwarze Liste gesetzt werden sollten, um zu verhindern, dass dm-multipath diese Namespace-Geräte beansprucht. Dies kann durch Hinzufügen der Einstellung zur
/etc/multipath.conf
Datei erfolgenenable_foreign
:#cat /etc/multipath.conf defaults { enable_foreign NONE }
Starten Sie den multipathd-Daemon neu, indem Sie den ausführen
systemctl restart multipathd
Befehl, um die neue Einstellung wirksam zu machen.
Konfigurieren Sie den Broadcom FC-Adapter für NVMe/FC
-
Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie unter"Interoperabilitäts-Matrix-Tool":
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2 # cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
Überprüfen Sie, ob Sie die empfohlene Broadcom-Firmware und den Posteingangstreiber verwenden
lpfc
. Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter"Interoperabilitäts-Matrix-Tool":# cat /sys/class/scsi_host/host*/fwrev 14.0.505.11, sli-4:2:c 14.0.505.11, sli-4:2:c # cat /sys/module/lpfc/version 0:12.8.0.11
-
Verifizieren Sie das
lpfc_enable_fc4_type
Ist auf festgelegt3
:# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:
# cat /sys/class/fc_host/host*/port_name 0x100000109b1c1204 0x100000109b1c1205 # cat /sys/class/fc_host/host*/port_state Online Online # cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001e15 Err 0000d906 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001f50 Err 0000d9f8
Aktivieren Sie 1-MB-I/O-Größe
ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt
Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc
.
|
Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts. |
-
Setzen Sie den
lpfc_sg_seg_cnt
Parameter auf 256:cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
Führen Sie den Befehl aus
dracut -f
, und starten Sie den Host neu. -
Stellen Sie sicher, dass der Wert für
lpfc_sg_seg_cnt
256 lautet:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
Konfigurieren Sie den Marvell/QLogic FC Adapter für NVMe/FC
Der native Inbox qla2xxx Treiber, der im OL 8.6 GA Kernel enthalten ist, hat die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.
-
Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:
# cat /sys/class/fc_host/host*/symbolic_name QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
-
Verifizieren Sie das
ql2xnvmeenable
Ist festgelegt, wodurch der Marvell-Adapter als NVMe/FC-Initiator verwendet werden kann:# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
Konfiguration von NVMe/TCP
NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.
-
Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51 Discovery Log Number of Records 10, Generation counter 119 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.2.56 sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 1 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1 traddr: 192.168.1.51 sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2 traddr: 192.168.2.56 sectype: none ...
-
Gleichermaßen können Sie überprüfen, ob die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen der Protokollseitendaten der Bestandsaufnahme abgerufen werden können. Beispiel:
#nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51 # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56 # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57
-
Führen Sie jetzt die aus
nvme connect-all
Befehl über alle unterstützten NVMe/TCP-Initiator-Ziel-LIFs über die Nodes hinweg Stellen Sie sicher, dass Sie einen längeren Passctrl_loss_tmo
Periode (z. B. sagen Sie 30 Minuten, die durch eingestellt werden kann-l 1800
) Während derconnect-all
Damit es im Falle eines Pfadverlusts für einen längeren Zeitraum versuchen würde. Beispiel:# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800 # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800 # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800
NVMe/FC validieren
-
Überprüfen Sie die folgenden NVMe/FC-Einstellungen auf dem Oracle Linux 8.6-Host:
# cat /sys/module/nvme_core/parameters/multipath Y # cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:
# nvme list Node SN Model --------------------------------------------------------- /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller Namespace Usage Format FW Rev ----------------------------------------------------------- 1 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF 2 85.90 GB / 85.90 GB 24 KiB + 0 B FFFFFFFF 3 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
-
Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:
# nvme list-subsys /dev/nvme0n1 nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1 \ +- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
-
Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:
# nvme netapp ontapdevices -o column Device Vserver Namespace Path ----------------------- ------------------------------ /dev/nvme0n1 vs_ol_nvme /vol/ol_nvme_vol_1_1_0/ol_nvme_ns /dev/nvme0n2 vs_ol_nvme /vol/ol_nvme_vol_1_0_0/ol_nvme_ns /dev/nvme0n3 vs_ol_nvme /vol/ol_nvme_vol_1_1_1/ol_nvme_ns NSID UUID Size ------------------------------------------------------------ 1 72b887b1-5fb6-47b8-be0b-33326e2542e2 85.90GB 2 04bf9f6e-9031-40ea-99c7-a1a61b2d7d08 85.90GB 3 264823b1-8e03-4155-80dd-e904237014a4 85.90GB
# nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_ol_nvme", "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns", "NSID" : 1, "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, { "Device" : "/dev/nvme0n2", "Vserver" : "vs_ol_nvme", "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns", "NSID" : 2, "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, { "Device" : "/dev/nvme0n3", "Vserver" : "vs_ol_nvme", "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns", "NSID" : 3, "UUID" : "264823b1-8e03-4155-80dd-e904237014a4", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, ] }
Bekannte Probleme
Die NVMe-of Hostkonfiguration für OL 8.6 mit ONTAP weist folgende bekannte Probleme auf:
NetApp Bug ID | Titel | Beschreibung |
---|---|---|
1517321 |
Oracle Linux 8.6 NVMe-of Hosts erstellen doppelte Persistent Discovery Controller |
Auf Oracle Linux 8.6 NVMe over Fabrics (NVMe-of)-Hosts können Sie das verwenden |