Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe/FC-Host-Konfiguration für Oracle Linux 8.4 mit ONTAP

Beitragende
PDFs

Sie können NVMe over Fibre Channel (NVMe/FC) auf Initiator-Hosts konfigurieren, auf denen Oracle Linux 8.4 und ONTAP als Ziel ausgeführt werden.

Instandhaltung

NVMe over Fabrics oder NVMe-of (einschließlich NVMe/FC und NVMe/TCP) wird mit Oracle Linux 8.4 mit Asymmetric Namespace Access (ANA) unterstützt, der für die verbleibenden Storage-Failovers (SFOs) auf dem ONTAP-Array erforderlich ist. ANA ist das ALUA-Äquivalent (Asymmetric Logical Unit Access) in der NVMe-of-Umgebung und wird derzeit mit NVMe Multipath im Kernel implementiert. In diesem Thema wird detailliert beschrieben, wie NVMe-of mit in-Kernel NVMe Multipath unter Verwendung von ANA auf Oracle Linux 8.4 mit ONTAP als Ziel aktiviert wird.

Hinweis Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP".

Funktionen

  • Oracle Linux 8.4 hat NVMe Multipath im Kernel standardmäßig für NVMe Namepsaces aktiviert.

  • Bei Oracle Linux 8.4 nvme-fc auto-connect sind Skripts im nativen Paket enthalten nvme-cli. Sie können diese nativen automatischen Verbindungsskripte verwenden, anstatt externe, vom Anbieter bereitgestellte automatische Verbindungsskripte zu installieren.

  • Mit Oracle Linux 8.4 als nativer Software udev Regel wird als Teil des bereitgestellt nvme-cli Paket, das Lastverteilung für NVMe Multipath nach dem Round Robin-Verfahren ermöglicht Daher müssen Sie diese Regel nicht mehr manuell erstellen.

  • Mit Oracle Linux 8.4 kann sowohl NVMe- als auch SCSI-Datenverkehr auf demselben vorhandenen Host ausgeführt werden. Es wird sogar die häufig implementierte Host-Konfiguration sein. Daher können Sie dm-Multipath wie gewohnt bei SCSI-LUNs konfigurieren, was zu mpath-Geräten führt, während NVMe Multipath zur Konfiguration von NVMe-of Multipath-Geräten verwendet werden kann (z. B. /dev/nvmeXnY) Auf dem Host.

  • Mit Oracle Linux 8.4 hat NetApp ein Plug-in im nativen System nvme-cli Das Paket kann ONTAP-Details sowie ONTAP-Namespaces anzeigen.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Konfigurationsanforderungen

Siehe "NetApp Interoperabilitätsmatrix (IMT)" Finden Sie genaue Informationen zu unterstützten Konfigurationen.

NVMe/FC aktivieren

Schritte

  1. Installieren Sie Oracle Linux 8.4 GA auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Oracle Linux 8.4 GA-Kernel ausführen. Siehe "NetApp Interoperabilitätsmatrix" Erhalten Sie auf der aktuellen Liste der unterstützten Versionen.

    # uname -r
5.4.17-2102.206.1.el8uek.x86_64

  2. Installieren Sie den nvme-cli Paket.

    # rpm -qa|grep nvme-cli
nvme-cli-1.12-3.el8.x86_64

  3. Überprüfen Sie auf dem Oracle Linux 8.4-Host die hostnqn-Zeichenfolge unter /etc/nvme/hostnqn Und stellen Sie sicher, dass es mit der hostnqn-Zeichenfolge für das entsprechende Subsystem auf dem ONTAP-Array übereinstimmt.

    # cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:8b43c7c6-e98d-4cc7-a699-d66a69aa714e
::> vserver nvme subsystem host show -vserver vs_coexistance_2

Vserver         Subsystem Host NQN
------- --------------------------------------------------------------------
vs_coexistance_2 nvme_1   nqn.2014-08.org.nvmexpress:uuid:753881b6-3163-46f9-8145-0d1653d99389
    Hinweis Wenn die hostnqn-Zeichenfolgen nicht übereinstimmen, sollten Sie die verwenden vserver modify Befehl zum Aktualisieren der hostnqn-Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, damit sie mit der hostnqn-Zeichenfolge von übereinstimmt /etc/nvme/hostnqn Auf dem Host.

  4. Starten Sie den Host neu.

    Hinweis

    Wenn Sie sowohl NVMe- als auch SCSI-Datenverkehr auf demselben vorhandenen Oracle Linux 8.4 Host ausführen möchten, empfiehlt NetApp die Verwendung des NVMe Multipath im Kernel für ONTAP-Namespaces und des dm-Multipath für ONTAP LUNs. Dies bedeutet auch, dass die ONTAP-Namespaces in dm-multipath auf die schwarze Liste gesetzt werden sollten, um zu verhindern, dass dm-multipath diese Namespace-Geräte beansprucht. Dazu müssen Sie die hinzufügen enable_foreign Einstellung auf /etc/multipath.conf Datei:

    #cat /etc/multipath.conf
defaults {
    enable_foreign  NONE
}

    Starten Sie den multipathd-Daemon neu, indem Sie den ausführen systemctl restart multipathd Befehl, um die neue Einstellung wirksam zu machen.

Konfigurieren des Broadcom FC-Adapters für NVMe/FC

Schritte

  1. Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie im "NetApp Interoperabilitäts-Matrix-Tool".

    # cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2
    # cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

  2. Überprüfen Sie, ob Sie die empfohlene Broadcom lpfc-Firmware und den Posteingangstreiber verwenden. Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter "NetApp Interoperabilitäts-Matrix-Tool".

    # cat /sys/class/scsi_host/host*/fwrev
14.0.505.11, sli-4:2:c
14.0.505.11, sli-4:2:c
    # cat /sys/module/lpfc/version
0:12.8.0.5

  3. Verifizieren Sie das lpfc_enable_fc4_type Ist auf 3 eingestellt.

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden, und Sie sehen die Ziel-LIFs.

    # cat /sys/class/fc_host/host*/port_name
0x100000109b213a00
0x100000109b2139ff

# cat /sys/class/fc_host/host*/port_state
Online
Online

# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b213a00 WWNN x200000109b213a00 DID x031700     ONLINE
NVME RPORT WWPN x208cd039ea243510 WWNN x208bd039ea243510 DID x03180a TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2090d039ea243510 WWNN x208bd039ea243510 DID x03140a TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000079efc Issue 0000000000079eeb OutIO ffffffffffffffef
abort 00000002 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err   00000000
FCP CMPL: xb 00000002 Err 00000004

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b2139ff WWNN x200000109b2139ff DID x031300 ONLINE
NVME RPORT WWPN x208ed039ea243510 WWNN x208bd039ea243510 DID x03230c TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2092d039ea243510 WWNN x208bd039ea243510 DID x03120c TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000029ba0 Issue 0000000000029ba2 OutIO 0000000000000002
abort 00000002 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000002 Err 00000004

Aktivieren von 1-MB-I/O-Größe

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc.

Hinweis Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.
Schritte

  1. Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256

  2. Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.

  3. Stellen Sie sicher, dass der erwartete Wert von lpfc_sg_seg_cnt 256 ist:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Konfigurieren Sie den Marvell/QLogic FC-Adapter für NVMe/FC

Der native Inbox qla2xxx Treiber, der im OL 8.4 GA Kernel enthalten ist, hat die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Schritte

  1. Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:

    # cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.08.02 DVR:v10.02.00.103-k
QLE2742 FW:v9.08.02 DVR:v10.02.00.103-k

  2. Überprüfen Sie das ql2xnvmeenable Der Parameter ist festgelegt, über den der Marvell-Adapter als NVMe/FC-Initiator fungieren kann.

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.

Schritte

  1. Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokolle über die unterstützten NVMe/TCP-LIFs abrufen kann:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
Discovery Log Number of Records 10, Generation counter 119
=====Discovery Log Entry 0======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.2.56
sectype: none
=====Discovery Log Entry 1======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 1
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.1.51
sectype: none
=====Discovery Log Entry 2======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
traddr: 192.168.2.56
sectype: none
...

  2. Gleichermaßen können Sie überprüfen, ob andere LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen von Protokollseitendaten der Bestandsaufnahme abgerufen werden können. Beispiel:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
#nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57

  3. Führen Sie jetzt die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP-Initiator-Ziel-LIFs über die Nodes hinweg Stellen Sie sicher, dass Sie einen längeren Zeitraum bereitstellen ctrl_loss_tmo Timer-Zeitraum (30 Minuten oder mehr, die eingestellt werden können, Hinzufügen -l 1800) Während connect-all Damit es im Falle eines Pfadverlusts für einen längeren Zeitraum versuchen würde. Beispiel:

    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

NVMe/FC validieren

Schritte

  1. Überprüfen Sie die folgenden NVMe/FC-Einstellungen auf dem Oracle Linux 8.4-Host:

    # cat /sys/module/nvme_core/parameters/multipath
Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

  2. Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

    # nvme list
Node                  SN              Model                                   Namespace
-----------------------------------------------------------------------------------------
/dev/nvme0n1     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                1
/dev/nvme0n2     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                2
/dev/nvme0n3     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                3

Usage      Format         FW Rev
------------------------------------------------------
85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF

  3. Vergewissern Sie sich, dass der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist.

    # nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

  4. Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt.

    # nvme netapp ontapdevices -o column
Device                 Vserver          Namespace Path
----------------------- ------------------------------ ----------------------------------------------------------------------- --------- --
/dev/nvme0n1      vs_ol_nvme            /vol/ol_nvme_vol_1_1_0/ol_nvme_ns
/dev/nvme0n2      vs_ol_nvme            /vol/ol_nvme_vol_1_0_0/ol_nvme_ns
/dev/nvme0n3      vs_ol_nvme            /vol/ol_nvme_vol_1_1_1/ol_nvme_ns

NSID        UUID                                  Size
--------------------------------------------------------------
1          72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
2          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   85.90GB
3          264823b1-8e03-4155-80dd-e904237014a4   85.90GB
    # nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für OL 8.4 mit ONTAP weist folgende bekannte Probleme auf:

NetApp Bug ID Titel Beschreibung

1517321

Oracle Linux 8.4 NVMe-of Hosts erstellen doppelte Persistent Discovery Controller

Auf Oracle Linux 8.4 NVMe over Fabrics (NVMe-of)-Hosts können Sie den Befehl „nvme discover -p“ verwenden, um Persistent Discovery Controller (PDCs) zu erstellen. Wenn dieser Befehl verwendet wird, sollte pro Initiator-Zielkombination nur ein PDC erstellt werden. Wenn Sie jedoch ONTAP 9.10.1 und Oracle Linux 8.4 mit einem NVMe-of-Host ausführen, wird bei jeder Ausführung von „nvme discover -p“ ein doppelter PDC erstellt. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.