Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe/FC-Host-Konfiguration für Oracle Linux 8.5 mit ONTAP

Beitragende

Instandhaltung

NVMe over Fabrics oder NVMe-of (einschließlich NVMe/FC und NVMe/TCP) wird mit Oracle Linux 8.5 mit Asymmetric Namespace Access (ANA) unterstützt, der für die verbleibenden Storage-Failover (SFOs) auf dem ONTAP-Array erforderlich ist. ANA ist das ALUA-Äquivalent (Asymmetric Logical Unit Access) in der NVMe-of-Umgebung und wird derzeit mit NVMe Multipath im Kernel implementiert. Dieses Dokument enthält Details zur Aktivierung von NVMe-of mit in-Kernel-NVMe-Multipath unter Verwendung von ANA auf Oracle Linux 8.5 und ONTAP als Ziel.

Hinweis Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP".

Funktionen

  • Oracle Linux 8.5 hat NVMe Multipath im Kernel standardmäßig für NVMe Namepsaces aktiviert.

  • Mit Oracle Linux 8.5 nvme-fc auto-connect Skripte sind im nativen enthalten nvme-cli Paket. Sie können sich auf diese nativen automatischen Verbindungsskripte verlassen, anstatt externe, vom Anbieter bereitgestellte automatische Verbindungsskripte zu installieren.

  • Mit Oracle Linux 8.5 ist dies ein nativer Bestandteil udev Regel wird als Teil des bereitgestellt nvme-cli Paket, das Lastverteilung für NVMe Multipath nach dem Round Robin-Verfahren ermöglicht Daher müssen Sie diese Regel nicht mehr manuell erstellen.

  • Mit Oracle Linux 8.5 kann NVMe- und SCSI-Datenverkehr auf demselben gemeinsamen Host ausgeführt werden. Es wird sogar die häufig implementierte Host-Konfiguration sein. Daher können Sie dm-Multipath wie gewohnt bei SCSI-LUNs konfigurieren, was zu mpath-Geräten führt, während NVMe Multipath zur Konfiguration von NVMe-of Multipath-Geräten verwendet werden kann (z. B. /dev/nvmeXnY) Auf dem Host.

  • Mit Oracle Linux 8.5 ist das NetApp Plug-in der nativen Version integriert nvme-cli Das Paket kann ONTAP-Details sowie ONTAP-Namespaces anzeigen.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Konfigurationsanforderungen

Siehe "NetApp Interoperabilitätsmatrix" Finden Sie genaue Details zu den unterstützten Konfigurationen.

Aktivieren Sie NVMe/FC mit Oracle Linux 8.5

Schritte

  1. Installieren Sie Oracle Linux 8.5 General Availability (GA) auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Oracle Linux 8.5 GA-Kernel ausführen. Siehe "NetApp Interoperabilitätsmatrix" Erhalten Sie auf der aktuellen Liste der unterstützten Versionen.

    # uname -r
5.4.17-2136.309.4.el8uek.x86_64

  2. Installieren Sie den nvme-cli Paket.

    # rpm -qa|grep nvme-cli
nvme-cli-1.14-3.el8.x86_64

  3. Überprüfen Sie auf dem Oracle Linux 8.5-Host den hostnqn Zeichenfolge bei /etc/nvme/hostnqn Und stellen Sie sicher, dass es mit dem übereinstimmt hostnqn String für das entsprechende Subsystem im ONTAP-Array.

    # cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
::> vserver nvme subsystem host show -vserver vs_ol_nvme

Vserver    Subsystem      Host NQN
---------------------------------------------
vs_ol_nvme nvme_ss_ol_1   nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
    Hinweis Wenn der hostnqn Zeichenfolgen stimmen nicht überein. Verwenden Sie die vserver modify Befehl zum Aktualisieren des hostnqn Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die mit dem übereinstimmt hostnqn Zeichenfolge von /etc/nvme/hostnqn Auf dem Host.

  4. Starten Sie den Host neu.

    Hinweis

    Wenn Sie sowohl NVMe- als auch SCSI-Datenverkehr auf demselben vorhandenen Oracle Linux 8.5 Host ausführen möchten, empfiehlt NetApp die Verwendung des NVMe Multipath im Kernel für ONTAP-Namespaces und des dm-Multipath für ONTAP LUNs. Dies bedeutet auch, dass die ONTAP-Namespaces in dm-multipath auf die schwarze Liste gesetzt werden sollten, um zu verhindern, dass dm-multipath diese Namespace-Geräte beansprucht. Dazu müssen Sie die hinzufügen enable_foreign Einstellung auf /etc/multipath.conf Datei:

    #cat /etc/multipath.conf
defaults {
    enable_foreign  NONE
}

    Starten Sie den neu multipathd Durch Ausführen von systemctl restart multipathd Befehl, um die neue Einstellung wirksam zu machen.

Konfigurieren Sie den Broadcom FC-Adapter für NVMe/FC

Schritte

  1. Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie im "NetApp Interoperabilitäts-Matrix-Tool".

    # cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

  2. Überprüfen Sie, ob Sie die empfohlene Broadcom lpfc-Firmware und den Posteingangstreiber verwenden. Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter "NetApp Interoperabilitäts-Matrix-Tool".

    # cat /sys/class/scsi_host/host*/fwrev
14.0.505.11, sli-4:2:c
14.0.505.11, sli-4:2:c

# cat /sys/module/lpfc/version
0:12.8.0.5

  3. Verifizieren Sie das lpfc_enable_fc4_type Ist auf 3 eingestellt.

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden, und Sie sehen die Ziel-LIFs.

    # cat /sys/class/fc_host/host*/port_name
0x100000109b213a00
0x100000109b2139ff
# cat /sys/class/fc_host/host*/port_state
Online
Online
# cat /sys/class/scsi_host/host*/nvme_info

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b213a00 WWNN x200000109b213a00 DID x031700     ONLINE
NVME RPORT WWPN x208cd039ea243510 WWNN x208bd039ea243510 DID x03180a TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2090d039ea243510 WWNN x208bd039ea243510 DID x03140a TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000079efc Issue 0000000000079eeb OutIO ffffffffffffffef
abort 00000002 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err   00000000
FCP CMPL: xb 00000002 Err 00000004

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b2139ff WWNN x200000109b2139ff DID x031300 ONLINE
NVME RPORT WWPN x208ed039ea243510 WWNN x208bd039ea243510 DID x03230c TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2092d039ea243510 WWNN x208bd039ea243510 DID x03120c TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000029ba0 Issue 0000000000029ba2 OutIO 0000000000000002
abort 00000002 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000002 Err 00000004

Aktivieren Sie 1-MB-I/O-Größe

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren-Controller-Daten, was bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um jedoch I/O-Anforderungen von Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, müssen Sie den erhöhen lpfc Wert des lpfc_sg_seg_cnt Parameter auf 256 ab dem Standardwert 64.

Schritte

  1. Stellen Sie die ein lpfc_sg_seg_cnt Parameter bis 256.

    # cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256

  2. A ausführen dracut -f Führen Sie einen Befehl aus, und starten Sie den Host neu.

  3. Verifizieren Sie das lpfc_sg_seg_cnt Ist 256.

    # cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256
Hinweis Dies gilt nicht für Qlogic NVMe/FC-Hosts.

Konfigurieren Sie den Marvell/QLogic FC-Adapter für NVMe/FC

Schritte

  1. Stellen Sie sicher, dass Sie den unterstützten Adaptertreiber und die Firmware-Versionen ausführen. Der native Inbox qla2xxx Treiber im OL 8.5 GA Kernel enthält die neuesten Upstream-Fixes, die für die ONTAP-Unterstützung notwendig sind:

    # cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k
QLE2742 FW:v9.06.02 DVR:v10.02.00.106-k

  2. Verifizieren ql2xnvmeenable Ist festgelegt, wodurch der Marvell-Adapter als NVMe/FC-Initiator verwendet werden kann.

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.

Schritte

  1. Überprüfen Sie, ob der Initiator-Port die Daten der Erkennungsprotokolle über die unterstützten NVMe/TCP-LIFs abrufen kann.

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
Discovery Log Number of Records 10, Generation counter 119
=====Discovery Log Entry 0======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.2.56
sectype: none
=====Discovery Log Entry 1======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 1
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.1.51
sectype: none
=====Discovery Log Entry 2======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
traddr: 192.168.2.56
sectype: none

...

  2. Gleichermaßen können Sie überprüfen, ob die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen der Protokollseitendaten der Bestandsaufnahme abgerufen werden können. Beispiel:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57

  3. Führen Sie jetzt die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP-Initiator-Ziel-LIFs über die Nodes hinweg Stellen Sie sicher, dass Sie einen längeren Zeitraum bereitstellen ctrl_loss_tmo Timer-Zeitraum (z. B. 30 Minuten, die Sie hinzufügen können) -l 1800) Während connect-all Damit es im Falle eines Pfadverlusts für einen längeren Zeitraum versuchen würde. Beispiel:

# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

NVMe/FC validieren

Schritte

  1. Überprüfen Sie die folgenden NVMe/FC-Einstellungen auf dem Oracle Linux 8.5-Host.

    # cat /sys/module/nvme_core/parameters/multipath
Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

  2. Vergewissern Sie sich, dass die Namespaces auf dem Host erstellt und richtig erkannt wurden.

    # nvme list
Node         SN                    Model
---------------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller

Namespace Usage  Format                  FW            Rev
--------------------------------------------------------------
1                85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
2                85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
3                85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF

  3. Vergewissern Sie sich, dass der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist.

    # nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

  4. Überprüfen Sie, ob das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt.

    # nvme netapp ontapdevices -o column
Device       Vserver  Namespace Path
-----------------------------------
/dev/nvme0n1  vs_ol_nvme  /vol/ol_nvme_vol_1_1_0/ol_nvme_ns
/dev/nvme0n2  vs_ol_nvme  /vol/ol_nvme_vol_1_0_0/ol_nvme_ns
/dev/nvme0n3  vs_ol_nvme  /vol/ol_nvme_vol_1_1_1/ol_nvme_ns

NSID    UUID                                   Size
-----------------------------------------------------
1       72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
2       04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   85.90GB
3       264823b1-8e03-4155-80dd-e904237014a4   85.90GB

# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für OL 8.5 mit ONTAP weist folgende bekannte Probleme auf:

NetApp Bug ID Titel Beschreibung Bugzilla-ID

1517321

Oracle Linux 8.5 NVMe-of Hosts erstellen doppelte Persistent Discovery Controller

Auf Oracle Linux 8.5 NVMe over Fabrics (NVMe-of)-Hosts können Sie das verwenden nvme discover -p Befehl zum Erstellen von Persistent Discovery Controllern (PDCs). Wenn dieser Befehl verwendet wird, sollte pro Initiator-Zielkombination nur ein PDC erstellt werden. Wenn Sie jedoch ONTAP 9.10.1 und Oracle Linux 8.5 mit einem NVMe-of-Host ausführen, wird jedes Mal ein doppelter PDC erstellt nvme discover -p Ausgeführt wird. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.

"18118"