Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe/FC-Host-Konfiguration für Oracle Linux 8.6 mit ONTAP

Beitragende

Instandhaltung

NVMe over Fabrics oder NVMe-of (einschließlich NVMe/FC und NVMe/TCP) wird mit Oracle Linux 8.6 mit Asymmetric Namespace Access (ANA) unterstützt, der für die verbleibenden Storage-Failover (SFOs) auf dem ONTAP-Array erforderlich ist. ANA ist das ALUA-Äquivalent (Asymmetric Logical Unit Access) in der NVMe-of-Umgebung und wird derzeit mit NVMe Multipath im Kernel implementiert. Dieses Dokument enthält Details zur Aktivierung von NVMe-of mit in-Kernel-NVMe-Multipath unter Verwendung von ANA auf Oracle Linux 8.6 und ONTAP als Ziel.

Hinweis Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP".

Funktionen

  • Oracle Linux 8.6 hat NVMe Multipath im Kernel standardmäßig für NVMe Namepsaces aktiviert.

  • Mit Oracle Linux 8.6 nvme-fc auto-connect Skripte sind im nativen enthalten nvme-cli Paket. Sie können sich auf diese nativen automatischen Verbindungsskripte verlassen, anstatt externe, vom Anbieter bereitgestellte automatische Verbindungsskripte zu installieren.

  • Mit Oracle Linux 8.6 ist dies ein nativer Bestandteil udev Regel wird als Teil des bereitgestellt nvme-cli Paket, das Lastverteilung für NVMe Multipath nach dem Round Robin-Verfahren ermöglicht Daher müssen Sie diese Regel nicht mehr manuell erstellen.

  • Mit Oracle Linux 8.6 kann NVMe- und SCSI-Datenverkehr auf demselben gemeinsamen Host ausgeführt werden. Es wird sogar die häufig implementierte Host-Konfiguration sein. Daher können Sie dm-Multipath wie gewohnt bei SCSI-LUNs konfigurieren, was zu mpath-Geräten führt, während NVMe Multipath zur Konfiguration von NVMe-of Multipath-Geräten verwendet werden kann (z. B. /dev/nvmeXnY) Auf dem Host.

  • Für Oracle Linux 8.6 gibt es das NetApp Plug-in nativ nvme-cli Das Paket kann ONTAP-Details sowie ONTAP-Namespaces anzeigen.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Konfigurationsanforderungen

Siehe "NetApp Interoperabilitätsmatrix" Finden Sie genaue Details zu den unterstützten Konfigurationen.

Aktivieren Sie NVMe/FC mit Oracle Linux 8.6

Schritte

  1. Installieren Sie Oracle Linux 8.6 GA auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Oracle Linux 8.6 GA-Kernel ausführen. Siehe "NetApp Interoperabilitätsmatrix" Erhalten Sie auf der aktuellen Liste der unterstützten Versionen.

    # uname -r
5.4.17-2136.307.3.1.el8uek.x86_64

  2. Installieren Sie den nvme-cli Paket:

    # rpm -qa|grep nvme-cli
nvme-cli-1.14-3.el8.x86_64

  3. Überprüfen Sie auf dem Oracle Linux 8.6-Host den hostnqn Zeichenfolge bei /etc/nvme/hostnqn Und stellen Sie sicher, dass es mit der hostnqn-Zeichenfolge für das entsprechende Subsystem auf dem ONTAP-Array übereinstimmt.

    # cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0032-3310-8033-b8c04f4c5132
::> vserver nvme subsystem host show -vserver vs_ol_nvme
Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_ol_nvme  nvme_ss_ol_1    nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
    Hinweis Wenn der hostnqn Zeichenfolgen stimmen nicht überein. Verwenden Sie die vserver modify Befehl zum Aktualisieren des hostnqn Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die mit dem übereinstimmt hostnqn Zeichenfolge von /etc/nvme/hostnqn Auf dem Host:

  4. Starten Sie den Host neu.

    Hinweis

    Wenn Sie sowohl NVMe- als auch SCSI-Datenverkehr auf demselben vorhandenen Oracle Linux 8.6 Host ausführen möchten, empfiehlt NetApp die Verwendung des NVMe Multipath im Kernel für ONTAP-Namespaces und des dm-Multipath für ONTAP LUNs. Dies bedeutet auch, dass die ONTAP-Namespaces in dm-multipath auf die schwarze Liste gesetzt werden sollten, um zu verhindern, dass dm-multipath diese Namespace-Geräte beansprucht. Dazu müssen Sie die hinzufügen enable_foreign Einstellung auf /etc/multipath.conf Datei:

    #cat /etc/multipath.conf
defaults {
    enable_foreign  NONE
}

    Starten Sie den multipathd-Daemon neu, indem Sie den ausführen systemctl restart multipathd Befehl, um die neue Einstellung wirksam zu machen.

Konfigurieren Sie den Broadcom FC-Adapter für NVMe/FC

Schritte

  1. Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie im "NetApp Interoperabilitätsmatrix":

    # cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

  2. Vergewissern Sie sich, dass Sie das empfohlene Broadcom verwenden lpfc Firmware- und Inbox-Treiber. Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter "NetApp Interoperabilitätsmatrix":

    # cat /sys/class/scsi_host/host*/fwrev
14.0.505.11, sli-4:2:c
14.0.505.11, sli-4:2:c

# cat /sys/module/lpfc/version
0:12.8.0.11

  3. Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:

    # cat /sys/class/fc_host/host*/port_name
0x100000109b1c1204
0x100000109b1c1205
# cat /sys/class/fc_host/host*/port_state
Online
Online
# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001e15 Err 0000d906
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001f50 Err 0000d9f8

Aktivieren Sie 1-MB-I/O-Größe

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren-Controller-Daten, was bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um jedoch I/O-Anforderungen von Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, müssen Sie den erhöhen lpfc Wert des lpfc_sg_seg_cnt Parameter auf 256 ab dem Standardwert 64.

Schritte

  1. Stellen Sie die ein lpfc_sg_seg_cnt Parameter bis 256.

    # cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256

  2. A ausführen dracut -f Führen Sie einen Befehl aus, und starten Sie den Host neu.

  3. Verifizieren Sie das lpfc_sg_seg_cnt Ist 256.

    # cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256
Hinweis Dies gilt nicht für Qlogic NVMe/FC-Hosts.

Konfigurieren Sie den Marvell/QLogic FC Adapter für NVMe/FC

Schritte

  1. Stellen Sie sicher, dass Sie den unterstützten Adaptertreiber und die Firmware-Versionen ausführen. Der native Inbox qla2xxx Treiber im OL 8.6 GA Kernel enthält die neuesten Upstream-Fixes, die für die ONTAP-Unterstützung notwendig sind:

    # cat /sys/class/fc_host/host*/symbolic_name
QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k

  2. Verifizieren Sie das ql2xnvmeenable Ist festgelegt, wodurch der Marvell-Adapter als NVMe/FC-Initiator verwendet werden kann:

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.

Schritte

  1. Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
Discovery Log Number of Records 10, Generation counter 119
=====Discovery Log Entry 0======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.2.56
sectype: none
=====Discovery Log Entry 1======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 1
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
traddr: 192.168.1.51
sectype: none
=====Discovery Log Entry 2======
trtype: tcp
adrfam: ipv4
subtype: nvme subsystem
treq: not specified
portid: 0
trsvcid: 4420
subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
traddr: 192.168.2.56
sectype: none
...

  2. Gleichermaßen können Sie überprüfen, ob die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen der Protokollseitendaten der Bestandsaufnahme abgerufen werden können. Beispiel:

    #nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
# nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
# nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57

  3. Führen Sie jetzt die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP-Initiator-Ziel-LIFs über die Nodes hinweg Stellen Sie sicher, dass Sie einen längeren Pass ctrl_loss_tmo Periode (z. B. sagen Sie 30 Minuten, die durch eingestellt werden kann -l 1800) Während der connect-all Damit es im Falle eines Pfadverlusts für einen längeren Zeitraum versuchen würde. Beispiel:

    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
# nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
# nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

NVMe/FC validieren

Schritte

  1. Überprüfen Sie die folgenden NVMe/FC-Einstellungen auf dem Oracle Linux 8.6-Host:

    # cat /sys/module/nvme_core/parameters/multipath
Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

  2. Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

    # nvme list
Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
3                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF

  3. Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

    # nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

  4. Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

    # nvme netapp ontapdevices -o column

Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme0n1   vs_ol_nvme  /vol/ol_nvme_vol_1_1_0/ol_nvme_ns
/dev/nvme0n2   vs_ol_nvme  /vol/ol_nvme_vol_1_0_0/ol_nvme_ns
/dev/nvme0n3   vs_ol_nvme  /vol/ol_nvme_vol_1_1_1/ol_nvme_ns


NSID       UUID                                   Size
------------------------------------------------------------
1          72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
2          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   85.90GB
3          264823b1-8e03-4155-80dd-e904237014a4   85.90GB
# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für OL 8.6 mit ONTAP weist folgende bekannte Probleme auf:

NetApp Bug ID Titel Beschreibung Bugzilla-ID

1517321

Oracle Linux 8.6 NVMe-of Hosts erstellen doppelte Persistent Discovery Controller

Auf Oracle Linux 8.6 NVMe over Fabrics (NVMe-of)-Hosts können Sie das verwenden nvme discover -p Befehl zum Erstellen von Persistent Discovery Controllern (PDCs). Wenn dieser Befehl verwendet wird, sollte pro Initiator-Zielkombination nur ein PDC erstellt werden. Wenn Sie jedoch ONTAP 9.10.1 und Oracle Linux 8.6 mit einem NVMe-of-Host ausführen, wird jedes Mal ein doppelter PDC erstellt nvme discover -p Ausgeführt wird. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.

"18118"