Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe/FC-Host-Konfiguration für Oracle Linux 8.6 mit ONTAP

Beitragende

Sie können NVMe over Fibre Channel (NVMe/FC) auf Initiator-Hosts konfigurieren, auf denen Oracle Linux 8.6 und ONTAP als Ziel ausgeführt werden.

Instandhaltung

NVMe over Fabrics oder NVMe-of (einschließlich NVMe/FC und NVMe/TCP) wird mit Oracle Linux 8.6 mit Asymmetric Namespace Access (ANA) unterstützt, der für die verbleibenden Storage-Failover (SFOs) auf dem ONTAP-Array erforderlich ist. ANA ist das ALUA-Äquivalent (Asymmetric Logical Unit Access) in der NVMe-of-Umgebung und wird derzeit mit NVMe Multipath im Kernel implementiert. Mit diesem Verfahren können Sie NVMe-of mit in-Kernel NVMe Multipath unter Verwendung von ANA auf Oracle Linux 8.6 und ONTAP als Ziel aktivieren.

Hinweis Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP".

Funktionen

  • Oracle Linux 8.6 hat NVMe Multipath im Kernel standardmäßig für NVMe Namepsaces aktiviert.

  • Bei Oracle Linux 8.6 nvme-fc auto-connect sind Skripts im nativen Paket enthalten nvme-cli. Sie können diese nativen automatischen Verbindungsskripte verwenden, anstatt externe, vom Anbieter bereitgestellte automatische Verbindungsskripte zu installieren.

  • Mit Oracle Linux 8.6 ist dies ein nativer Bestandteil udev Regel wird als Teil des bereitgestellt nvme-cli Paket, das Lastverteilung für NVMe Multipath nach dem Round Robin-Verfahren ermöglicht Daher müssen Sie diese Regel nicht mehr manuell erstellen.

  • Mit Oracle Linux 8.6 kann sowohl NVMe- als auch SCSI-Datenverkehr auf demselben Host ausgeführt werden. Dies ist die häufig bereitgestellte Host-Konfiguration. Sie können dm-Multipath wie gewohnt für SCSI-LUNs konfigurieren, was zu mpath-Geräten führt, und zudem NVMe Multipath verwenden, um NVMe-of Multipath-Geräte (z. B. ) auf dem Host zu konfigurieren /dev/nvmeXnY.

  • Für Oracle Linux 8.6 gibt es das NetApp Plug-in nativ nvme-cli Das Paket kann ONTAP-Details sowie ONTAP-Namespaces anzeigen.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Konfigurationsanforderungen

Genaue Details zu unterstützten Konfigurationen finden Sie in der"Interoperabilitäts-Matrix-Tool".

Aktivieren Sie NVMe/FC mit Oracle Linux 8.6

Schritte
  1. Installieren Sie Oracle Linux 8.6 GA auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Oracle Linux 8.6 GA-Kernel ausführen. Die aktuelle Liste der unterstützten Versionen finden Sie im"Interoperabilitäts-Matrix-Tool".

    # uname -r
    5.4.17-2136.307.3.1.el8uek.x86_64
  2. Installieren Sie den nvme-cli Paket:

    # rpm -qa|grep nvme-cli
    nvme-cli-1.14-3.el8.x86_64
  3. Überprüfen Sie auf dem Oracle Linux 8.6-Host den hostnqn Zeichenfolge bei /etc/nvme/hostnqn Und stellen Sie sicher, dass es mit der hostnqn-Zeichenfolge für das entsprechende Subsystem auf dem ONTAP-Array übereinstimmt.

    # cat /etc/nvme/hostnqn
    nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0032-3310-8033-b8c04f4c5132
    ::> vserver nvme subsystem host show -vserver vs_ol_nvme
    Vserver     Subsystem          Host NQN
    ----------- --------------- ----------------------------------------------------------
    vs_ol_nvme  nvme_ss_ol_1    nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
    Hinweis Wenn der hostnqn Zeichenfolgen stimmen nicht überein. Verwenden Sie die vserver modify Befehl zum Aktualisieren des hostnqn Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die mit dem übereinstimmt hostnqn Zeichenfolge von /etc/nvme/hostnqn Auf dem Host:
  4. Starten Sie den Host neu.

    Hinweis

    Wenn Sie sowohl NVMe- als auch SCSI-Datenverkehr auf demselben Oracle Linux 8.6 Host ausführen möchten, empfiehlt NetApp die Verwendung des NVMe Multipath im Kernel für ONTAP-Namespaces und des dm-Multipath für ONTAP-LUNs. Dies bedeutet auch, dass die ONTAP-Namespaces in dm-multipath auf die schwarze Liste gesetzt werden sollten, um zu verhindern, dass dm-multipath diese Namespace-Geräte beansprucht. Dies kann durch Hinzufügen der Einstellung zur /etc/multipath.conf Datei erfolgen enable_foreign:

    #cat /etc/multipath.conf
    defaults {
        enable_foreign  NONE
    }

    Starten Sie den multipathd-Daemon neu, indem Sie den ausführen systemctl restart multipathd Befehl, um die neue Einstellung wirksam zu machen.

Konfigurieren Sie den Broadcom FC-Adapter für NVMe/FC

Schritte
  1. Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie unter"Interoperabilitäts-Matrix-Tool":

    # cat /sys/class/scsi_host/host*/modelname
    LPe32002-M2
    LPe32002-M2
    # cat /sys/class/scsi_host/host*/modeldesc
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
  2. Überprüfen Sie, ob Sie die empfohlene Broadcom-Firmware und den Posteingangstreiber verwenden lpfc. Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter"Interoperabilitäts-Matrix-Tool":

    # cat /sys/class/scsi_host/host*/fwrev
    14.0.505.11, sli-4:2:c
    14.0.505.11, sli-4:2:c
    
    # cat /sys/module/lpfc/version
    0:12.8.0.11
  3. Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
    3
  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:

    # cat /sys/class/fc_host/host*/port_name
    0x100000109b1c1204
    0x100000109b1c1205
    # cat /sys/class/fc_host/host*/port_state
    Online
    Online
    # cat /sys/class/scsi_host/host*/nvme_info
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
    NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
    abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00001e15 Err 0000d906
    NVME Initiator Enabled
    XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
    NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
    abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 00001f50 Err 0000d9f8

Aktivieren Sie 1-MB-I/O-Größe

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc.

Hinweis Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.
Schritte
  1. Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256
  2. Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.

  3. Stellen Sie sicher, dass der Wert für lpfc_sg_seg_cnt 256 lautet:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Konfigurieren Sie den Marvell/QLogic FC Adapter für NVMe/FC

Der native Inbox qla2xxx Treiber, der im OL 8.6 GA Kernel enthalten ist, hat die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Schritte
  1. Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:

    # cat /sys/class/fc_host/host*/symbolic_name
    QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
    QLE2742 FW:v9.08.02 DVR:v10.02.00.106-k
  2. Verifizieren Sie das ql2xnvmeenable Ist festgelegt, wodurch der Marvell-Adapter als NVMe/FC-Initiator verwendet werden kann:

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
    1

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.

Schritte
  1. Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:

    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
    Discovery Log Number of Records 10, Generation counter 119
    =====Discovery Log Entry 0======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 0
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
    traddr: 192.168.2.56
    sectype: none
    =====Discovery Log Entry 1======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 1
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_1
    traddr: 192.168.1.51
    sectype: none
    =====Discovery Log Entry 2======
    trtype: tcp
    adrfam: ipv4
    subtype: nvme subsystem
    treq: not specified
    portid: 0
    trsvcid: 4420
    subnqn: nqn.1992-08.com.netapp:sn.56e362e9bb4f11ebbaded039ea165abc:subsystem.nvme_118_tcp_2
    traddr: 192.168.2.56
    sectype: none
    ...
  2. Gleichermaßen können Sie überprüfen, ob die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen der Protokollseitendaten der Bestandsaufnahme abgerufen werden können. Beispiel:

    #nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.51
    # nvme discover -t tcp -w 192.168.1.8 -a 192.168.1.52
    # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.56
    # nvme discover -t tcp -w 192.168.2.9 -a 192.168.2.57
  3. Führen Sie jetzt die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP-Initiator-Ziel-LIFs über die Nodes hinweg Stellen Sie sicher, dass Sie einen längeren Pass ctrl_loss_tmo Periode (z. B. sagen Sie 30 Minuten, die durch eingestellt werden kann -l 1800) Während der connect-all Damit es im Falle eines Pfadverlusts für einen längeren Zeitraum versuchen würde. Beispiel:

    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.51 -l 1800
    # nvme connect-all -t tcp -w 192.168.1.8 -a 192.168.1.52 -l 1800
    # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.56 -l 1800
    # nvme connect-all -t tcp -w 192.168.2.9 -a 192.168.2.57 -l 1800

NVMe/FC validieren

Schritte
  1. Überprüfen Sie die folgenden NVMe/FC-Einstellungen auf dem Oracle Linux 8.6-Host:

    # cat /sys/module/nvme_core/parameters/multipath
    Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
    NetApp ONTAP Controller
    NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
    round-robin
    round-robin
  2. Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

    # nvme list
    Node         SN                   Model
    ---------------------------------------------------------
    /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
    
    
    Namespace Usage    Format             FW             Rev
    -----------------------------------------------------------
    1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
    2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
    3                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
  3. Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

    # nvme list-subsys /dev/nvme0n1
    nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
    \
    +- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
    +- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
    +- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
    +- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
  4. Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

    # nvme netapp ontapdevices -o column
    
    Device        Vserver   Namespace Path
    ----------------------- ------------------------------
    /dev/nvme0n1   vs_ol_nvme  /vol/ol_nvme_vol_1_1_0/ol_nvme_ns
    /dev/nvme0n2   vs_ol_nvme  /vol/ol_nvme_vol_1_0_0/ol_nvme_ns
    /dev/nvme0n3   vs_ol_nvme  /vol/ol_nvme_vol_1_1_1/ol_nvme_ns
    
    
    NSID       UUID                                   Size
    ------------------------------------------------------------
    1          72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
    2          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   85.90GB
    3          264823b1-8e03-4155-80dd-e904237014a4   85.90GB
# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für OL 8.6 mit ONTAP weist folgende bekannte Probleme auf:

NetApp Bug ID Titel Beschreibung

1517321

Oracle Linux 8.6 NVMe-of Hosts erstellen doppelte Persistent Discovery Controller

Auf Oracle Linux 8.6 NVMe over Fabrics (NVMe-of)-Hosts können Sie das verwenden nvme discover -p Befehl zum Erstellen von Persistent Discovery Controllern (PDCs). Wenn dieser Befehl verwendet wird, sollte pro Initiator-Zielkombination nur ein PDC erstellt werden. Wenn Sie jedoch ONTAP 9.10.1 und Oracle Linux 8.6 mit einem NVMe-of-Host ausführen, wird jedes Mal ein doppelter PDC erstellt nvme discover -p Ausgeführt wird. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.