Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe/FC-Hostkonfiguration für SUSE Linux Enterprise Server 15 SP2 mit ONTAP

Beitragende

NVMe/FC wird auf ONTAP 9 6 und höher mit SUSE Linux Enterprise Server 15 SP2 unterstützt. Auf dem SUSE Linux Enterprise Server 15 SP2-Host kann sowohl NVMe/FC- als auch FCP-Datenverkehr über dieselben Fibre-Channel-Initiator-Adapter-Ports ausgeführt werden. Eine Liste der unterstützten FC-Adapter und Controller finden Sie im "Hardware Universe" .

Die aktuelle Liste der unterstützten Konfigurationen und Versionen finden Sie unter "NetApp Interoperabilitätsmatrix".

Hinweis Sie können die in diesem Dokument angegebenen Konfigurationseinstellungen verwenden, um die mit verbundenen Cloud-Clients zu konfigurieren "Cloud Volumes ONTAP" Und "Amazon FSX für ONTAP".

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Aktivieren Sie NVMe/FC unter SUSE Linux Enterprise Server 15 SP2

  1. Führen Sie ein Upgrade auf die empfohlene SUSE Linux Enterprise Server 15 SP2 MU-Kernel-Version durch.

  2. Upgrade des nativen nvme-cli-Pakets

    Dieses native nvme-cli-Paket enthält die automatischen NVMe/FC-connect-Skripte, die ONTAP udev-Regel für den Round-Robin-Lastausgleich für NVMe Multipath und das NetApp Plug-in für ONTAP Namespaces.

    # rpm -qa|grep nvme-cli
    nvme-cli-1.10-2.38.x86_64
  3. Überprüfen Sie auf dem SUSE Linux Enterprise Server 15 SP2-Host die NQN-Hostzeichenfolge unter /etc/nvme/hostnqn, und vergewissern Sie sich, dass sie mit der NQN-Hostzeichenfolge für das entsprechende Subsystem im ONTAP-Array übereinstimmt. Beispiel:

    # cat /etc/nvme/hostnqn
    nqn.2014-08.org.nvmexpress:uuid:3ca559e1-5588-4fc4-b7d6-5ccfb0b9f054
    ::> vserver nvme subsystem host show -vserver vs_fcnvme_145
    Vserver Subsystem Host NQN
    ------- --------- ----------------------------------------------------------
    vs_fcnvme_145
    nvme_145_1
    nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
    nvme_145_2
    nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
    nvme_145_3
    nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
    nvme_145_4
    nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
    nvme_145_5
    nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f
    5 entries were displayed.
  4. Starten Sie den Host neu.

Konfigurieren Sie den Broadcom FC-Adapter für NVMe/FC

  1. Vergewissern Sie sich, dass Sie den unterstützten Adapter verwenden. Die aktuelle Liste der unterstützten Adapter finden Sie im "NetApp Interoperabilitätsmatrix".

    # cat /sys/class/scsi_host/host*/modelname
    LPe32002-M2
    LPe32002-M2
    # cat /sys/class/scsi_host/host*/modeldesc
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
    Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
  2. Stellen Sie sicher, dass Sie die empfohlene Broadcom lpfc-Firmware und native Inbox-Treiber-Versionen verwenden.

    # cat /sys/class/scsi_host/host*/fwrev
    12.6.240.40, sli-4:2:c
    12.6.240.40, sli-4:2:c
    # cat /sys/module/lpfc/version
    0:12.8.0.2
  3. Stellen Sie sicher, dass lpfc_enable_fc4_type auf 3 gesetzt ist.

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
    3
  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden.

    # cat /sys/class/fc_host/host*/port_name
    0x100000109b579d5e
    0x100000109b579d5f
    # cat /sys/class/fc_host/host*/port_state
    Online
    Online
  5. Vergewissern Sie sich, dass die NVMe/FC-Initiator-Ports aktiviert sind und die Ziel-LIFs ausgeführt werden können.

    # cat /sys/class/scsi_host/host*/nvme_info
    NVME Initiator Enabled
    XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc0 WWPN x100000109b579d5e WWNN x200000109b579d5e DID x011c00 ONLINE
    NVME RPORT WWPN x208400a098dfdd91 WWNN x208100a098dfdd91 DID x011503 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x208500a098dfdd91 WWNN x208100a098dfdd91 DID x010003 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000e49 Cmpl 0000000e49 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000003ceb594f Issue 000000003ce65dbe OutIO fffffffffffb046f
    abort 00000bd2 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 000014f4 Err 00012abd
    NVME Initiator Enabled
    XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
    NVME LPORT lpfc1 WWPN x100000109b579d5f WWNN x200000109b579d5f DID x011b00 ONLINE
    NVME RPORT WWPN x208300a098dfdd91 WWNN x208100a098dfdd91 DID x010c03 TARGET DISCSRVC ONLINE
    NVME RPORT WWPN x208200a098dfdd91 WWNN x208100a098dfdd91 DID x012a03 TARGET DISCSRVC ONLINE
    NVME Statistics
    LS: Xmt 0000000e50 Cmpl 0000000e50 Abort 00000000
    LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
    Total FCP Cmpl 000000003c9859ca Issue 000000003c93515e OutIO fffffffffffaf794
    abort 00000b73 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
    FCP CMPL: xb 0000159d Err 000135c3

NVMe/FC validieren

  1. Überprüfen Sie die folgenden NVMe/FC-Einstellungen.

    # cat /sys/module/nvme_core/parameters/multipath
    Y
    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
    NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
    round-robin
  2. Vergewissern Sie sich, dass die Namespaces erstellt wurden.

    # nvme list
    Node SN Model Namespace Usage Format FW Rev
    ---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
    /dev/nvme1n1 814vWBNRwfBGAAAAAAAB NetApp ONTAP Controller 1 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
  3. Überprüfen Sie den Status der ANA-Pfade.

    # nvme list-subsys /dev/nvme1n1
    nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.04ba0732530911ea8e8300a098dfdd91:subsystem.nvme_145_1
    \
    +- nvme2 fc traddr=nn-0x208100a098dfdd91:pn-0x208200a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live inaccessible
    +- nvme3 fc traddr=nn-0x208100a098dfdd91:pn-0x208500a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live inaccessible
    +- nvme4 fc traddr=nn-0x208100a098dfdd91:pn-0x208400a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live optimized
    +- nvme6 fc traddr=nn-0x208100a098dfdd91:pn-0x208300a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live optimized
  4. Überprüfen Sie das NetApp Plug-in für ONTAP Geräte.

    # nvme netapp ontapdevices -o column
    Device Vserver Namespace Path NSID UUID Size
    ---------------- ------------------------- -------------------------------------------------- ---- -------------------------------------- ---------
    /dev/nvme1n1 vserver_fcnvme_145 /vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns 1 23766b68-e261-444e-b378-2e84dbe0e5e1 85.90GB
    
    # nvme netapp ontapdevices -o json
    {
    "ONTAPdevices" : [
         {
           "Device" : "/dev/nvme1n1",
           "Vserver" : "vserver_fcnvme_145",
           "Namespace_Path" : "/vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns",
           "NSID" : 1,
           "UUID" : "23766b68-e261-444e-b378-2e84dbe0e5e1",
           "Size" : "85.90GB",
           "LBA_Data_Size" : 4096,
           "Namespace_Size" : 20971520
         },
      ]
    }

Bekannte Probleme

Es sind keine Probleme bekannt.

Aktivieren Sie 1 MB I/O-Größe für Broadcom NVMe/FC

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc.

Hinweis Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.
Schritte
  1. Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256
  2. Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.

  3. Stellen Sie sicher, dass der erwartete Wert von lpfc_sg_seg_cnt 256 ist:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

LPFC Verbose Logging

Legen Sie den lpfc-Treiber für NVMe/FC fest.

Schritte
  1. Stellen Sie die ein lpfc_log_verbose Treibereinstellung auf einen der folgenden Werte, um NVMe/FC-Ereignisse zu protokollieren.

    #define LOG_NVME 0x00100000 /* NVME general events. */
    #define LOG_NVME_DISC 0x00200000 /* NVME Discovery/Connect events. */
    #define LOG_NVME_ABTS 0x00400000 /* NVME ABTS events. */
    #define LOG_NVME_IOERR 0x00800000 /* NVME IO Error events. */
  2. Führen Sie nach dem Festlegen der Werte den aus dracut-f Führen Sie einen Befehl aus und starten Sie den Host neu.

  3. Überprüfen Sie die Einstellungen.

    # cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_log_verbose=0xf00083
    
    # cat /sys/module/lpfc/parameters/lpfc_log_verbose 15728771