Skip to main content
SAN hosts and cloud clients
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP

Beitragende
PDFs

NVMe over Fabrics (NVMe-of), einschließlich NVMe over Fibre Channel (NVMe/FC) und andere Übertragungen, wird mit Ubuntu 22.04 mit Asymmetric Namespace Access (ANA) unterstützt. In NVMe-of Umgebungen entspricht ANA ALUA Multipathing in iSCSI- und FC-Umgebungen und wird mit in-Kernel NVMe Multipath implementiert.

Die folgende Unterstützung ist für die NVMe-of Hostkonfiguration für Ubuntu 22.04 mit ONTAP verfügbar:

  • Über das NetApp Plug-in im nativen nvme-cli-Paket werden ONTAP-Details für NVMe/FC-Namespaces angezeigt.

  • Verwendung von gleichzeitig vorhandenem NVMe und SCSI-Datenverkehr auf demselben Host in einem bestimmten Host Bus Adapter (HBA) ohne die expliziten dm-Multipath-Einstellungen, um die Inanspruchnahme von NVMe-Namespaces zu verhindern.

Weitere Informationen zu unterstützten Konfigurationen finden Sie im "Interoperabilitäts-Matrix-Tool".

Funktionen

Ubuntu 22.04 hat standardmäßig in-Kernel NVMe Multipath für NVMe-Namespaces aktiviert. Daher sind keine expliziten Einstellungen erforderlich.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit nicht unterstützt.

Validieren der Softwareversionen

Mit dem folgenden Verfahren können Sie die mindestens unterstützten Ubuntu 22.04-Softwareversionen validieren.

Schritte

  1. Installieren Sie Ubuntu 22.04 auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Ubuntu 22.04-Kernel ausführen:

    # uname -r

    Beispielausgabe:

    5.15.0-101-generic

  2. Installieren Sie den nvme-cli Paket:

    # apt list | grep nvme

    Beispielausgabe:

    nvme-cli/jammy-updates,now 1.16-3ubuntu0.1 amd64

  3. Überprüfen Sie auf dem Ubuntu 22.04-Host den hostnqn-String unter /etc/nvme/hostnqn:

    # cat /etc/nvme/hostnqn

    Beispielausgabe

    nqn.2014-08.org.nvmexpress:uuid:063a9fa0-438a-4737-b9b4-95a21c66d041

  4. Überprüfen Sie das hostnqn Die Zeichenfolge entspricht der hostnqn String für das entsprechende Subsystem auf dem ONTAP-Array:

    ::> vserver nvme subsystem host show -vserver vs_106_fc_nvme

    Beispielausgabe:

    Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_106_fc_nvme ub_106 nqn.2014-08.org.nvmexpress:uuid:c04702c8-e91e-4353-9995-ba4536214631
    Hinweis Wenn der hostnqn Zeichenfolgen stimmen nicht überein. Verwenden Sie die vserver modify Befehl zum Aktualisieren des hostnqn Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die dem entspricht hostnqn Zeichenfolge von /etc/nvme/hostnqn Auf dem Host.

Konfiguration von NVMe/FC

Sie können NVMe/FC für Broadcom/Emulex- oder Marvell/Qlogic-Adapter konfigurieren.

Broadcom/Emulex
Schritte

  1. Stellen Sie sicher, dass Sie das unterstützte Adaptermodell verwenden.

    # cat /sys/class/scsi_host/host*/modelname

    Beispielausgabe:

    LPe36002-M64
LPe36002-M64
    # cat /sys/class/scsi_host/host*/modeldesc

    Beispielausgabe:

    Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter

  2. Vergewissern Sie sich, dass Sie das empfohlene Broadcom verwenden lpfc Firmware- und Inbox-Treiber.

    # cat /sys/class/scsi_host/host*/fwrev

14.2.673.40, sli-4:6:d
14.2.673.40, sli-4:6:d

# cat /sys/module/lpfc/version
0: 14.0.0.4

    Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie im "Interoperabilitäts-Matrix-Tool".

  3. Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:

    # cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

  4. Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:

    # cat /sys/class/fc_host/host*/port_name
0x100000109bf0447c
0x100000109bf0447b
# cat /sys/class/fc_host/host*/port_state
Online
Online
# cat /sys/class/scsi_host/host*/nvme_info
        NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x022300 ONLINE
NVME RPORT       WWPN x200cd039eaa8138b WWNN x200ad039eaa8138b DID x021509 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2010d039eaa8138b WWNN x200ad039eaa8138b DID x021108 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000005238 Issue 000000000000523a OutIO 0000000000000002
        abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000000

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022600 ONLINE
NVME RPORT       WWPN x200bd039eaa8138b WWNN x200ad039eaa8138b DID x021409 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200fd039eaa8138b WWNN x200ad039eaa8138b DID x021008 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000000523c Issue 000000000000523e OutIO 0000000000000002
        abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000000
Marvell/QLogic FC Adapter für NVMe/FC

Der native Inbox qla2xxx Treiber im Ubuntu 22.04 GA Kernel enthält die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Schritte

  1. Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:

    # cat /sys/class/fc_host/host*/symbolic_name

    Beispielausgabe

    QLE2872 FW: v9.14.02 DVR: v10.02.06.200-k
QLE2872 FW: v9.14.02 DVR: v10.02.06.200-k

  2. Verifizieren Sie das ql2xnvmeenable Ist festgelegt. Dadurch kann der Marvell Adapter als NVMe/FC-Initiator verwendet werden:

    # cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1

1 MB E/A aktivieren (optional)

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc.

Hinweis Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.
Schritte

  1. Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

    cat /etc/modprobe.d/lpfc.conf
    options lpfc lpfc_sg_seg_cnt=256

  2. Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.

  3. Stellen Sie sicher, dass der Wert für lpfc_sg_seg_cnt 256 lautet:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Wenn also ein Pfad ausfällt und nicht innerhalb der standardmäßigen Time-Out-Frist von 10 Minuten wieder hergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu verhindern, sollten Sie den Wiederholungszeitraum für Failover-Ereignisse auf mindestens 30 Minuten einstellen.

Schritte

  1. Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:

    nvme discover -t tcp -w host-traddr -a traddr

    Beispielausgabe:

    # nvme discover -t tcp -w 10.10.11.47-a 10.10.10.122

Discovery Log Number of Records 8, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  0
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.bbfb4ee8dfb611edbd07d039ea165590:discovery
traddr:  10.10.10.122
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992 08.com.netapp:sn.bbfb4ee8dfb611edbd07d039ea165590:discovery
traddr:  10.10.10.124
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp

  2. Vergewissern Sie sich, dass die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen von Protokollseitendaten der Bestandsaufnahme abgerufen werden können:

    nvme discover -t tcp -w host-traddr -a traddr

    Beispielausgabe:

    #nvme discover -t tcp -w 10.10.10.47 -a 10.10.10.122
#nvme discover -t tcp -w 10.10.10.47 -a 10.10.10.124
#nvme discover -t tcp -w 10.10.11.47 -a 10.10.11.122
#nvme discover -t tcp -w 10.10.11.47 -a 10.10.11.

  3. Führen Sie den Befehl nvme connect-all über alle unterstützten NVMe/TCP Initiator-Ziel-LIFs über die Nodes hinweg aus und legen Sie das Zeitlimit für den Controller-Verlust für mindestens 30 Minuten oder 1800 Sekunden fest:

    nvme connect-all -t tcp -w host-traddr -a traddr -l 1800

    Beispielausgabe:

    #	nvme	connect-all	-t	tcp	-w	10.10.10.47	-a	10.10.10.122 -l	1800
#	nvme	connect-all	-t	tcp	-w	10.10.10.47	-a	10.10.10.124 -l	1800
#	nvme	connect-all	-t	tcp	-w	10.10.11.47	-a	10.10.11.122 -l	1800
#	nvme	connect-all	-t	tcp	-w	10.10.11.47	-a	10.10.11.124 -l	1800

NVMe-of validieren

Zur Validierung VON NVME-of gehen Sie wie folgt vor.

Schritte

  1. Vergewissern Sie sich, dass das in-Kernel NVMe Multipath aktiviert ist:

    # cat /sys/module/nvme_core/parameters/multipath
Y

  2. Vergewissern Sie sich, dass die entsprechenden NVMe-of-Einstellungen (z. B. auf NetApp ONTAP-Controller gesetzt auf Modell und Load-Balancing-IOpolicy auf Round-Robin eingestellt) für die jeweiligen ONTAP-Namespaces den Host korrekt widerspiegeln:

    # cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
    # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

  3. Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

    # nvme list

    Beispielausgabe:

    Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

  4. Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

    NVMe/FC
    # nvme list-subsys /dev/nvme0n1

    Beispielausgabe:

    nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.8763d311b2ac11ed950ed039ea951c46:subsystem. ub_106 \
+- nvme1 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a7d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live optimized
+- nvme2 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a8d039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live optimized
+- nvme3 fc traddr=nn-0x20a6d039ea954d17:pn-0x20aad039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live non-optimized
+- nvme5 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a9d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live non-optimized
    NVME/TCP
    # nvme list-subsys /dev/nvme1n1

    Beispielausgabe:

    nvme-subsys1 - NQN=nqn.1992- 08.com.netapp:sn. bbfb4ee8dfb611edbd07d039ea165590:subsystem.rhel_tcp_95
+- nvme1 tcp traddr=10.10.10.122,trsvcid=4420,host_traddr=10.10.10.47,src_addr=10.10.10.47 live
+- nvme2 tcp traddr=10.10.10.124,trsvcid=4420,host_traddr=10.10.10.47,src_addr=10.10.10.47 live
+- nvme3 tcp traddr=10.10.11.122,trsvcid=4420,host_traddr=10.10.11.47,src_addr=10.10.11.47 live
+- nvme4 tcp traddr=10.10.11.124,trsvcid=4420,host_traddr=10.10.11.47,src_addr=10.10.11.47 live

  5. Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

    Spalte
    # nvme netapp ontapdevices -o column

    Beispielausgabe:

    Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme0n1 co_iscsi_tcp_ubuntu /vol/vol1/ns1



NSID       UUID                                   Size
------------------------------------------------------------
1          79c2c569-b7fa-42d5-b870-d9d6d7e5fa84	21.47GB
    JSON
    # nvme netapp ontapdevices -o json

    Beispielausgabe

    {

"ONTAPdevices" : [
{

"Device" : "/dev/nvme0n1",
"Vserver" : "co_iscsi_tcp_ubuntu",
"Namespace_Path" : "/vol/nvmevol1/ns1",
"NSID" : 1,
"UUID" : "79c2c569-b7fa-42d5-b870-d9d6d7e5fa84",
"Size" : "21.47GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 5242880
},

]
}

Bekannte Probleme

Die NVMe-of Hostkonfiguration für Ubuntu 22.04 mit ONTAP-Release weist das folgende bekannte Problem auf:

NetApp Bug ID Titel Beschreibung

CONTAPEXT-2037

Ubuntu 22.04 NVMe-of-Hosts erstellen doppelte Persistent Discovery Controller

Auf NVMe-of Hosts können Sie den Befehl „nvme discover -p“ verwenden, um Persistent Discovery Controller (PDCs) zu erstellen. Dieser Befehl sollte nur ein PDC für jede Kombination aus Initiator und Ziel erstellen. Wenn Sie Ubuntu 22.04 jedoch auf einem NVMe-of-Host ausführen, wird bei jeder Ausführung von „nvme discover -p“ ein doppelter PDC erstellt. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.