Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Ubuntu 22.04 für NVMe-oF mit ONTAP-Speicher konfigurieren

03/10/2026 Beitragende

PDFs

NVMe over Fabrics (NVMe-of), einschließlich NVMe over Fibre Channel (NVMe/FC) und andere Übertragungen, wird mit Ubuntu 22.04 mit Asymmetric Namespace Access (ANA) unterstützt. In NVMe-of Umgebungen entspricht ANA ALUA Multipathing in iSCSI- und FC-Umgebungen und wird mit in-Kernel NVMe Multipath implementiert.

Erfahren Sie, wie Sie NVMe over Fabrics (NVMe-oF)-Hosts für Ubuntu 22.04 konfigurieren. Weitere Informationen zu Support und Funktionen finden Sie unter "Ubuntu ONTAP Unterstützung und Funktionen".

NVMe-oF mit Ubuntu 22.04 weist die folgenden bekannten Einschränkungen auf:

Das Booten von SAN über das NVMe-oF-Protokoll wird derzeit für Ubuntu 22.04 mit ONTAP nicht unterstützt.

Weitere Details zu den unterstützten Konfigurationen finden Sie im "Interoperabilitäts-Matrix-Tool".

Schritt 1: Installieren Sie Ubuntu und die NVMe-Software und überprüfen Sie Ihre Konfiguration

Um Ihren Host für NVMe-oF zu konfigurieren, müssen Sie die Host- und NVMe-Softwarepakete installieren, Multipathing aktivieren und Ihre Host-NQN-Konfiguration überprüfen.

Schritte

Installieren Sie Ubuntu 22.04 auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Ubuntu 22.04-Kernel ausführen:
```
# uname -r
```
Beispiel für eine Ubuntu-Kernelversion:
```
5.15.0-101-generic
```
Installieren Sie den nvme-cli Paket:
```
# apt list | grep nvme
```
Das folgende Beispiel zeigt eine nvme-cli Paketversion:
```
nvme-cli/jammy-updates,now 1.16-3ubuntu0.1 amd64
```
Überprüfen Sie auf dem Ubuntu 22.04-Host den hostnqn-String unter /etc/nvme/hostnqn:
```
# cat /etc/nvme/hostnqn
```
Das folgende Beispiel zeigt eine hostnqn Version:
```
nqn.2014-08.org.nvmexpress:uuid:063axxxx-438a-xxxx-b9b4-95axxxx6d041
```

Überprüfen Sie im ONTAP-System, ob die hostnqn Zeichenkette von /etc/nvme/hostnqn mit der hostnqn Zeichenkette für das entsprechende Subsystem im ONTAP-Speichersystem übereinstimmt:

::> vserver nvme subsystem host show -vserver vs_106_fc_nvme

Beispiel anzeigen

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_106_fc_nvme ub_106 nqn.2014-08.org.nvmexpress:uuid:c047xxxx-e91e-xxxx-9995-ba4xxxx14631

Wenn die hostnqn Zeichenfolgen nicht übereinstimmen, verwenden Sie die vserver modify Befehl zum Aktualisieren der hostnqn Zeichenfolge auf Ihrem entsprechenden ONTAP -Speichersystem-Subsystem, um die Übereinstimmung mit hostnqn Zeichenfolge von /etc/nvme/hostnqn auf dem Host.

Schritt 2: NVMe/FC und NVMe/TCP konfigurieren

Konfigurieren Sie NVMe/FC für Broadcom/Emulex- oder Marvell/Qlogic-Adapter oder konfigurieren Sie NVMe/TCP mithilfe manueller Erkennung und Verbindungsoperationen.

Broadcom/Emulex

Konfigurieren Sie NVMe/FC für einen Broadcom/Emulex-Adapter.

Schritte

Stellen Sie sicher, dass Sie das unterstützte Adaptermodell verwenden:
1. Zeigen Sie die Modellnamen an:
  cat /sys/class/scsi_host/host*/modelname
  Die folgende Ausgabe sollte angezeigt werden:
  LPe36002-M64 LPe36002-M64
2. Zeigen Sie die Modellbeschreibungen an:
  cat /sys/class/scsi_host/host*/modeldesc
  Sie sollten eine Ausgabe sehen, die dem folgenden Beispiel ähnelt:
```
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
```
Vergewissern Sie sich, dass Sie das empfohlene Broadcom verwenden lpfc Firmware- und Inbox-Treiber.
1. Anzeige der Firmware-Version:
  cat /sys/class/scsi_host/host*/fwrev
  Der Befehl gibt die Firmware-Versionen zurück:
  14.2.673.40, sli-4:6:d 14.2.673.40, sli-4:6:d
2. Zeigen Sie die Posteingangstreiberversion an:
  cat /sys/module/lpfc/version
  Das folgende Beispiel zeigt eine Treiberversion:
```
0: 14.0.0.4
```
+ Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie im "Interoperabilitäts-Matrix-Tool".
Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Vergewissern Sie sich, dass Sie Ihre Initiator-Ports anzeigen können:
```
cat /sys/class/fc_host/host*/port_name
```
Sie sollten eine ähnliche Ausgabe sehen:
```
0x100000109bf0447c
0x100000109bf0447b
```
Überprüfen Sie, ob Ihre Initiator-Ports online sind:
```
cat /sys/class/fc_host/host*/port_state
```
Die folgende Ausgabe sollte angezeigt werden:
```
Online
Online
```

Vergewissern Sie sich, dass die NVMe/FC-Initiator-Ports aktiviert sind und die Ziel-Ports sichtbar sind:

cat /sys/class/scsi_host/host*/nvme_info

Beispielausgabe anzeigen

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x022300 ONLINE
NVME RPORT       WWPN x200cd039eaa8138b WWNN x200ad039eaa8138b DID x021509 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2010d039eaa8138b WWNN x200ad039eaa8138b DID x021108 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000005238 Issue 000000000000523a OutIO 0000000000000002
        abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000000

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022600 ONLINE
NVME RPORT       WWPN x200bd039eaa8138b WWNN x200ad039eaa8138b DID x021409 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200fd039eaa8138b WWNN x200ad039eaa8138b DID x021008 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 000000000e Cmpl 000000000e Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000000523c Issue 000000000000523e OutIO 0000000000000002
        abort 00000000 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000000 Err 00000000

Marvell/QLogic

Der native Inbox qla2xxx Treiber im Ubuntu 22.04 GA Kernel enthält die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Konfigurieren Sie NVMe/FC für einen Marvell/QLogic-Adapter.

Schritte

Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:
```
# cat /sys/class/fc_host/host*/symbolic_name
```
Das folgende Beispiel zeigt Treiber- und Firmwareversionen:
```
QLE2872 FW: v9.14.02 DVR: v10.02.06.200-k
QLE2872 FW: v9.14.02 DVR: v10.02.06.200-k
```
Verifizieren Sie das ql2xnvmeenable Ist festgelegt. Dadurch kann der Marvell Adapter als NVMe/FC-Initiator verwendet werden:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
Die erwartete Ausgabe ist 1.

NVMe/TCP

NVMe/TCP verfügt nicht über eine Auto-Connect-Funktion. Stattdessen können Sie die NVMe/TCP-Subsysteme und -Namespaces entdecken, indem Sie die NVMe/TCP connect- oder connect-all-Operationen manuell durchführen.

Wenn ein Pfad ausfällt und nicht innerhalb der standardmäßigen Timeout-Periode von 10 Minuten wiederhergestellt wird, kann NVMe/TCP die Verbindung nicht automatisch wiederherstellen. Um ein Timeout zu vermeiden, legen Sie die Wiederholungsperiode für Failover-Ereignisse auf mindestens 30 Minuten fest.

Schritte

Prüfen Sie, ob der Initiator-Port die Discovery-Log-Seiten-Daten über die unterstützten NVMe/TCP LIFs abrufen kann:

nvme discover -t tcp -w host-traddr -a traddr

Beispielausgabe anzeigen

#nvme discover -t tcp -w 10.10.11.47-a 10.10.10.122
Discovery Log Number of Records 8, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  0
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.bbfb4ee8dfb611edbd07d039ea165590:discovery
traddr:  10.10.10.122
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992 08.com.netapp:sn.bbfb4ee8dfb611edbd07d039ea165590:discovery
traddr:  10.10.10.124
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp

Vergewissern Sie sich, dass die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen von Protokollseitendaten der Bestandsaufnahme abgerufen werden können:

nvme discover -t tcp -w host-traddr -a traddr

Beispielausgabe anzeigen

#nvme discover -t tcp -w 10.10.10.47 -a 10.10.10.122
#nvme discover -t tcp -w 10.10.10.47 -a 10.10.10.124
#nvme discover -t tcp -w 10.10.11.47 -a 10.10.11.122
#nvme discover -t tcp -w 10.10.11.47 -a 10.10.11.

Führen Sie den Befehl nvme connect-all über alle unterstützten NVMe/TCP Initiator-Ziel-LIFs über die Nodes hinweg aus und legen Sie das Zeitlimit für den Controller-Verlust für mindestens 30 Minuten oder 1800 Sekunden fest:

nvme connect-all -t tcp -w host-traddr -a traddr -l 1800

Beispielausgabe anzeigen

#nvme	connect-all	-t	tcp	-w	10.10.10.47	-a	10.10.10.122 -l	1800
#nvme	connect-all	-t	tcp	-w	10.10.10.47	-a	10.10.10.124 -l	1800
#nvme	connect-all	-t	tcp	-w	10.10.11.47	-a	10.10.11.122 -l	1800
#nvme	connect-all	-t	tcp	-w	10.10.11.47	-a	10.10.11.124 -l	1800

Schritt 3: Optional: Aktivieren Sie 1 MB I/O für NVMe/FC.

ONTAP meldet in den Identify Controller-Daten eine maximale Datenübertragungsgröße (MDTS) von 8. Dies bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um E/A-Anfragen der Größe 1 MB für einen Broadcom NVMe/FC-Host auszugeben, sollten Sie die lpfc Wert des lpfc_sg_seg_cnt Parameter vom Standardwert 64 auf 256.

Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.

Schritte

Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Sie sollten eine Ausgabe ähnlich dem folgenden Beispiel sehen:
```
options lpfc lpfc_sg_seg_cnt=256
```
Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.
Stellen Sie sicher, dass der Wert für lpfc_sg_seg_cnt 256 lautet:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Schritt 4: Multipathing-Konfiguration überprüfen

Vergewissern Sie sich, dass der in-Kernel-Multipath-Status, der ANA-Status und die ONTAP-Namespaces für die NVMe-of-Konfiguration richtig sind.

Schritte

Vergewissern Sie sich, dass das in-Kernel NVMe Multipath aktiviert ist:
```
# cat /sys/module/nvme_core/parameters/multipath
```
Die erwartete Ausgabe ist „Y“.
Vergewissern Sie sich, dass die entsprechenden NVMe-of-Einstellungen (z. B. auf NetApp ONTAP-Controller gesetzt auf Modell und Load-Balancing-IOpolicy auf Round-Robin eingestellt) für die jeweiligen ONTAP-Namespaces den Host korrekt widerspiegeln:
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/model
```
Die folgende Ausgabe sollte angezeigt werden:
```
NetApp ONTAP Controller
NetApp ONTAP Controller
```
1. Zeigen Sie die Richtlinie an:
  # cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Die folgende Ausgabe sollte angezeigt werden:
```
round-robin
round-robin
```

Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

# nvme list

Beispielausgabe anzeigen

Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

NVMe/FC

# nvme list-subsys /dev/nvme0n1

Beispielausgabe anzeigen

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.8763d311b2ac11ed950ed039ea951c46:subsystem. ub_106 \
+- nvme1 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a7d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live optimized
+- nvme2 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a8d039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live optimized
+- nvme3 fc traddr=nn-0x20a6d039ea954d17:pn-0x20aad039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live non-optimized
+- nvme5 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a9d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live non-optimized

NVMe/TCP

# nvme list-subsys /dev/nvme1n1

Beispielausgabe anzeigen

nvme-subsys1 - NQN=nqn.1992- 08.com.netapp:sn. bbfb4ee8dfb611edbd07d039ea165590:subsystem.rhel_tcp_95
+- nvme1 tcp traddr=10.10.10.122,trsvcid=4420,host_traddr=10.10.10.47,src_addr=10.10.10.47 live
+- nvme2 tcp traddr=10.10.10.124,trsvcid=4420,host_traddr=10.10.10.47,src_addr=10.10.10.47 live
+- nvme3 tcp traddr=10.10.11.122,trsvcid=4420,host_traddr=10.10.11.47,src_addr=10.10.11.47 live
+- nvme4 tcp traddr=10.10.11.124,trsvcid=4420,host_traddr=10.10.11.47,src_addr=10.10.11.47 live

Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

Spalte

# nvme netapp ontapdevices -o column

Beispielausgabe anzeigen

Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme0n1 co_iscsi_tcp_ubuntu /vol/vol1/ns1



NSID       UUID                                   Size
------------------------------------------------------------
1          79c2c569-b7fa-42d5-b870-d9d6d7e5fa84	21.47GB

JSON

# nvme netapp ontapdevices -o json

Beispielausgabe anzeigen

{

"ONTAPdevices" : [
{

"Device" : "/dev/nvme0n1",
"Vserver" : "co_iscsi_tcp_ubuntu",
"Namespace_Path" : "/vol/nvmevol1/ns1",
"NSID" : 1,
"UUID" : "79c2c569-b7fa-42d5-b870-d9d6d7e5fa84",
"Size" : "21.47GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 5242880
},

]
}

Schritt 5: Überprüfen der bekannten Probleme

Die NVMe-of Hostkonfiguration für Ubuntu 22.04 mit ONTAP-Release weist das folgende bekannte Problem auf:

NetApp Bug ID	Titel	Beschreibung
CONTAPEXT-2037	Ubuntu 22.04 NVMe-of-Hosts erstellen doppelte Persistent Discovery Controller	Auf NVMe-of Hosts können Sie den Befehl „nvme discover -p“ verwenden, um Persistent Discovery Controller (PDCs) zu erstellen. Dieser Befehl sollte nur ein PDC für jede Kombination aus Initiator und Ziel erstellen. Wenn Sie Ubuntu 22.04 jedoch auf einem NVMe-of-Host ausführen, wird bei jeder Ausführung von „nvme discover -p“ ein doppelter PDC erstellt. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.

NetApp Bug ID

Titel

Beschreibung

CONTAPEXT-2037

Ubuntu 22.04 NVMe-of-Hosts erstellen doppelte Persistent Discovery Controller

Auf NVMe-of Hosts können Sie den Befehl „nvme discover -p“ verwenden, um Persistent Discovery Controller (PDCs) zu erstellen. Dieser Befehl sollte nur ein PDC für jede Kombination aus Initiator und Ziel erstellen. Wenn Sie Ubuntu 22.04 jedoch auf einem NVMe-of-Host ausführen, wird bei jeder Ausführung von „nvme discover -p“ ein doppelter PDC erstellt. Dies führt zu einer unnötigen Nutzung der Ressourcen auf dem Host und dem Ziel.

Ubuntu 22.04 für NVMe-oF mit ONTAP-Speicher konfigurieren

Creating your file...

Schritt 1: Installieren Sie Ubuntu und die NVMe-Software und überprüfen Sie Ihre Konfiguration

Schritt 2: NVMe/FC und NVMe/TCP konfigurieren

Schritt 3: Optional: Aktivieren Sie 1 MB I/O für NVMe/FC.

Schritt 4: Multipathing-Konfiguration überprüfen

Schritt 5: Überprüfen der bekannten Probleme