Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Ubuntu 24.04 für NVMe-oF mit ONTAP-Speicher konfigurieren

03/10/2026 Beitragende

PDFs

NVMe over Fabrics (NVMe-of), einschließlich NVMe over Fibre Channel (NVMe/FC) und andere Übertragungen werden mit Ubuntu 24.04 und Asymmetric Namespace Access (ANA) unterstützt. In NVMe-of Umgebungen entspricht ANA ALUA Multipathing in iSCSI- und FC-Umgebungen und wird mit in-Kernel NVMe Multipath implementiert.

Erfahren Sie, wie Sie NVMe over Fabrics (NVMe-oF)-Hosts für Ubuntu 24.04 konfigurieren. Weitere Informationen zu Support und Funktionen finden Sie unter "Ubuntu ONTAP Unterstützung und Funktionen".

NVMe-oF mit Ubuntu 24.04 weist die folgenden bekannten Einschränkungen auf:

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit für Ubuntu 24.04 mit ONTAP nicht unterstützt.

Weitere Informationen zu unterstützten Konfigurationen finden Sie im "Interoperabilitäts-Matrix-Tool".

Schritt 1: Installieren Sie Ubuntu und die NVMe-Software und überprüfen Sie Ihre Konfiguration

Um Ihren Host für NVMe-oF zu konfigurieren, müssen Sie die Host- und NVMe-Softwarepakete installieren, Multipathing aktivieren und Ihre Host-NQN-Konfiguration überprüfen.

Schritte

Installieren Sie Ubuntu 24.04 auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Ubuntu 24.04-Kernel ausführen:
```
uname -r
```
Beispiel für eine Ubuntu-Kernelversion:
```
6.8.0-31-generic
```
Installieren Sie den nvme-cli Paket:
```
apt list | grep nvme
```
Das folgende Beispiel zeigt eine nvme-cli Paketversion:
```
nvme-cli/noble-updates 2.8-1ubuntu0.1 amd64
```
Überprüfen Sie auf dem Ubuntu 24.04 Host den hostnqn String unter /etc/nvme/hostnqn:
```
cat /etc/nvme/hostnqn
```
Das folgende Beispiel zeigt eine hostnqn Version:
```
nqn.2014-08.org.nvmexpress:uuid:ace1xxxx-1f5a-xxxx-b0c3-3a6xxxx1a6ff
```

Überprüfen Sie im ONTAP-System, ob die hostnqn Zeichenkette von /etc/nvme/hostnqn mit der hostnqn Zeichenkette für das entsprechende Subsystem im ONTAP-Speichersystem übereinstimmt:

vserver nvme subsystem host show -vserver vs_106_fc_nvme

Beispiel anzeigen

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_106_fc_nvme ub_106 nqn.2014-08.org.nvmexpress:uuid:c047xxxx-e91e-xxxx-9995-ba4xxxx14631

Falls die hostnqn Zeichenketten nicht übereinstimmen, verwenden Sie den vserver modify Befehl, um die hostnqn Zeichenkette auf Ihrem entsprechenden ONTAP Storage-System-Subsystem so zu aktualisieren, dass sie mit der hostnqn Zeichenkette von /etc/nvme/hostnqn auf dem Host übereinstimmt.

Schritt 2: NVMe/FC und NVMe/TCP konfigurieren

Konfigurieren Sie NVMe/FC für Broadcom/Emulex- oder Marvell/Qlogic-Adapter oder konfigurieren Sie NVMe/TCP mithilfe manueller Erkennung und Verbindungsoperationen.

Broadcom/Emulex

Konfigurieren Sie NVMe/FC für einen Broadcom/Emulex-Adapter.

Schritte

Stellen Sie sicher, dass Sie das unterstützte Adaptermodell verwenden:
1. Zeigen Sie die Modellnamen an:
  cat /sys/class/scsi_host/host*/modelname
  Die folgende Ausgabe sollte angezeigt werden:
  LPe36002-M64 LPe36002-M64
2. Zeigen Sie die Modellbeschreibungen an:
  cat /sys/class/scsi_host/host*/modeldesc
  Sie sollten eine Ausgabe sehen, die dem folgenden Beispiel ähnelt:
```
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
```
Vergewissern Sie sich, dass Sie die empfohlene Broadcom lpfc Firmware und den mitgelieferten Treiber verwenden:
1. Anzeige der Firmware-Version:
  cat /sys/class/scsi_host/host*/fwrev
  Der Befehl gibt die Firmware-Versionen zurück:
  14.4.317.10, sli-4:6:d 14.4.317.10, sli-4:6:d
2. Zeigen Sie die Posteingangstreiberversion an:
  cat /sys/module/lpfc/version
  Das folgende Beispiel zeigt eine Treiberversion:
```
0:14.2.0.17
```
+ Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie im "Interoperabilitäts-Matrix-Tool".
Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Vergewissern Sie sich, dass Sie Ihre Initiator-Ports anzeigen können:
```
cat /sys/class/fc_host/host*/port_name
```
Sie sollten eine ähnliche Ausgabe sehen:
```
0x100000109bf0447b
0x100000109bf0447c
```
Überprüfen Sie, ob Ihre Initiator-Ports online sind:
```
cat /sys/class/fc_host/host*/port_state
```
Die folgende Ausgabe sollte angezeigt werden:
```
Online
Online
```

Vergewissern Sie sich, dass die NVMe/FC-Initiator-Ports aktiviert sind und die Ziel-Ports sichtbar sind:

cat /sys/class/scsi_host/host*/nvme_info

Beispielausgabe anzeigen

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022600 ONLINE
NVME RPORT       WWPN x200fd039eaa8138b WWNN x200ad039eaa8138b DID x021006 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000014096514 Issue 000000001407fcd6 OutIO fffffffffffe97c2
        abort 00000048 noxri 00000000 nondlp 0000001c qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000048 Err 00000077

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x022300 ONLINE
NVME RPORT       WWPN x2010d039eaa8138b WWNN x200ad039eaa8138b DID x021106 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000140970ed Issue 00000000140813da OutIO fffffffffffea2ed
        abort 00000047 noxri 00000000 nondlp 0000002b qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000047 Err 00000075

NVMe/FC - Marvell/QLogic

Der native Inbox qla2xxx Treiber im Ubuntu 24.04 GA Kernel enthält die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Konfigurieren Sie NVMe/FC für einen Marvell/QLogic-Adapter.

Schritte

Stellen Sie sicher, dass Sie die unterstützten Adaptertreiber- und Firmware-Versionen verwenden:
```
cat /sys/class/fc_host/host*/symbolic_name
```
Das folgende Beispiel zeigt Treiber- und Firmwareversionen:
```
QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k
QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k
```
Verifizieren Sie das ql2xnvmeenable Ist festgelegt. Dadurch kann der Marvell Adapter als NVMe/FC-Initiator verwendet werden:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
Die erwartete Ausgabe ist 1.

NVMe/TCP

NVMe/TCP unterstützt die Auto-Connect-Operation nicht. Stattdessen können Sie die NVMe/TCP-Subsysteme und Namespaces entdecken, indem Sie die NVMe/TCP connect- oder connect-all-Operationen manuell durchführen.

Schritte

Prüfen Sie, ob der Initiator-Port die Discovery-Log-Seiten-Daten über die unterstützten NVMe/TCP LIFs abrufen kann:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Beispiel anzeigen

# nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
Discovery Log Number of Records 8, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.167.156
eflags:  explicit discovery connections, duplicate discovery information*
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.166.156
eflags:  explicit discovery connections, duplicate discovery information*
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  3
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.167.155
eflags:  explicit discovery connections, duplicate discovery information*
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.166.155
eflags:  explicit discovery connections, duplicate discovery information*
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.167.156
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.166.156
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  3
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.167.155
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.166.155
eflags:  none
sectype: none

Überprüfen Sie, ob die anderen NVMe/TCP-Initiator-Ziel-LIF-Kombinationen erfolgreich Daten der Erkennungsprotokollseite abrufen können:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Beispielausgabe anzeigen

#nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
#nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.156
#nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.155
#nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.156

Führen Sie die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP Initiator-Ziel-LIFs der Nodes hinweg:

nvme connect-all -t tcp -w <host-traddr> -a <traddr>

Beispiel anzeigen

#nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.155
#nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.156
#nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.155
#nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.156

Ab Ubuntu 24.04 ist die Standardeinstellung Ctrl_Loss_tmo timeout für NVMe/TCP deaktiviert. Dies bedeutet, dass die Anzahl der Wiederholungen (unbestimmter Versuch) nicht begrenzt ist und Sie bei Verwendung der Befehle oder nvme connect-all (Option -l ) keine spezifische Ctrl_Loss_tmo-Zeitdauer manuell konfigurieren müssen nvme connect. Bei diesem Standardverhalten treten für die NVMe/TCP-Controller bei einem Pfadausfall keine Timeouts auf und bleiben dauerhaft verbunden.

Schritt 3: Optional: Aktivieren Sie 1 MB I/O für NVMe/FC.

ONTAP meldet in den Identify Controller-Daten eine maximale Datenübertragungsgröße (MDTS) von 8. Dies bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um E/A-Anfragen der Größe 1 MB für einen Broadcom NVMe/FC-Host auszugeben, sollten Sie die lpfc Wert des lpfc_sg_seg_cnt Parameter vom Standardwert 64 auf 256.

Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.

Schritte

Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Sie sollten eine Ausgabe ähnlich dem folgenden Beispiel sehen:
```
options lpfc lpfc_sg_seg_cnt=256
```
Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.
Stellen Sie sicher, dass der Wert für lpfc_sg_seg_cnt 256 lautet:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Schritt 4: Multipathing-Konfiguration überprüfen

Vergewissern Sie sich, dass der in-Kernel-Multipath-Status, der ANA-Status und die ONTAP-Namespaces für die NVMe-of-Konfiguration richtig sind.

Schritte

Überprüfen Sie, ob die entsprechenden NVMe-oF-Einstellungen (z. B. Modell auf NetApp ONTAP Controller und Load-Balancing-IOPolicy auf Round-Robin eingestellt) für die jeweiligen ONTAP Namespaces auf dem Host korrekt angezeigt werden:
1. Vergewissern Sie sich, dass das in-Kernel NVMe Multipath aktiviert ist:
  cat /sys/module/nvme_core/parameters/multipath
  Die erwartete Ausgabe ist „Y“.
2. Zeigen Sie die Subsysteme an:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Die folgende Ausgabe sollte angezeigt werden:
  NetApp ONTAP Controller NetApp ONTAP Controller
3. Zeigen Sie die Richtlinie an:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Die folgende Ausgabe sollte angezeigt werden:
```
round-robin
round-robin
```

Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

nvme list

Beispielausgabe anzeigen

Node         SN                         Model
---------------------------------------------------------
/dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB	NetApp ONTAP Controller


Namespace Usage   Format                FW            Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

NVMe/FC

nvme list-subsys /dev/nvme0n1

Beispielausgabe anzeigen

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.8763d311b2ac11ed950ed039ea951c46:subsystem. ubuntu_24.04 \
+- nvme1 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a7d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live optimized
+- nvme2 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a8d039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live optimized
+- nvme3 fc traddr=nn-0x20a6d039ea954d17:pn-0x20aad039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live non-optimized
+- nvme5 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a9d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live non-optimized

NVMe/TCP

nvme list-subsys /dev/nvme1n1

Beispielausgabe anzeigen

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0050-xxxx-8035-c3cxxxxa5933
               iopolicy=round-robin
 +- nvme0 tcp traddr=192.168.166.155,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live optimized
 +- nvme1 tcp traddr=192.168.167.155,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live optimized
 +- nvme2 tcp traddr=192.168.166.156,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live non-optimized
 +- nvme3 tcp traddr=192.168.167.156,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live non-optimized

Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

nvme netapp ontapdevices -o column

Beispielausgabe anzeigen

Device        Vserver        Namespace Path          NSID UUID                                   Size
------------- -------------  ----------------------- ---- -------------------------------------- ---------
/dev/nvme0n1   vs_211_tcp    /vol/tcpvol1/ns1        1    1cc7bc78-8d7b-4d8e-a3c4-750f9461a6e9   21.47GB

JSON

nvme netapp ontapdevices -o json

Beispielausgabe anzeigen

{

"ONTAPdevices" : [
{
      "Device":"/dev/nvme0n9",
      "Vserver":"vs_211_tcp",
      "Namespace_Path":"/vol/tcpvol9/ns9",
      "NSID":9,
      "UUID":"99640dd9-8463-4c12-8282-b525b39fc10b",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    }
  ]
}

== Schritt 5: Überprüfen Sie die bekannten Probleme

Es gibt keine bekannten Probleme bei der NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP-Release.

Ubuntu 24.04 für NVMe-oF mit ONTAP-Speicher konfigurieren

Creating your file...

Schritt 1: Installieren Sie Ubuntu und die NVMe-Software und überprüfen Sie Ihre Konfiguration

Schritt 2: NVMe/FC und NVMe/TCP konfigurieren

Schritt 3: Optional: Aktivieren Sie 1 MB I/O für NVMe/FC.

Schritt 4: Multipathing-Konfiguration überprüfen