Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP

12/18/2024 Beitragende

PDFs

NVMe over Fabrics (NVMe-of), einschließlich NVMe over Fibre Channel (NVMe/FC) und andere Übertragungen werden mit Ubuntu 24.04 und Asymmetric Namespace Access (ANA) unterstützt. In NVMe-of Umgebungen entspricht ANA ALUA Multipathing in iSCSI- und FC-Umgebungen und wird mit in-Kernel NVMe Multipath implementiert.

Die folgende Unterstützung ist für die NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP verfügbar:

Über das NetApp Plug-in im nativen nvme-cli-Paket werden ONTAP-Details für NVMe/FC-Namespaces angezeigt.
Verwendung von gleichzeitig vorhandenem NVMe und SCSI-Datenverkehr auf demselben Host in einem bestimmten Host Bus Adapter (HBA) ohne die expliziten dm-Multipath-Einstellungen, um die Inanspruchnahme von NVMe-Namespaces zu verhindern.

Weitere Informationen zu unterstützten Konfigurationen finden Sie im "NetApp Interoperabilitäts-Matrix-Tool".

Funktionen

Ubuntu 24.04 hat standardmäßig in-Kernel NVMe Multipath für NVMe-Namespaces aktiviert. Dies bedeutet, dass Sie keine expliziten Einstellungen benötigen.

Bekannte Einschränkungen

Das Booten von SAN über das NVMe-of-Protokoll wird derzeit für Ubuntu 24.04 mit ONTAP nicht unterstützt.

Validieren der Softwareversionen

Mit dem folgenden Verfahren können Sie die mindestens unterstützten Ubuntu 24.04-Softwareversionen validieren.

Schritte

Installieren Sie Ubuntu 24.04 auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen Ubuntu 24.04-Kernel ausführen:
```
uname -r
```
```
6.8.0-31-generic
```

Installieren Sie den nvme-cli Paket:

apt list | grep nvme

nvme-cli/noble-updates 2.8-1ubuntu0.1 amd64

Überprüfen Sie auf dem Ubuntu 24.04 Host den hostnqn String unter /etc/nvme/hostnqn:

cat /etc/nvme/hostnqn

nqn.2014-08.org.nvmexpress:uuid:ace18dd8-1f5a-11ec-b0c3-3a68dd61a6ff

Überprüfen Sie, ob die hostnqn Zeichenfolge von /etc/nvme/hostnqn mit der Zeichenfolge für das entsprechende Subsystem auf dem ONTAP-Array übereinstimmt hostnqn:

vserver nvme subsystem host show -vserver vs_106_fc_nvme

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_106_fc_nvme ub_106 nqn.2014-08.org.nvmexpress:uuid:c04702c8-e91e-4353-9995-ba4536214631

Wenn die hostnqn Zeichenfolgen nicht übereinstimmen, verwenden Sie den Befehl, vserver modify um die Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem zu aktualisieren hostnqn, damit sie mit der hostnqn Zeichenfolge /etc/nvme/hostnqn auf dem Host übereinstimmt.

Konfiguration von NVMe/FC

Sie können NVMe/FC für Broadcom/Emulex- oder Marvell/Qlogic-Adapter konfigurieren.

Broadcom/Emulex

Konfigurieren Sie NVMe/FC für einen Broadcom/Emulex-Adapter.

Schritte

Stellen Sie sicher, dass Sie das unterstützte Adaptermodell verwenden:
1. cat /sys/class/scsi_host/host*/modelname
  LPe36002-M64 LPe36002-M64
2. cat /sys/class/scsi_host/host*/modeldesc
  Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Vergewissern Sie sich, dass Sie die empfohlene Broadcom-Firmware und den Posteingangstreiber verwenden lpfc.
1. cat /sys/class/scsi_host/host*/fwrev
  14.4.317.10, sli-4:6:d 14.4.317.10, sli-4:6:d
2. cat /sys/module/lpfc/version
  0:14.2.0.17
  Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie im "NetApp Interoperabilitäts-Matrix-Tool".
Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Die erwartete Ausgabe ist 3.

Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:

cat /sys/class/fc_host/host*/port_name
```
0x100000109bf0447b
0x100000109bf0447c
```
cat /sys/class/fc_host/host*/port_state
```
Online
Online
```

cat /sys/class/scsi_host/host*/nvme_info

Beispielausgabe anzeigen

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0447b WWNN x200000109bf0447b DID x022600 ONLINE
NVME RPORT       WWPN x200fd039eaa8138b WWNN x200ad039eaa8138b DID x021006 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000014096514 Issue 000000001407fcd6 OutIO fffffffffffe97c2
        abort 00000048 noxri 00000000 nondlp 0000001c qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000048 Err 00000077

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0447c WWNN x200000109bf0447c DID x022300 ONLINE
NVME RPORT       WWPN x2010d039eaa8138b WWNN x200ad039eaa8138b DID x021106 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000187 Cmpl 0000000187 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000140970ed Issue 00000000140813da OutIO fffffffffffea2ed
        abort 00000047 noxri 00000000 nondlp 0000002b qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000047 Err 00000075

Marvell/QLogic

Der native Inbox qla2xxx Treiber im Ubuntu 24.04 GA Kernel enthält die neuesten Upstream-Fixes. Diese Fehlerbehebungen sind für die Unterstützung von ONTAP unerlässlich.

Konfigurieren Sie NVMe/FC für einen Marvell/QLogic-Adapter.

Schritte

Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:

cat /sys/class/fc_host/host*/symbolic_name

QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k
QLE2872 FW: v9.15.00 DVR: v10.02.09.100-k

Verifizieren Sie das ql2xnvmeenable Ist festgelegt. Dadurch kann der Marvell Adapter als NVMe/FC-Initiator verwendet werden:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
Das erwartete ouptut ist 1.

1 MB E/A aktivieren (optional)

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen der Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, sollten Sie den Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen lpfc.

Diese Schritte gelten nicht für Qlogic NVMe/FC-Hosts.

Schritte

Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

cat /etc/modprobe.d/lpfc.conf

options lpfc lpfc_sg_seg_cnt=256

Führen Sie den Befehl aus dracut -f, und starten Sie den Host neu.
Stellen Sie sicher, dass der erwartete Wert von lpfc_sg_seg_cnt 256 ist:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Konfiguration von NVMe/TCP

NVMe/TCP unterstützt die automatische Verbindungsfunktion nicht. Stattdessen können Sie die NVMe/TCP-Subsysteme und Namespaces mit den Befehlen oder connect-all manuell erkennen connect.

Schritte

Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Beispiel anzeigen

# nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
Discovery Log Number of Records 8, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.167.156
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.166.156
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  3
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.167.155
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:discovery
traddr:  192.168.166.155
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  4
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.167.156
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.166.156
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  3
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.167.155
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
traddr:  192.168.166.155
eflags:  none
sectype: none

Überprüfen Sie, ob die anderen LIF-Kombinationen des NVMe/TCP-Initiators die Daten der Erkennungsprotokollseite abrufen können:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Beispielausgabe anzeigen

#nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.155
#nvme discover -t tcp -w 192.168.167.150 -a 192.168.167.156
#nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.155
#nvme discover -t tcp -w 192.168.166.150 -a 192.168.166.156

Führen Sie die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP Initiator-Ziel-LIFs der Nodes hinweg:

nvme connect-all -t tcp -w <host-traddr> -a <traddr>

Beispielausgabe anzeigen

#nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.155
#nvme connect-all -t tcp -w 192.168.167.150 -a 192.168.167.156
#nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.155
#nvme connect-all -t tcp -w 192.168.166.150 -a 192.168.166.156

Ab Ubuntu 24.04 ist die Standardeinstellung Ctrl_Loss_tmo timeout für NVMe/TCP deaktiviert. Dies bedeutet, dass die Anzahl der Wiederholungen (unbestimmter Versuch) nicht begrenzt ist und Sie bei Verwendung der Befehle oder nvme connect-all (Option -l ) keine spezifische Ctrl_Loss_tmo-Zeitdauer manuell konfigurieren müssen nvme connect. Bei diesem Standardverhalten treten für die NVMe/TCP-Controller bei einem Pfadausfall keine Timeouts auf und bleiben dauerhaft verbunden.

NVMe-of validieren

Zur Validierung VON NVME-of gehen Sie wie folgt vor.

Schritte

Vergewissern Sie sich, dass das in-Kernel NVMe Multipath aktiviert ist:
```
cat /sys/module/nvme_core/parameters/multipath
```
Die erwartete Ausgabe ist „Y“.
Stellen Sie sicher, dass die entsprechenden NVMe-of-Einstellungen (z. B. auf „NetApp ONTAP-Controller“ und Load-Balancing-IOPOLICY auf „Round-Robin“ gesetzt) für die jeweiligen ONTAP-Namespaces auf dem Host korrekt angezeigt werden:
1. cat /sys/class/nvme-subsystem/nvme-subsys*/model
  NetApp ONTAP Controller NetApp ONTAP Controller
2. cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  round-robin round-robin

Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

nvme list

Beispielausgabe anzeigen

Node         SN                         Model
---------------------------------------------------------
/dev/nvme0n1 81CZ5BQuUNfGAAAAAAAB	NetApp ONTAP Controller


Namespace Usage   Format                FW            Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

NVMe/FC

nvme list-subsys /dev/nvme0n1

Beispielausgabe anzeigen

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.8763d311b2ac11ed950ed039ea951c46:subsystem. ubuntu_24.04 \
+- nvme1 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a7d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live optimized
+- nvme2 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a8d039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live optimized
+- nvme3 fc traddr=nn-0x20a6d039ea954d17:pn-0x20aad039ea954d17,host_traddr=nn-0x200000109b1b95f0:pn-0x100000109b1b95f0 live non-optimized
+- nvme5 fc traddr=nn-0x20a6d039ea954d17:pn-0x20a9d039ea954d17,host_traddr=nn-0x200000109b1b95ef:pn-0x100000109b1b95ef live non-optimized

NVMe/TCP

nvme list-subsys /dev/nvme1n1

Beispielausgabe anzeigen

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.9b7d42b764ff11efb8fed039eabac370:subsystem.ubuntu_24.04_tcp_211
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0050-3410-8035-c3c04f4a5933
               iopolicy=round-robin
 +- nvme0 tcp traddr=192.168.166.155,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live optimized
 +- nvme1 tcp traddr=192.168.167.155,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live optimized
 +- nvme2 tcp traddr=192.168.166.156,trsvcid=4420,host_traddr=192.168.166.150,src_addr=192.168.166.150 live non-optimized
 +- nvme3 tcp traddr=192.168.167.156,trsvcid=4420,host_traddr=192.168.167.150,src_addr=192.168.167.150 live non-optimized

Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

Spalte

nvme netapp ontapdevices -o column

Beispielausgabe anzeigen

Device        Vserver        Namespace Path          NSID UUID                                   Size
------------- -------------  ----------------------- ---- -------------------------------------- ---------
/dev/nvme0n1   vs_211_tcp    /vol/tcpvol1/ns1        1    1cc7bc78-8d7b-4d8e-a3c4-750f9461a6e9   21.47GB

JSON

nvme netapp ontapdevices -o json

Beispielausgabe anzeigen

{

"ONTAPdevices" : [
{
      "Device":"/dev/nvme0n9",
      "Vserver":"vs_211_tcp",
      "Namespace_Path":"/vol/tcpvol9/ns9",
      "NSID":9,
      "UUID":"99640dd9-8463-4c12-8282-b525b39fc10b",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    }
  ]
}

Bekannte Probleme

Es gibt keine bekannten Probleme bei der NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP-Release.

NVMe-of Hostkonfiguration für Ubuntu 24.04 mit ONTAP

Creating your file...

Funktionen

Bekannte Einschränkungen

Validieren der Softwareversionen

Konfiguration von NVMe/FC

1 MB E/A aktivieren (optional)

Konfiguration von NVMe/TCP

NVMe-of validieren

Bekannte Probleme