Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

NVMe-of Hostkonfiguration für RHEL 9.4 mit ONTAP

08/28/2024 Beitragende

PDFs

NVMe over Fabrics (NVMe-of), einschließlich NVMe over Fibre Channel (NVMe/FC) und andere Übertragungen werden mit Red hat Enterprise Linux (RHEL) 9.4 mit Asymmetric Namespace Access (ANA) unterstützt. In NVMe-of Umgebungen entspricht ANA ALUA Multipathing in iSCSI- und FC-Umgebungen und wird mit in-Kernel NVMe Multipath implementiert.

Folgende Unterstützung ist für die NVMe-of-Hostkonfiguration für RHEL 9.4 mit ONTAP verfügbar:

Unterstützung für NVMe over TCP (NVMe/TCP) neben NVMe/FC Das NetApp-Plug-in im nativen nvme-cli Package zeigt ONTAP-Details sowohl für NVMe/FC- als auch für NVMe/TCP-Namespaces an.
Verwendung von gleichzeitig vorhandenem NVMe und SCSI Traffic auf demselben Host in einem bestimmten Host Bus Adapter (HBA) ohne die expliziten dm-Multipath-Einstellungen, um die Inanspruchnahme von NVMe-Namespaces zu verhindern.

Weitere Informationen zu unterstützten Konfigurationen finden Sie im "NetApp Interoperabilitäts-Matrix-Tool".

Funktionen

RHEL 9.4 hat standardmäßig in-Kernel-NVMe-Multipath für NVMe-Namespaces aktiviert; daher sind keine expliziten Einstellungen erforderlich.
SAN-Booting über das NVMe/FC-Protokoll wird unterstützt.

Bekannte Einschränkungen

Es gibt keine bekannten Einschränkungen.

Validieren der Softwareversionen

Mit dem folgenden Verfahren können Sie die unterstützten Mindestversionen von RHEL 9.4 validieren.

Schritte

Installieren Sie RHEL 9.4 auf dem Server. Überprüfen Sie nach Abschluss der Installation, ob Sie den angegebenen RHEL 9.4-Kernel ausführen:
```
# uname -r
```
Beispielausgabe:
```
5.14.0-423.el9.x86_64
```
Installieren Sie den nvme-cli Paket:
```
# rpm -qa|grep nvme-cli
```
Beispielausgabe:
```
nvme-cli-2.6-4.el9.x86_64
```
Installieren Sie den libnvme Paket:
```
#rpm -qa|grep libnvme
```
Beispielausgabe
```
libnvme-1.6-1.el9.x86_64
```
Überprüfen Sie auf dem RHEL 9.4-Host die hostnqn-Zeichenfolge unter /etc/nvme/hostnqn:
```
# cat /etc/nvme/hostnqn
```
Beispielausgabe
```
nqn.2014-08.org.nvmexpress:uuid: uuid:4c4c4544-0036-5610-804a-c7c04f365a32
```

Überprüfen Sie das hostnqn Die Zeichenfolge entspricht der hostnqn String für das entsprechende Subsystem auf dem ONTAP-Array:

::> vserver nvme subsystem host show -vserver vs_coexistence_LPE36002

Beispielausgabe:

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_coexistence_LPE36002   nvme    nqn.2014-08.org.nvmexpress:uuid: 4c4c4544-0036-5610-804a-

Wenn der hostnqn Zeichenfolgen stimmen nicht überein. Verwenden Sie die vserver modify Befehl zum Aktualisieren des hostnqn Zeichenfolge auf dem entsprechenden ONTAP-Array-Subsystem, die dem entspricht hostnqn Zeichenfolge von /etc/nvme/hostnqn Auf dem Host.

Konfiguration von NVMe/FC

Sie können NVMe/FC für Broadcom/Emulex- oder Marvell/Qlogic-Adapter konfigurieren.

Broadcom/Emulex

Schritte

Stellen Sie sicher, dass Sie das unterstützte Adaptermodell verwenden:

# cat /sys/class/scsi_host/host*/modelname

Beispielausgabe:

LPe36002-M64
LPe36002-M64

# cat /sys/class/scsi_host/host*/modeldesc

Beispielausgabe:

Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LightPulse LPe36002-M64 2-Port 64Gb Fibre Channel Adapter

Vergewissern Sie sich, dass Sie das empfohlene Broadcom verwenden lpfc Firmware und Inbox-Treiber:
```
# cat /sys/class/scsi_host/host*/fwrev
14.2.673.40, sli-4:6:d
14.2.673.40, sli-4:6:d


# cat /sys/module/lpfc/version
0:14.2.0.16
```
Die aktuelle Liste der unterstützten Adaptertreiber- und Firmware-Versionen finden Sie unter "NetApp Interoperabilitäts-Matrix-Tool".
Verifizieren Sie das lpfc_enable_fc4_type Ist auf festgelegt 3:
```
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3
```

Vergewissern Sie sich, dass die Initiator-Ports ausgeführt werden und dass die Ziel-LIFs angezeigt werden:

# cat /sys/class/fc_host/host*/port_name
0x100000109b3c081f
0x100000109b3c0820

# cat /sys/class/fc_host/host*/port_state
Online
Online

# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b3c081f WWNN x200000109b3c081f DID x062300 ONLINE
NVME RPORT       WWPN x2143d039ea165877 WWNN x2142d039ea165877 DID x061b15 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2145d039ea165877 WWNN x2142d039ea165877 DID x061115 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000040b Cmpl 000000040b Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000001f5c4538 Issue 000000001f58da22 OutIO fffffffffffc94ea
abort 00000630 noxri 00000000 nondlp 00001071 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000630 Err 0001bd4a
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b3c0820 WWNN x200000109b3c0820 DID x062c00 ONLINE
NVME RPORT       WWPN x2144d039ea165877 WWNN x2142d039ea165877 DID x060215 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2146d039ea165877 WWNN x2142d039ea165877 DID x061815 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000040b Cmpl 000000040b Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000001f5c3618 Issue 000000001f5967a4 OutIO fffffffffffd318c
abort 00000629 noxri 00000000 nondlp 0000044e qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000629 Err 0001bd3d

Marvell/QLogic FC Adapter für NVMe/FC

Schritte

Der native Inbox qla2xxx Treiber, der im RHEL 9.4 GA Kernel enthalten ist, hat die neuesten Fixes, die für die Unterstützung von ONTAP unerlässlich sind. Vergewissern Sie sich, dass der unterstützte Adaptertreiber und die unterstützten Firmware-Versionen ausgeführt werden:
```
# cat /sys/class/fc_host/host*/symbolic_name
```
Beispielausgabe
```
QLE2872 FW:v9.12.01 DVR:v10.02.09.100-k
QLE2872 FW:v9.12.01 DVR:v10.02.09.100-k
```
Verifizieren Sie das ql2xnvmeenable Ist festgelegt. Dadurch kann der Marvell Adapter als NVMe/FC-Initiator verwendet werden:
```
# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1
```

1 MB E/A aktivieren (optional)

ONTAP meldet eine MDTS (MAX Data-Übertragungsgröße) von 8 in den Identifizieren von Controller-Daten. Das bedeutet, dass die maximale E/A-Anforderungsgröße bis zu 1 MB betragen kann. Um I/O-Anforderungen von Größe 1 MB für einen Broadcom-NVMe/FC-Host auszustellen, müssen Sie den lpfc Wert des lpfc_sg_seg_cnt Parameters ab dem Standardwert 64 auf 256 erhöhen.

Schritte

Setzen Sie den lpfc_sg_seg_cnt Parameter auf 256:

# cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256

Führen Sie einen dracut -f Befehl aus, und starten Sie den Host neu:

Stellen Sie sicher, dass lpfc_sg_seg_cnt 256:

# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
256

Dies gilt nicht für Qlogic NVMe/FC-Hosts.

Konfiguration von NVMe/TCP

NVMe/TCP verfügt nicht über eine automatische Verbindungsfunktion. Daher müssen Sie die NVMe/TCP Connect- oder Connect-all-Funktion manuell ausführen, um die NVMe/TCP-Subsysteme und Namespaces zu erkennen.

Zum Konfigurieren von NVMe/TCP können Sie das folgende Verfahren verwenden.

Schritte

Vergewissern Sie sich, dass der Initiator-Port die Daten der Erkennungsprotokollseite über die unterstützten NVMe/TCP-LIFs abrufen kann:

nvme discover -t tcp -w host-traddr -a traddr

Beispielausgabe:

# nvme discover -t tcp -w 192.168.167.1 -a 192.168.167.16

Discovery Log Number of Records 8, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  11
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:
discovery
traddr:  192.168.167.8
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  9
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:
discovery
traddr:  192.168.166.8
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  12
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:
discovery
traddr:  192.168.167.7
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  10
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:
discovery
traddr:  192.168.166.7
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1
traddr:  192.168.167.8
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1
traddr:  192.168.166.8
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  12
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1
traddr:  192.168.167.7
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  10
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1
traddr:  192.168.166.7
eflags:  none
sectype: none

Vergewissern Sie sich, dass die anderen LIF-Kombinationen des NVMe/TCP-Initiators erfolgreich beim Abrufen von Protokollseitendaten der Bestandsaufnahme abgerufen werden können:

nvme discover -t tcp -w host-traddr -a traddr

Beispielausgabe:

#nvme discover -t tcp -w 192.168.166.6 -a 192.168.166.7
#nvme discover -t tcp -w 192.168.166.6 -a 192.168.166.8
#nvme discover -t tcp -w 192.168.167.6 -a 192.168.167.7
#nvme discover -t tcp -w 192.168.167.6 -a 192.168.167.8

Führen Sie die aus nvme connect-all Befehl über alle unterstützten NVMe/TCP Initiator-Ziel-LIFs der Nodes hinweg:

nvme connect-all -t tcp -w host-traddr -a traddr

Beispielausgabe:

#	nvme	connect-all	-t	tcp	-w	192.168.166.6	-a	192.168.166.7
#	nvme	connect-all	-t	tcp	-w	192.168.166.6	-a	192.168.166.8
#	nvme	connect-all	-t	tcp	-w	192.168.167.6	-a	192.168.167.7
#	nvme	connect-all	-t	tcp	-w	192.168.167.6	-a	192.168.167.8

Ab RHEL 9.4 ist die Standardeinstellung für NVMe/TCP ctrl_loss_tmo Timeout ist deaktiviert, was bedeutet, dass die Anzahl der Wiederholungen nicht begrenzt ist (unbestimmter Versuch). Daher müssen Sie keine spezifischen Einstellungen manuell konfigurieren ctrl_loss_tmo Timeout-Dauer bei Verwendung des nvme connect Oder nvme connect-all Befehle (Option -l ). Bei diesem Standardverhalten treten für die NVMe/TCP-Controller bei einem Pfadausfall keine Timeouts auf und bleiben dauerhaft verbunden.

NVMe-of validieren

Zur Validierung VON NVME-of gehen Sie wie folgt vor.

Schritte

Vergewissern Sie sich, dass das in-Kernel NVMe Multipath aktiviert ist:
```
# cat /sys/module/nvme_core/parameters/multipath
Y
```
Vergewissern Sie sich, dass die entsprechenden NVMe-of-Einstellungen (z. B. auf NetApp ONTAP-Controller gesetzt auf Modell und Load-Balancing-IOpolicy auf Round-Robin eingestellt) für die jeweiligen ONTAP-Namespaces den Host korrekt widerspiegeln:
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
```
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin
```

Überprüfen Sie, ob die Namespaces auf dem Host erstellt und richtig erkannt wurden:

# nvme list

Beispielausgabe:

Node         SN                   Model
---------------------------------------------------------
/dev/nvme4n1 81Ix2BVuekWcAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Überprüfen Sie, ob der Controller-Status jedes Pfads aktiv ist und den korrekten ANA-Status aufweist:

NVMe/FC

# nvme list-subsys /dev/nvme5n21

Beispielausgabe:

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.efd7989cb10111ee871ed039ea954d18:subsystem.nvme
            hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b581b4-c975-11e6-8425-0894ef31a074
 iopolicy=round-robin
 \
  +- nvme2 fc traddr=nn-0x2013d039ea951c45:pn-0x2018d039ea951c45,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live non-optimized
  +- nvme3 fc traddr=nn-0x2013d039ea951c45:pn-0x2017d039ea951c45,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live non-optimized
  +- nvme5 fc traddr=nn-0x2013d039ea951c45:pn-0x2016d039ea951c45,host_traddr=nn-   0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
  +- nvme6 fc traddr=nn-0x2013d039ea951c45:pn-0x2014d039ea951c45,host_traddr=nn-  0x200000109bdacc75:pn-0x100000109bdacc75 live optimized

NVMe/TCP

# nvme list-subsys /dev/nvme1n1

Beispielausgabe:

nvme-subsys1 -NQN=nqn.1992-08.com.netapp:
sn.983de7f4b39411ee871ed039ea954d18:subsystem.nvme_tcp_1         hostnqn=nqn.2014-08.org.nvmexpress:uuid:
4c4c4544-0035-5910-804b-c2c04f444d33
iopolicy=round-robin
\
+- nvme5 tcp traddr=192.168.166.7,trsvcid=4420,host_traddr=192.168.166.6,src_addr=192.168.166.6 live
+- nvme4 tcp traddr=192.168.166.8,trsvcid=4420,host_traddr=192.168.166.6,src_addr=192.168.166.6 live
+- nvme2 tcp traddr=192.168.167.7,trsvcid=4420,host_traddr=192.168.167.6,src_addr=192.168.167.6 live
+- nvme1 tcp traddr=192.168.167.8,trsvcid=4420,host_traddr=192.168.167.6,src_addr=192.168.167.6 live

Vergewissern Sie sich, dass das NetApp Plug-in für jedes ONTAP Namespace-Gerät die richtigen Werte anzeigt:

Spalte

# nvme netapp ontapdevices -o column

Beispielausgabe:

Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme0n1 vs_tcp           /vol/vol1/ns1



NSID       UUID                                   Size
------------------------------------------------------------
1          6fcb8ea0-dc1e-4933-b798-8a62a626cb7f	21.47GB

JSON

# nvme netapp ontapdevices -o json

Beispielausgabe

{

"ONTAPdevices" : [
{

"Device" : "/dev/nvme1n1", "Vserver" : "linux_tcnvme_iscsi", "Namespace_Path" : "/vol/tcpnvme_1_0_0/tcpnvme_ns", "NSID" : 1,
"UUID" : "1a42c652-1450-4a29-886a-b4ccc23e637d", "Size" : "21.47GB",
"LBA_Data_Size" : 4096,
"Namespace_Size" : 5242880
},

]
}

Bekannte Probleme

Es sind keine Probleme bei der NVMe-of Hostkonfiguration für RHEL 9.4 mit ONTAP-Release bekannt.

NVMe-of Hostkonfiguration für RHEL 9.4 mit ONTAP

Creating your file...

Funktionen

Bekannte Einschränkungen

Validieren der Softwareversionen

Konfiguration von NVMe/FC

1 MB E/A aktivieren (optional)

Konfiguration von NVMe/TCP

NVMe-of validieren

Bekannte Probleme