La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Configurare RHEL 8.3 per NVMe-oF con storage ONTAP

10/08/2025 Collaboratori

PDF

Gli host Red Hat Enterprise Linux (RHEL) supportano i protocolli NVMe su Fibre Channel (NVMe/FC) e NVMe su TCP (NVMe/TCP) con Asymmetric Namespace Access (ANA). ANA fornisce funzionalità multipathing equivalenti all'accesso asimmetrico alle unità logiche (ALUA) negli ambienti iSCSI e FCP.

Scopri come configurare gli host NVMe over Fabrics (NVMe-oF) per RHEL 8.3. Per ulteriori informazioni sul supporto e sulle funzionalità, vedere"Panoramica NVME-oF" .

NVMe-oF con RHEL 8.3 presenta le seguenti limitazioni note:

L'avvio SAN tramite il protocollo NVMe-oF non è attualmente supportato.
Il multipath NVMe nel kernel è disabilitato per impostazione predefinita sugli host NVMe-oF in RHEL 8.3; è necessario abilitarlo manualmente.

Passaggio 1: Se lo si desidera, attivare l'avvio SAN

È possibile configurare l'host per utilizzare l'avvio SAN per semplificare la distribuzione e migliorare la scalabilità. Utilizzare il"Tool di matrice di interoperabilità" per verificare che il sistema operativo Linux, l'adattatore bus host (HBA), il firmware HBA, il BIOS di avvio HBA e la versione ONTAP supportino l'avvio SAN.

Fasi

"Crea uno spazio dei nomi NVMe e mappalo all'host" .
Abilitare l'avvio SAN nel BIOS del server per le porte su cui è mappato lo spazio dei nomi di avvio SAN.

Per informazioni su come attivare il BIOS HBA, consultare la documentazione specifica del vendor.
Riavviare l'host e verificare che il sistema operativo sia attivo e funzionante.

Passaggio 2: verificare la versione del software e la configurazione NVMe

Verificare che il sistema soddisfi i requisiti software e verificare le installazioni dei pacchetti NVMe e la configurazione dell'host.

Fasi

Installare RHEL 8.3 sul server. Una volta completata l'installazione, verificare di avere installato il kernel RHEL 8.3 richiesto:
```
uname -r
```
Esempio di versione del kernel RHEL:
```
4.18.0-240.el8.x86_64
```
Installare nvme-cli pacchetto:
```
rpm -qa|grep nvme-cli
```
L'esempio seguente mostra una versione del pacchetto nvme-cli:
```
nvme-cli-1.12-2.el8.x86_64
```
Installare libnvme pacchetto:
```
rpm -qa|grep libnvme
```
L'esempio seguente mostra una versione del pacchetto libnvme:
```
libnvme-1.0-1.el8.x86_64
```

Abilita multipath NVMe nel kernel:

grubby --args=nvme_core.multipath=Y --update-kernel /boot/vmlinuz-4.18.0-240.el8.x86_64

Sull'host RHEL 8.3, controllare la stringa hostnqn in /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
L'esempio seguente mostra una versione hostnqn:
```
nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
```

Verificare che il hostnqn la stringa corrisponde a. hostnqn Stringa per il sottosistema corrispondente sull'array ONTAP:

::> vserver nvme subsystem host show -vserver vs_fcnvme_141

Mostra esempio

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_fcnvme_141   nvme_141_1    nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1

Se il hostnqn le stringhe non corrispondono, utilizzare vserver modify per aggiornare hostnqn Stringa sul sottosistema di array ONTAP corrispondente a hostnqn stringa da /etc/nvme/hostnqn sull'host.

Riavviare l'host.

Se lo si desidera, aggiornare enable_foreign impostazione.

Per eseguire sia il traffico NVMe che SCSI sullo stesso host, NetApp consiglia di utilizzare il multipath NVMe nel kernel per gli spazi dei nomi ONTAP e dm-multipath per le LUN ONTAP . Per impedire a dm-multipath di rivendicare i dispositivi dello spazio dei nomi ONTAP , escluderli aggiungendo enable_foreign impostazione al /etc/multipath.conf file:

cat /etc/multipath.conf
defaults {
        enable_foreign     NONE
}

Riavviare il daemon multipath eseguendo un systemctl restart multipathd.

Passaggio 3: configurare l'adattatore NVMe/FC Broadcom/Emulex

Configurare NVMe/FC con l'adattatore Broadcom/Emulex.

Fasi

Verificare di utilizzare il modello di adattatore supportato:

Visualizza i nomi dei modelli:
```
cat /sys/class/scsi_host/host*/modelname
```
Viene visualizzato il seguente output:
```
LPe32002-M2
LPe32002-M2
```
Visualizza le descrizioni dei modelli:
```
cat /sys/class/scsi_host/host*/modeldesc
```
Dovresti vedere un output simile a:

Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

Verificare che l'output previsto di lpfc_enable_fc4_type sia impostato su 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Verificare che le porte di avvio siano attive e funzionanti e possano vedere i LIF di destinazione:
```
cat /sys/class/fc_host/host*/port_name
```
Dovresti vedere un output simile a:
```
0x100000109b1c1204
0x100000109b1c1205
```
Verificare che le porte dell'iniziatore siano in linea:
```
cat /sys/class/fc_host/host*/port_state
```
Viene visualizzato il seguente output:
```
Online
Online
```

Verificare che le porte iniziatore NVMe/FC siano abilitate e che le porte di destinazione siano visibili:

cat /sys/class/scsi_host/host*/nvme_info

Mostra esempio

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001e15 Err 0000d906

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001f50 Err 0000d9f8

Passaggio 4: facoltativamente, abilitare 1 MB I/O per NVMe/FC

ONTAP segnala una dimensione massima di trasferimento dati (MDTS) pari a 8 nei dati Identify Controller. Ciò significa che la dimensione massima della richiesta di I/O può arrivare fino a 1 MB. Per emettere richieste di I/O di dimensione 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Questi passaggi non si applicano agli host Qlogic NVMe/FC.

Fasi

Impostare il lpfc_sg_seg_cnt parametro su 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Dovresti vedere un output simile al seguente esempio:
```
options lpfc lpfc_sg_seg_cnt=256
```
Eseguire il dracut -f comando e riavviare l'host.
Verificare che il valore per lpfc_sg_seg_cnt sia 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Passaggio 5: convalida NVMe-oF

Verificare che lo stato multipath NVMe in-kernel, lo stato ANA e i namespace ONTAP siano corretti per la configurazione NVMe-of.

Fasi

Verificare che il multipath NVMe nel kernel sia attivato:
```
cat /sys/module/nvme_core/parameters/multipath
```
Viene visualizzato il seguente output:
```
Y
```
Verificare che le impostazioni NVMe-of appropriate (ad esempio, modello impostato su controller NetApp ONTAP e ipopolicy per il bilanciamento del carico impostato su round-robin) per i rispettivi spazi dei nomi ONTAP si riflettano correttamente sull'host:
1. Visualizza i sottosistemi:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Viene visualizzato il seguente output:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Visualizza la politica:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Viene visualizzato il seguente output:
```
round-robin
round-robin
```

Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:

nvme list

Mostra esempio

Node         SN                   Model
---------------------------------------------------------
/dev/nvme4n1 81Ix2BVuekWcAAAAAAAB	NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB	4 KiB + 0 B   FFFFFFFF

Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:

nvme list-subsys /dev/nvme1n1

Mostra esempio

nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_141_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:

Colonna

nvme netapp ontapdevices -o column

Mostra esempio

Device               Vserver            Namespace Path                           NSID                      UUID                     Size
--------------- --------------- ---------------------------------------------  -------- --------------------------------------  ---------
/dev/nvme0n1      vs_fcnvme_141     /vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns        1      72b887b1-5fb6-47b8-be0b-33326e2542e2    85.90GB
/dev/nvme0n2      vs_fcnvme_141     /vol/fcnvme_141_vol_1_0_0/fcnvme_141_ns        2      04bf9f6e-9031-40ea-99c7-a1a61b2d7d08    85.90GB
/dev/nvme0n3      vs_fcnvme_141     /vol/fcnvme_141_vol_1_1_1/fcnvme_141_ns        3      264823b1-8e03-4155-80dd-e904237014a4    85.90GB

JSON

nvme netapp ontapdevices -o json

Mostra esempio

{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_fcnvme_141",
        "Namespace_Path" : "/vol/fcnvme_141_vol_1_1_0/fcnvme_141_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_fcnvme_141",
        "Namespace_Path" : "/vol/fcnvme_141_vol_1_0_0/fcnvme_141_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_fcnvme_141",
         "Namespace_Path" : "/vol/fcnvme_141_vol_1_1_1/fcnvme_141_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]

Fase 6: Esaminare i problemi noti

Non ci sono problemi noti.

Configurare RHEL 8.3 per NVMe-oF con storage ONTAP

Creating your file...

Passaggio 1: Se lo si desidera, attivare l'avvio SAN

Passaggio 2: verificare la versione del software e la configurazione NVMe

Passaggio 3: configurare l'adattatore NVMe/FC Broadcom/Emulex

Passaggio 4: facoltativamente, abilitare 1 MB I/O per NVMe/FC

Passaggio 5: convalida NVMe-oF

Fase 6: Esaminare i problemi noti