La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Configurare Oracle Linux 8.x con NVMe-oF per l'archiviazione ONTAP

12/16/2025 Collaboratori

PDF

Gli host Oracle Linux supportano i protocolli NVMe su Fibre Channel (NVMe/FC) e NVMe su TCP (NVMe/TCP) con Asymmetric Namespace Access (ANA). ANA fornisce funzionalità multipathing equivalenti all'accesso asimmetrico alle unità logiche (ALUA) negli ambienti iSCSI e FCP.

Scopri come configurare gli host NVMe over Fabrics (NVMe-oF) per Oracle Linux 8.x. Per ulteriori informazioni sul supporto e sulle funzionalità, vedere "Supporto e funzionalità di Oracle Linux ONTAP".

NVMe-oF con Oracle Linux 8.x presenta le seguenti limitazioni note:

L'avvio SAN tramite il protocollo NVMe-oF non è supportato.
Il supporto dell'utilità host NetApp sanlun non è disponibile per NVMe-oF su un host Oracle Linux 8.x. In alternativa, puoi affidarti al plug-in NetApp incluso nel nativo nvme-cli pacchetto per tutti i trasporti NVMe-oF.
Per Oracle Linux 8.2 e versioni precedenti, gli script di connessione automatica NVMe/FC nativi non sono disponibili nel pacchetto nvme-cli. Utilizzare gli script di connessione automatica esterni forniti dal fornitore HBA.
Per Oracle Linux 8.2 e versioni precedenti, il bilanciamento del carico round-robin non è abilitato per impostazione predefinita per il multipathing NVMe. Per abilitare questa funzionalità, vai al passaggio perscrivere una regola udev .

Passaggio 1: installare il software Oracle Linux e NVMe e verificare la configurazione

Utilizzare la seguente procedura per convalidare le versioni minime supportate del software Oracle Linux 8.x.

Fasi

Installare Oracle Linux 8.x sul server. Una volta completata l'installazione, verificare di avere in esecuzione il kernel Oracle Linux 8.x specificato.
```
uname -r
```
Esempio di versione del kernel Oracle Linux:
```
5.15.0-206.153.7.1.el8uek.x86_64
```
Installare nvme-cli pacchetto:
```
rpm -qa|grep nvme-cli
```
L'esempio seguente mostra un nvme-cli versione del pacchetto:
```
nvme-cli-1.16-9.el8.x86_64
```
Per Oracle Linux 8.2 e versioni precedenti, aggiungere la seguente stringa come regola udev separata per /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules . Ciò consente il bilanciamento del carico round-robin per NVMe multipath.
```
cat /lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules
Enable round-robin for NetApp ONTAP
ACTION=="add", SUBSYSTEMS=="nvme-subsystem", ATTRS{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"
```
Sull'host Oracle Linux 8.x, controllare hostnqn stringa a /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
L'esempio seguente mostra un hostnqn versione:
```
nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
```

Sul sistema ONTAP , verificare che hostnqn la stringa corrisponde a hostnqn stringa per il sottosistema corrispondente sul sistema di archiviazione ONTAP :

vserver nvme subsystem host show -vserver vs_coexistence_LPE36002

Mostra esempio

Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_LPE36002
        nvme
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme1
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme2
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
        nvme3
                  regular   nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
4 entries were displayed.

Se le hostnqn stringhe non corrispondono, utilizzare il vserver modify comando per aggiornare la hostnqn stringa sul sottosistema di array ONTAP corrispondente in modo che corrisponda alla hostnqn stringa dall' `/etc/nvme/hostnqn`host.

Facoltativamente, per eseguire sia il traffico coesistente NVMe che SCSI sullo stesso host, NetApp consiglia di utilizzare il multipath NVMe nel kernel per gli spazi dei nomi ONTAP e dm-multipath rispettivamente per le LUN ONTAP . Ciò dovrebbe escludere gli spazi dei nomi ONTAP da dm-multipath e prevenire dm-multipath dalla rivendicazione dei dispositivi dello spazio dei nomi ONTAP .
1. Aggiungi il enable_foreign impostazione al /etc/multipath.conf file.
  cat /etc/multipath.conf defaults { enable_foreign NONE }
2. Riavviare il multipathd demone per applicare la nuova impostazione.
  systemctl restart multipathd

Passaggio 2: configurare NVMe/FC e NVMe/TCP

Configurare NVMe/FC con adattatori Broadcom/Emulex o Marvell/QLogic oppure configurare NVMe/TCP utilizzando operazioni di rilevamento e connessione manuali.

FC - Broadcom/Emulex

Configurare NVMe/FC per un adattatore Broadcom/Emulex.

Verificare che si stia utilizzando il modello di scheda supportato:
1. Visualizza i nomi dei modelli:
  cat /sys/class/scsi_host/host*/modelname
  Viene visualizzato il seguente output:
  LPe36002-M64 LPe36002-M64
2. Visualizza le descrizioni dei modelli:
  cat /sys/class/scsi_host/host*/modeldesc
  Dovresti vedere un output simile al seguente esempio:
```
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64 2-Port 64Gb Fibre Channel Adapter
```
Verificare di utilizzare il Broadcom consigliato lpfc firmware e driver della posta in arrivo:
1. Visualizza la versione del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  L'esempio seguente mostra le versioni del firmware:
  14.4.317.10, sli-4:6:d 14.4.317.10, sli-4:6:d
2. Visualizza la versione del driver in arrivo:
  cat /sys/module/lpfc/version
  L'esempio seguente mostra la versione del driver:
```
0:14.2.0.13
```
+
Per l'elenco aggiornato dei driver della scheda di rete supportati e delle versioni del firmware, vedere "Tool di matrice di interoperabilità".
Verificare che lpfc_enable_fc4_type sia impostato su "3":
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Verificare che sia possibile visualizzare le porte dell'iniziatore:
```
cat /sys/class/fc_host/host*/<port_name>
```
L'esempio seguente mostra le identità delle porte:
```
0x100000109bf0449c
0x100000109bf0449d
```
Verificare che le porte dell'iniziatore siano in linea:
```
cat /sys/class/fc_host/host*/port_state
```
Viene visualizzato il seguente output:
```
Online
Online
```

Verificare che le porte iniziatore NVMe/FC siano abilitate e che le porte di destinazione siano visibili:

cat /sys/class/scsi_host/host*/nvme_info

Mostra esempio

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109bf0449c WWNN x200000109bf0449c DID x061500 ONLINE
NVME RPORT       WWPN x200bd039eab31e9c WWNN x2005d039eab31e9c DID x020e06 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2006d039eab31e9c WWNN x2005d039eab31e9c DID x020a0a TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 000000002c Cmpl 000000002c Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000008ffe8 Issue 000000000008ffb9 OutIO ffffffffffffffd1
        abort 0000000c noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000000c Err 0000000c
NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109bf0449d WWNN x200000109bf0449d DID x062d00 ONLINE
NVME RPORT       WWPN x201fd039eab31e9c WWNN x2005d039eab31e9c DID x02090a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200cd039eab31e9c WWNN x2005d039eab31e9c DID x020d06 TARGET DISCSRVC ONLINE
NVME Statistics
LS: Xmt 0000000041 Cmpl 0000000041 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000000936bf Issue 000000000009369a OutIO ffffffffffffffdb
        abort 00000016 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000016 Err 00000016

FC - Marvell/QLogic

Configurare NVMe/FC per un adattatore Marvell/QLogic.

Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:
```
cat /sys/class/fc_host/host*/symbolic_name
```
L'esempio seguente mostra le versioni del driver e del firmware:
```
QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k
QLE2772 FW:v9.15.00 DVR:v10.02.09.100-k
```
Verificare che ql2xnvmeenable è impostato. Ciò consente all'adattatore Marvell di funzionare come iniziatore NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
L'uscita prevista è 1.

TCP

Il protocollo NVMe/TCP non supporta l'operazione di connessione automatica. In alternativa, è possibile scoprire i sottosistemi e gli spazi dei nomi NVMe/TCP eseguendo l'NVMe/TCP connect O connect-all operazioni manualmente.

Verificare che la porta iniziatore possa recuperare i dati della pagina del registro di rilevamento attraverso le LIF NVMe/TCP supportate:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Mostra esempio

nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24 Discovery Log Number of Records 20, Generation counter 45
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.24
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  4
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.6.24
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: unrecognized
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:discovery
traddr:  192.168.5.25
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
traddr:  192.168.6.25
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
..........

Verifica che tutte le altre combinazioni di LIF iniziatore NVMe/TCP siano in grado di recuperare con successo i dati della pagina del log di rilevamento:

nvme discover -t tcp -w <host-traddr> -a <traddr>

Mostra esempio

nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.24
nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.25
nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.24
nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.25

Eseguire nvme connect-all Command tra tutti i LIF target initiator NVMe/TCP supportati nei nodi:

nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>

Mostra esempio

nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.24	-l -1
nvme	connect-all	-t	tcp	-w	192.168.5.1	-a	192.168.5.25	-l -1
nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.24	-l -1
nvme	connect-all	-t	tcp	-w	192.168.6.1	-a	192.168.6.25	-l -1

NetApp consiglia di impostare il ctrl-loss-tmo option A -1 in modo che l'iniziatore NVMe/TCP tenti di riconnettersi indefinitamente in caso di perdita di percorso.

Passaggio 3: Facoltativamente, abilitare 1 MB di I/O per NVMe/FC

ONTAP segnala una dimensione massima di trasferimento dati (MDTS) pari a 8 nei dati Identify Controller. Ciò significa che la dimensione massima della richiesta di I/O può arrivare fino a 1 MB. Per emettere richieste di I/O di dimensione 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Questi passaggi non si applicano agli host Qlogic NVMe/FC.

Fasi

Impostare il lpfc_sg_seg_cnt parametro su 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Dovresti vedere un output simile al seguente esempio:
```
options lpfc lpfc_sg_seg_cnt=256
```
Eseguire il dracut -f comando e riavviare l'host.
Verificare che il valore per lpfc_sg_seg_cnt sia 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Passaggio 4: verificare la configurazione del multipathing

Verificare che lo stato multipath NVMe in-kernel, lo stato ANA e i namespace ONTAP siano corretti per la configurazione NVMe-of.

Fasi

Verificare che il multipath NVMe nel kernel sia attivato:
```
cat /sys/module/nvme_core/parameters/multipath
```
Viene visualizzato il seguente output:
```
Y
```
Verificare che le impostazioni NVMe-of appropriate (ad esempio, modello impostato su controller NetApp ONTAP e ipopolicy per il bilanciamento del carico impostato su round-robin) per i rispettivi spazi dei nomi ONTAP si riflettano correttamente sull'host:
1. Visualizza i sottosistemi:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Viene visualizzato il seguente output:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Visualizza la politica:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Viene visualizzato il seguente output:
```
round-robin
round-robin
```

Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:

nvme list

Mostra esempio

Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller

Namespace Usage   Format               FW            Rev
-----------------------------------------------------------
1                 85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF
2                 85.90 GB / 85.90 GB  24 KiB + 0 B  FFFFFFFF
3	                85.90 GB / 85.90 GB  4 KiB + 0 B   FFFFFFFF

Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:

nvme list-subsys /dev/nvme0n1

Mostra esempio NVMe/FC

nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: 4b4d82566aab11ef9ab8d039eab31e9d:subsystem.nvme\
+-  nvme1 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ad039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live optimized
+-  nvme2 fc traddr=nn-0x2038d039eab31e9c:pn-0x203cd039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live optimized
+- nvme3 fc traddr=nn-0x2038d039eab31e9c:pn-0x203ed039eab31e9c host_traddr=nn-0x200034800d756a89:pn-0x210034800d756a89 live non-optimized
+-  nvme7 fc traddr=nn-0x2038d039eab31e9c:pn-0x2039d039eab31e9c host_traddr=nn-0x200034800d756a88:pn-0x210034800d756a88 live non-optimized

Mostra esempio NVMe/TCP

nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: sn.e6c438e66ac211ef9ab8d039eab31e9d:subsystem.nvme_tcp_4
\
+- nvme1 tcp traddr=192.168.5.25 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live optimized
+- nvme10 tcp traddr=192.168.6.24 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live optimized
+- nvme2 tcp traddr=192.168.5.24 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live non-optimized
+- nvme9 tcp traddr=192.168.6.25 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live non-optimized

Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:

Colonna

nvme netapp ontapdevices -o column

Mostra esempio

Device         Vserver                  Namespace Path                NSID UUID                                  Size
-------------- ------------------------ ----------------------------- ---- ------------------------------------- ---------
/dev/nvme0n1   vs_coexistence_QLE2772   /vol/fcnvme_1_1_0/fcnvme_ns   1    159f9f88-be00-4828-aef6-197d289d4bd9  10.74GB
/dev/nvme0n2   vs_coexistence_QLE2772   /vol/fcnvme_1_1_1/fcnvme_ns   2    2c1ef769-10c0-497d-86d7-e84811ed2df6  10.74GB
/dev/nvme0n3   vs_coexistence_QLE2772   /vol/fcnvme_1_1_2/fcnvme_ns   3    9b49bf1a-8a08-4fa8-baf0-6ec6332ad5a4  10.74GB

JSON

nvme netapp ontapdevices -o json

Mostra esempio

{
  "ONTAPdevices" : [
    {
      "Device" : "/dev/nvme0n1",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_0/fcnvme_ns",
      "NSID" : 1,
      "UUID" : "159f9f88-be00-4828-aef6-197d289d4bd9",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n2",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_1/fcnvme_ns",
      "NSID" : 2,
      "UUID" : "2c1ef769-10c0-497d-86d7-e84811ed2df6",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },
    {
      "Device" : "/dev/nvme0n4",
      "Vserver" : "vs_coexistence_QLE2772",
      "Namespace_Path" : "/vol/fcnvme_1_1_3/fcnvme_ns",
      "NSID" : 4,
      "UUID" : "f3572189-2968-41bc-972a-9ee442dfaed7",
      "Size" : "10.74GB",
      "LBA_Data_Size" : 4096,
      "Namespace_Size" : 2621440
    },

Passaggio 5: Facoltativamente, abilitare la dimensione I/O di 1 MB

Questi passaggi non si applicano agli host Qlogic NVMe/FC.

Fasi

Impostare il lpfc_sg_seg_cnt parametro su 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Dovresti vedere un output simile al seguente esempio:
```
options lpfc lpfc_sg_seg_cnt=256
```
Eseguire il dracut -f comando e riavviare l'host.
Verificare che il valore per lpfc_sg_seg_cnt sia 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Fase 6: Esaminare i problemi noti

Ecco i problemi noti:

ID bug NetApp Titolo Descrizione

ID bug NetApp	Titolo	Descrizione
"1479047"	Gli host Oracle Linux 8.x NVMe-oF creano Persistent Discovery Controller (PDC) duplicati	Sugli host NVMe-oF, è possibile utilizzare il comando `nvme discover -p` per creare PDC. Quando si utilizza questo comando, è necessario creare un solo PDC per ogni combinazione iniziatore-destinazione. Tuttavia, se si esegue Oracle Linux 8.x con un host NVMe-oF, viene creato ogni volta un PDC duplicato `nvme discover -p` viene eseguito. Ciò comporta un utilizzo non necessario delle risorse sia sull'host che sulla destinazione.

"1479047"

Gli host Oracle Linux 8.x NVMe-oF creano Persistent Discovery Controller (PDC) duplicati

Sugli host NVMe-oF, è possibile utilizzare il comando nvme discover -p per creare PDC. Quando si utilizza questo comando, è necessario creare un solo PDC per ogni combinazione iniziatore-destinazione. Tuttavia, se si esegue Oracle Linux 8.x con un host NVMe-oF, viene creato ogni volta un PDC duplicato nvme discover -p viene eseguito. Ciò comporta un utilizzo non necessario delle risorse sia sull'host che sulla destinazione.

Configurare Oracle Linux 8.x con NVMe-oF per l'archiviazione ONTAP

Creating your file...

Passaggio 1: installare il software Oracle Linux e NVMe e verificare la configurazione

Passaggio 2: configurare NVMe/FC e NVMe/TCP

Passaggio 3: Facoltativamente, abilitare 1 MB di I/O per NVMe/FC

Passaggio 4: verificare la configurazione del multipathing

Passaggio 5: Facoltativamente, abilitare la dimensione I/O di 1 MB

Fase 6: Esaminare i problemi noti