La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Configurare Oracle Linux 10.x con NVMe-oF per lo storage ONTAP

02/24/2026 Collaboratori

PDF

Gli host Oracle Linux supportano i protocolli NVMe su Fibre Channel (NVMe/FC) e NVMe su TCP (NVMe/TCP) con Asymmetric Namespace Access (ANA). ANA fornisce funzionalità multipathing equivalenti all'accesso asimmetrico alle unità logiche (ALUA) negli ambienti iSCSI e FCP.

Scopri come configurare gli host NVMe over Fabrics (NVMe-oF) per Oracle Linux 10.x. Per ulteriori informazioni su supporto e funzionalità, vedi "Supporto e funzionalità di Oracle Linux ONTAP".

NVMe-oF con Oracle Linux 10.x presenta la seguente limitazione nota:

IL nvme disconnect-all Il comando disconnette sia il file system root che quello dati e potrebbe causare instabilità del sistema. Non eseguire questa operazione su sistemi che si avviano da SAN tramite namespace NVMe-TCP o NVMe-FC.

Passaggio 1: Se lo si desidera, attivare l'avvio SAN

È possibile configurare l'host per utilizzare l'avvio SAN per semplificare la distribuzione e migliorare la scalabilità. Utilizzare il"Tool di matrice di interoperabilità" per verificare che il sistema operativo Linux, l'adattatore bus host (HBA), il firmware HBA, il BIOS di avvio HBA e la versione ONTAP supportino l'avvio SAN.

Fasi

"Crea uno spazio dei nomi NVMe e mappalo all'host" .
Abilitare l'avvio SAN nel BIOS del server per le porte su cui è mappato lo spazio dei nomi di avvio SAN.

Per informazioni su come attivare il BIOS HBA, consultare la documentazione specifica del vendor.
Riavviare l'host e verificare che il sistema operativo sia attivo e funzionante.

Passaggio 2: installa il software Oracle Linux e NVMe e verifica la configurazione

Utilizzare la seguente procedura per convalidare le versioni minime supportate del software Oracle Linux 10.x.

Fasi

Installa Oracle Linux 10.x sul server. Al termine dell'installazione, verifica di utilizzare il kernel Oracle Linux 10.x specificato.
```
uname -r
```
Esempio di versione del kernel Oracle Linux:
```
6.12.0-100.28.2.el10uek.x86_64
```
Installare nvme-cli pacchetto:
```
rpm -qa|grep nvme-cli
```
L'esempio seguente mostra un nvme-cli versione del pacchetto:
```
nvme-cli-2.13-2.0.1.el10.x86_64
```
Installare libnvme pacchetto:
```
rpm -qa|grep libnvme
```
L'esempio seguente mostra un libnvme versione del pacchetto:
```
libnvme-1.13-1.el10.x86_64
```
Sull'host Oracle Linux 10.x, controlla la hostnqn stringa a /etc/nvme/hostnqn:
```
cat /etc/nvme/hostnqn
```
L'esempio seguente mostra un hostnqn versione:
```
nqn.2014-08.org.nvmexpress:uuid:8397cecc-30f0-11e8-850f-7ed30aef0cc7
```

Sul sistema ONTAP , verificare che hostnqn la stringa corrisponde a hostnqn stringa per il sottosistema corrispondente sul sistema di archiviazione ONTAP :

vserver nvme subsystem host show -vserver vs_coexistence_emulex

Mostra esempio

Vserver Subsystem Priority  Host NQN
------- --------- --------
-------------------------------------------------------------------vs_coexistence_emulex
nvme1
regular   nqn.2014-08.org.nvmexpress:uuid:8397cecc-30f0-11e8-850f-7ed30aef0cc7
nvme2
regular    nqn.2014-08.org.nvmexpress:uuid:8397cecc-30f0-11e8-850f-7ed30aef0cc7

Se le hostnqn stringhe non corrispondono, è possibile utilizzare il vserver modify comando per aggiornare la hostnqn stringa sul sottosistema di array ONTAP corrispondente in modo che corrisponda alla hostnqn stringa dall' `/etc/nvme/hostnqn`host.

Passaggio 3: configurare NVMe/FC e NVMe/TCP

Configurare NVMe/FC con adattatori Broadcom/Emulex o Marvell/QLogic oppure configurare NVMe/TCP utilizzando operazioni di rilevamento e connessione manuali.

NVMe/FC - Broadcom/Emulex

Configurare NVMe/FC per un adattatore Broadcom/Emulex.

Fasi

Verificare che si stia utilizzando il modello di scheda supportato:
1. Visualizza i nomi dei modelli:
  cat /sys/class/scsi_host/host*/modelname
  Viene visualizzato il seguente output:
  LPe36002-M64-D LPe36002-M64-D
2. Visualizza le descrizioni dei modelli:
  cat /sys/class/scsi_host/host*/modeldesc
  Dovresti vedere un output simile al seguente esempio:
```
Emulex LPe36002-M64-D 2-Port 64Gb Fibre Channel Adapter
Emulex LPe36002-M64-D 2-Port 64Gb Fibre Channel Adapter
```
Verificare di utilizzare il Broadcom consigliato lpfc firmware e driver della posta in arrivo:
1. Visualizza la versione del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  L'esempio seguente mostra le versioni del firmware:
  14.4.393.25, sli-4:6:d 14.4.393.25, sli-4:6:d
2. Visualizza la versione del driver in arrivo:
  cat /sys/module/lpfc/version
  L'esempio seguente mostra la versione del driver:
```
0:14.4.0.2
```
+
Per l'elenco aggiornato dei driver della scheda di rete supportati e delle versioni del firmware, vedere "Tool di matrice di interoperabilità".

Verificare che lpfc_enable_fc4_type è impostato su 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Verificare che sia possibile visualizzare le porte dell'iniziatore:
```
cat /sys/class/fc_host/host*/<port_name>
```
L'esempio seguente mostra le identità delle porte:
```
0x100000620b3c089c
0x100000620b3c089d
```
Verificare che le porte dell'iniziatore siano in linea:
```
cat /sys/class/fc_host/host*/port_state
```
Viene visualizzato il seguente output:
```
Online
Online
```

Verificare che le porte iniziatore NVMe/FC siano abilitate e che le porte di destinazione siano visibili:

cat /sys/class/scsi_host/host*/nvme_info

Mostra esempio

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000620b3c089c WWNN x200000620b3c089c DID x081300 ONLINE
NVME RPORT       WWPN x2001d039eab0dadc WWNN x2000d039eab0dadc DID x080107 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2221d039eab0dadc WWNN x2220d039eab0dadc DID x080105 TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 000000713b Cmpl 000000713b Abort 00000001
LS XMIT: Err 00000000  CMPL: xb 00000001 Err 00000001
Total FCP Cmpl 00000000a513b8bb Issue 00000000a4f2485c OutIO ffffffffffde8fa1
        abort 00006935 noxri 000004f0 nondlp 0002e119 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000693d Err 0009cb89


NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000620b3c089d WWNN x200000620b3c089d DID x081900 ONLINE
NVME RPORT       WWPN x2002d039eab0dadc WWNN x2000d039eab0dadc DID x080207 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2222d039eab0dadc WWNN x2220d039eab0dadc DID x080205 TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 0000007171 Cmpl 0000007171 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000a509cecc Issue 00000000a4e7ed6c OutIO ffffffffffde1ea0
        abort 000069c5 noxri 00000406 nondlp 000301e6 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000069d6 Err 0009cbcds

NVMe/FC - Marvell/QLogic

Configurare NVMe/FC per un adattatore Marvell/QLogic.

Fasi

Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:
```
cat /sys/class/fc_host/host*/symbolic_name
```
L'esempio seguente mostra le versioni del driver e del firmware:
```
QLE2772 FW:v9.15.03 DVR:v10.02.09.300-k
```
Verificare che ql2xnvmeenable è impostato. Ciò consente all'adattatore Marvell di funzionare come iniziatore NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
L'uscita prevista è 1.

NVMe/TCP

Il protocollo NVMe/TCP non supporta l'operazione di connessione automatica. In alternativa, è possibile scoprire i sottosistemi e gli spazi dei nomi NVMe/TCP eseguendo l'NVMe/TCP connect O connect-all operazioni manualmente.

Fasi

Verificare che la porta iniziatore possa recuperare i dati della pagina del registro di rilevamento attraverso le LIF NVMe/TCP supportate:

nvme discover -t tcp -w host-traddr -a traddr

Mostra esempio

nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  8
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  8
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.99
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.99
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.98
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.98
eflags:  none
sectype: none

Verificare che le altre combinazioni LIF iniziatore-destinazione NVMe/TCP possano recuperare correttamente i dati della pagina del registro di rilevamento:

nvme discover -t tcp -w host-traddr -a traddr

Mostra esempio

nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.10
nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.11
nvme discover -t tcp -w 192.168.48.7 -a 192.168.48.10
nvme discover -t tcp -w 192.168.48.7 -a 192.168.48.11

Eseguire nvme connect-all Command tra tutti i LIF target initiator NVMe/TCP supportati nei nodi:

nvme connect-all -t tcp -w host-traddr -a traddr

Mostra esempio

nvme connect-all -t tcp -w 192.168.41.7 -a 192.168.41.10
nvme connect-all -t tcp -w 192.168.41.7 -a 192.168.41.11
nvme connect-all -t tcp -w 192.168.48.7 -a 192.168.48.10
nvme connect-all -t tcp -w 192.168.48.7 -a 192.168.48.11

A partire da Oracle Linux 9.4, l'impostazione per NVMe/TCP ctrl_loss_tmo timeout viene automaticamente impostato su "off". Di conseguenza:

Non ci sono limiti al numero di tentativi (tentativi illimitati).
Non è necessario configurare manualmente uno specifico ctrl_loss_tmo timeout durata quando si utilizza il nvme connect O nvme connect-all comandi (opzione -l ).
I controller NVMe/TCP non subiscono timeout in caso di errore del percorso e rimangono connessi indefinitamente.

Passaggio 4: Facoltativamente, modificare iopolicy nelle regole udev

L'host Oracle Linux 10.x imposta la iopolicy predefinita per NVMe-oF su queue-depth. Puoi cambiare la iopolicy su round-robin modificando il file delle regole udev.

Fasi

Aprire il file delle regole udev in un editor di testo con privilegi di root:
```
/usr/lib/udev/rules.d/71-nvmf-netapp.rules
```
Viene visualizzato il seguente output:
```
vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules
```

Trova la riga che imposta iopolicy per NetApp ONTAP Controller.

L'esempio seguente mostra una regola di esempio:

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

Modifica la regola in modo che queue-depth diventi round-robin:

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

Ricarica le regole udev e applica le modifiche:

udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

Verificare l'attuale iopolicy per il sottosistema. Sostituisci <sottosistema>, ad esempio, nvme-subsys0 .
```
cat /sys/class/nvme-subsystem/<subsystem>/iopolicy
```
Viene visualizzato il seguente output:
```
round-robin.
```

La nuova iopolicy si applica automaticamente ai dispositivi NetApp ONTAP Controller corrispondenti. Non è necessario riavviare il sistema.

Passaggio 5: Facoltativamente, abilitare 1 MB di I/O per NVMe/FC

ONTAP segnala una dimensione massima di trasferimento dati (MDTS) pari a 8 nei dati Identify Controller. Ciò significa che la dimensione massima della richiesta di I/O può arrivare fino a 1 MB. Per emettere richieste di I/O di dimensione 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Questi passaggi non si applicano agli host Qlogic NVMe/FC.

Fasi

Impostare il lpfc_sg_seg_cnt parametro su 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Dovresti vedere un output simile al seguente esempio:
```
options lpfc lpfc_sg_seg_cnt=256
```
Eseguire il dracut -f comando e riavviare l'host.
Verificare che il valore per lpfc_sg_seg_cnt sia 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Passaggio 6: verificare i servizi di avvio NVMe

IL nvmefc-boot-connections.service E nvmf-autoconnect.service servizi di avvio inclusi in NVMe/FC nvme-cli i pacchetti vengono abilitati automaticamente all'avvio del sistema.

Dopo aver completato l'avvio, verificare che nvmefc-boot-connections.service E nvmf-autoconnect.service i servizi di avvio sono abilitati.

Fasi

Verificare che nvmf-autoconnect.service sia attivato:

systemctl status nvmf-autoconnect.service

Mostra output di esempio

nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: disabled)
     Active: inactive (dead) since Tue 2026-02-02 09:48:11 EDT; 1 week 0 days ago
   Main PID: 2620 (code=exited, status=0/SUCCESS)
        CPU: 19ms

Feb 02 09:48:11 sr630-13-169 systemd[1]: Starting Connect NVMe-oF subsystems automatically during boot...
Feb 02 09:48:11 sr630-13-169 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Feb 02 09:48:11 sr630-13-169 systemd[1]: Finished Connect NVMe-oF subsystems automatically during boot.

Verificare che nvmefc-boot-connections.service sia attivato:

systemctl status nvmefc-boot-connections.service

Mostra output di esempio

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Tue 2026-02-02 09:47:07 EDT; 1 week 0 days ago2
   Main PID: 1651 (code=exited, status=0/SUCCESS)
        CPU: 14ms

Feb 02 09:47:07 sr630-13-169 systemd[1]: Starting Auto-connect to subsystems on FC-NVME devices found during boot...
Feb 02 09:47:07 sr630-13-169 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Feb 02 09:47:07 sr630-13-169 systemd[1]: Finished Auto-connect to subsystems on FC-NVME devices found during boot.

Passaggio 7: verificare la configurazione del multipathing

Verificare che lo stato multipath NVMe in-kernel, lo stato ANA e i namespace ONTAP siano corretti per la configurazione NVMe-of.

Fasi

Verificare che il multipath NVMe nel kernel sia attivato:
```
cat /sys/module/nvme_core/parameters/multipath
```
Viene visualizzato il seguente output:
```
Y
```
Verificare che le impostazioni NVMe-oF appropriate (ad esempio, modello impostato su NetApp ONTAP Controller e iopolicy di bilanciamento del carico impostato su queue-depth) per i rispettivi namespace ONTAP si riflettano correttamente sull'host:
1. Visualizza i sottosistemi:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Viene visualizzato il seguente output:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Visualizza la politica:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Dovresti vedere il valore impostato per iopolicy, ad esempio:
```
queue-depth
queue-depth
```

Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:

nvme list

Mostra esempio

Node            Generic         SN                   Model                    Namespace  Usage                      Format         FW Rev
--------------- --------------- -------------------- ------------------------ ---------- -------------------------- -------------  --------
/dev/nvme10n1   /dev/ng10n1     81NQfNZTUE14AAAAAAAN NetApp ONTAP Controller   0x1          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1
/dev/nvme10n2   /dev/ng10n2     81NQfNZTUE14AAAAAAAN NetApp ONTAP Controller   0x2          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1
/dev/nvme12n1   /dev/ng12n1     81NQfNZTUE14AAAAAAAb NetApp ONTAP Controller   0x1          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1

Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:

nvme list-subsys /dev/<controller_ID>

A partire da ONTAP 9.16.1, NVMe/FC e NVMe/TCP segnalano tutti i percorsi ottimizzati sui sistemi ASA r2.

NVMe/FC

I seguenti output di esempio mostrano uno spazio dei nomi ospitato su un controller ONTAP a due nodi per un sistema AFF, FAS, ASA o ASA r2 con NVMe/FC.

Mostra l'output di esempio AFF, FAS e ASA

 nvme-subsys114 - NQN=nqn.1992-08.com.netapp:sn.9e30b9760a4911f08c87d039eab67a95:subsystem.sles_161_27
                 hostnqn=nqn.2014-08.org.nvmexpress:uuid:f6517cae-3133-11e8-bbff-7ed30aef123f iopolicy=round-robin\
+- nvme114 fc traddr=nn-0x234ed039ea359e4a:pn-0x2360d039ea359e4a,host_traddr=nn-0x20000090fae0ec88:pn-0x10000090fae0ec88 live optimized
+- nvme115 fc traddr=nn-0x234ed039ea359e4a:pn-0x2362d039ea359e4a,host_traddr=nn-0x20000090fae0ec88:pn-0x10000090fae0ec88 live non-optimized
+- nvme116 fc traddr=nn-0x234ed039ea359e4a:pn-0x2361d039ea359e4a,host_traddr=nn-0x20000090fae0ec89:pn-0x10000090fae0ec89 live optimized
+- nvme117 fc traddr=nn-0x234ed039ea359e4a:pn-0x2363d039ea359e4a,host_traddr=nn-0x20000090fae0ec89:pn-0x10000090fae0ec89 live non-optimized

Mostra l'output di esempio di ASA r2

nvme-subsys96 - NQN=nqn.1992-08.om.netapp:sn.b351b2b6777b11f0b3c2d039ea5cfc91:subsystem.nvme24
                hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b581b4-c975-11e6-8425-0894ef31a074
\
 +- nvme203 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2015d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
 +- nvme25 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2014d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
 +- nvme30 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2012d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
 +- nvme32 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2013d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized

NVMe/TCP

I seguenti output di esempio mostrano uno spazio dei nomi ospitato su un controller ONTAP a due nodi per un sistema AFF, FAS, ASA o ASA r2 con NVMe/TCP.

Mostra l'output di esempio AFF, FAS e ASA

nvme-subsys9 - NQN=nqn.1992-08.com.netapp:sn.9927e165694211f0b4f4d039eab31e9d:subsystem.nvme10
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-b7c04f444d33
\
 +- nvme105 tcp traddr=192.168.39.10,trsvcid=4420,host_traddr=192.168.39.20,src_addr=192.168.39.20 live optimized
 +- nvme153 tcp traddr=192.168.39.11,trsvcid=4420,host_traddr=192.168.39.20,src_addr=192.168.39.20 live non-optimized
 +- nvme57 tcp traddr=192.168.38.11,trsvcid=4420,host_traddr=192.168.38.20,src_addr=192.168.38.20 live non-optimized
 +- nvme9 tcp traddr=192.168.38.10,trsvcid=4420,host_traddr=192.168.38.20,src_addr=192.168.38.20 live optimized

Mostra l'output di esempio di ASA r2

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.17e32b6e8c7f11f09545d039eac03c33:subsystem.Bidirectional_DHCP_1_0
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0054-5110-8039-c3c04f523034
\                                                                                                                                                                               +- nvme4 tcp traddr=192.168.20.28,trsvcid=4420,host_traddr=192.168.20.21,src_addr=192.168.20.21 live optimized
+- nvme5 tcp traddr=192.168.20.29,trsvcid=4420,host_traddr=192.168.20.21,src_addr=192.168.20.21 live optimized
+- nvme6 tcp traddr=192.168.21.28,trsvcid=4420,host_traddr=192.168.21.21,src_addr=192.168.21.21 live optimized
+- nvme7 tcp traddr=192.168.21.29,trsvcid=4420,host_traddr=192.168.21.21,src_addr=192.168.21.21 live optimized

Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:

Colonna

nvme netapp ontapdevices -o column

Mostra esempio

Device           Vserver                  Namespace Path         NSID  UUID                                   Size
---------------- ----------------------- ----------------------- ----- -------------------------------------- --------
/dev/nvme1n1     vs_sanboot sanboot_169   /vol/nvme169/ns169      1    58443dbc-a472-45da-a5ef-3dd27c19d04b   171.80GB

JSON

nvme netapp ontapdevices -o json

Mostra esempio

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme11n1",
      "Vserver":"vs_sanboot", "Subsystem":"sanboot_169",
      "Namespace_Path": "/vol/nvme169/ns169",
      "NSID":1,
      "UUID":" 58443dbc-a472-45da-a5ef-3dd27c19d04b",
      "LBA_Size":4096,
      "Namespace_Size": 171798691840,
      "UsedBytes": 6016638976,
      "Version":"9.18.1"
        }
  ]
}

Passaggio 8: impostare l'autenticazione in-band sicura

L'autenticazione in-band sicura è supportata tramite NVMe/TCP tra un host Oracle Linux 10.x e un controller ONTAP.

Per impostare l'autenticazione sicura, ogni host o controller deve essere associato a una chiave DH-HMAC-CHAP. Una chiave DH-HMAC-CHAP è una combinazione dell'NQN dell'host o del controller NVMe e di un segreto di autenticazione configurato dall'amministratore. Per autenticare il suo peer, un host o un controller NVMe deve riconoscere la chiave associata al peer.

Fasi

Imposta l'autenticazione in-band sicura tramite la CLI o un file JSON di configurazione. Utilizzare un file JSON di configurazione se è necessario specificare chiavi dhchap diverse per sottosistemi diversi.

CLI

Configurare l'autenticazione in banda protetta utilizzando la CLI.

Ottenere l'NQN dell'host:
```
cat /etc/nvme/hostnqn
```

Genera la chiave dhchap per l'host Linux.

L'output seguente descrive il gen-dhchap-key parametri del comando:

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

Nell'esempio seguente, viene generata una chiave casuale dhCHAP con HMAC impostato su 3 (SHA-512).

# nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c4c04f425633
DHHC-1:03:xhAfbAD5IVLZDxiVbmFEOA5JZ3F/ERqTXhHzZQJKgkYkTbPI9dhRyVtr4dBD+SGiAJO3by4FbnVtov1Lmk+86+nNc6k=:

Sul controller ONTAP, aggiungere l'host e specificare entrambe le chiavi dhchap:

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

Un host supporta due tipi di metodi di autenticazione, unidirezionale e bidirezionale. Sull'host, connettersi al controller ONTAP e specificare le chiavi dhchap in base al metodo di autenticazione scelto:
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

Convalidare nvme connect authentication comando verificando le chiavi dhchap dell'host e del controller:

Verificare le chiavi dhchap dell'host:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

Mostra output di esempio per una configurazione unidirezionale

cat /sys/class/nvme-subsystem/nvme-subsys1/nvme*/dhchap_secret
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:

Verificare i tasti dhchap del controller:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

Mostra output di esempio per una configurazione bidirezionale

cat /sys/class/nvme-subsystem/nvme-subsys6/nvme*/dhchap_ctrl_secret
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:

JSON

Quando sulla configurazione del controller ONTAP sono disponibili più sottosistemi NVMe, è possibile utilizzare il /etc/nvme/config.json file con il nvme connect-all comando.

Utilizzare il -o opzione per generare il file JSON. Per ulteriori opzioni di sintassi, consultare le pagine del manuale di NVMe Connect-all.

Configurare il file JSON:

Mostra esempio

[
  {
    "hostnqn":"nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c4c04f425633",
    "hostid":"4c4c4544-0056-5410-8048-c4c04f425633",
    "dhchap_key":"DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:",
    "subsystems":[
      {
        "nqn":"nqn.1992-08.com.netapp:sn.09035a8d8c8011f0ac0fd039eabac370:subsystem.subsys",
        "ports":[
          {
            "transport":"tcp",
            "traddr":"192.168.30.69",
            "host_traddr":"192.168.41.7",
            "trsvcid":"4420",
            "dhchap_ctrl_key":"DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:"
          }
        ]
      }
    ]
  }
]

Nell'esempio precedente, dhchap_key corrisponde a dhchap_secret e dhchap_ctrl_key corrisponde a dhchap_ctrl_secret.

Connettersi al controller ONTAP utilizzando il file di configurazione JSON:
```
nvme connect-all -J /etc/nvme/config.json
```

Verificare che i segreti dhchap siano stati abilitati per i rispettivi controller per ciascun sottosistema:

Verificare le chiavi dhchap dell'host:

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_secret

L'esempio seguente mostra una chiave dhchap:

DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:

Verificare i tasti dhchap del controller:
```
cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_ctrl_secret
```
Dovresti vedere un output simile al seguente esempio:

DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:

Fase 9: Esaminare i problemi noti

Non ci sono problemi noti.

Configurare Oracle Linux 10.x con NVMe-oF per lo storage ONTAP

Creating your file...

Passaggio 1: Se lo si desidera, attivare l'avvio SAN

Passaggio 2: installa il software Oracle Linux e NVMe e verifica la configurazione

Passaggio 3: configurare NVMe/FC e NVMe/TCP

Passaggio 4: Facoltativamente, modificare iopolicy nelle regole udev

Passaggio 5: Facoltativamente, abilitare 1 MB di I/O per NVMe/FC

Passaggio 6: verificare i servizi di avvio NVMe

Passaggio 7: verificare la configurazione del multipathing

Passaggio 8: impostare l'autenticazione in-band sicura

Fase 9: Esaminare i problemi noti