La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

NVMe-of host Configuration per Oracle Linux 9,3 con ONTAP

12/18/2024 Collaboratori

PDF

NVMe over Fabrics (NVMe-of), incluso NVMe over Fibre Channel (NVMe/FC) e altri trasporti, è supportato con Oracle Linux (OL) 9,3 con Asymmetric Namespace Access (ANA). Negli ambienti NVMe-of, ANA è l'equivalente del multipathing ALUA in ambienti iSCSI e FC ed è implementato con multipath NVMe nel kernel.

Il seguente supporto è disponibile per la configurazione host NVMe-of per OL 9,3 con ONTAP:

Supporto per NVMe su TCP (NVMe/TCP) oltre a NVMe/FC. Il plug-in NetApp nel pacchetto nvme-cli nativo visualizza i dettagli ONTAP per gli spazi dei nomi NVMe/FC e NVMe/TCP.
Utilizzo di traffico NVMe e SCSI coesistente sullo stesso host su un determinato HBA (host bus adapter), senza le impostazioni esplicite di dm-multipath per impedire la richiesta di spazi dei nomi NVMe.

Per ulteriori informazioni sulle configurazioni supportate, consultare "Tool di matrice di interoperabilità NetApp".

Caratteristiche

Oracle Linux 9,3 ha il multipath NVMe in-kernel abilitato per gli spazi dei nomi NVMe per impostazione predefinita, pertanto non sono necessarie impostazioni esplicite.

Limitazioni note

L'avvio SAN che utilizza il protocollo NVMe-of non è attualmente supportato.

Convalidare le versioni software

È possibile utilizzare la seguente procedura per convalidare le versioni minime del software OL 9,3 supportate.

Fasi

Installare OL 9,3 GA sul server. Una volta completata l'installazione, verificare di eseguire il kernel OL 9,3 GA specificato.
```
# uname -r
```
Esempio di output:
```
5.15.0-200.131.27.el9uek.x86_64
```

Installare nvme-cli pacchetto:

# rpm -qa|grep nvme-cli

Esempio di output:

nvme-cli-2.4-10.el9.x86_64

Installare libnvme pacchetto:

#rpm -qa|grep libnvme

Esempio di output

libnvme-1.4-7.el9.x86_64

Sull'host Oracle Linux 9,3, controllare la hostnqn stringa su /etc/nvme/hostnqn:
```
# cat /etc/nvme/hostnqn
```
Esempio di output:
```
nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053
```

Verificare che il hostnqn la stringa corrisponde a. hostnqn Stringa per il sottosistema corrispondente sull'array ONTAP:

::> vserver nvme subsystem host show -vserver vs_ol_nvme

Esempio di output:

Vserver     Subsystem          Host NQN
----------- --------------- ----------------------------------------------------------
vs_ol_nvme   nvme              nqn.2014-08.org.nvmexpress:uuid:2831093d-fa7f-4714-a6bf-548796e82053

Se il hostnqn le stringhe non corrispondono, è possibile utilizzare vserver modify per aggiornare hostnqn Stringa sul sottosistema di array ONTAP corrispondente a hostnqn stringa da /etc/nvme/hostnqn sull'host.

Configurare NVMe/FC

È possibile configurare NVMe/FC per gli adattatori Broadcom/Emulex o Marvell/Qlogic.

Broadcom/Emulex

Fasi

Verificare di utilizzare il modello di adattatore supportato:

# cat /sys/class/scsi_host/host*/modelname

Esempio di output:

LPe36002-M2
LPe36002-M2

# cat /sys/class/scsi_host/host*/modeldesc

Esempio di output:

Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter
Emulex LightPulse LPe36002-M2 2-Port 64Gb Fibre Channel Adapter

Verificare di utilizzare il Broadcom consigliato lpfc firmware e driver della posta in arrivo:
```
# cat /sys/class/scsi_host/host*/fwrev
14.2.673.40, sli-4:2:c
14.2.673.40, sli-4:2:c
```
```
# cat /sys/module/lpfc/version
0:14.2.0.13
```
Per l'elenco più aggiornato delle versioni firmware e dei driver della scheda di rete supportati, consultare "Tool di matrice di interoperabilità NetApp".

Verificare che lpfc_enable_fc4_type è impostato su 3:

# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3

Verificare che le porte dell'iniziatore siano attive e in esecuzione e che siano visualizzate le LIF di destinazione:

# cat /sys/class/fc_host/host*/port_name
0x100000620b3c089c
0x100000620b3c089d

# cat /sys/class/fc_host/host*/port_state
Online
Online

Mostra output di esempio

# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000620b3c089c WWNN x200000620b3c089c DID x062f00 ONLINE
NVME RPORT       WWPN x2019d039ea9ea480 WWNN x2018d039ea9ea480 DID x061b06 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x201cd039ea9ea480 WWNN x2018d039ea9ea480 DID x062706 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000f03 Cmpl 0000000efa Abort 0000004a
LS XMIT: Err 00000009  CMPL: xb 0000004a Err 0000004a
Total FCP Cmpl 00000000b9b3486a Issue 00000000b97ba0d2 OutIO ffffffffffc85868
abort 00000afc noxri 00000000 nondlp 00002e34 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000138c Err 00014750

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000620b3c089d WWNN x200000620b3c089d DID x062400 ONLINE
NVME RPORT       WWPN x201ad039ea9ea480 WWNN x2018d039ea9ea480 DID x060206 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x201dd039ea9ea480 WWNN x2018d039ea9ea480 DID x061305 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000b40 Cmpl 0000000b40 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000b9a9f03f Issue 00000000b96e622e OutIO ffffffffffc471ef
abort 0000090d noxri 00000000 nondlp 00003b3f qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 000010a5 Err 000147e4

Adattatore FC Marvell/QLogic per NVMe/FC

Il driver inbox qla2xxx nativo incluso nel kernel OL 9,3 GA ha le ultime correzioni upstream. Queste correzioni sono essenziali per il supporto di ONTAP.

Fasi

Verificare che siano in esecuzione le versioni del firmware e del driver dell'adattatore supportate:

# cat /sys/class/fc_host/host*/symbolic_name
QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k
QLE2872 FW:v9.14.02 DVR:v 10.02.09.100-k

Verificare che ql2xnvmeenable è impostato. Ciò consente all'adattatore Marvell di funzionare come iniziatore NVMe/FC:
```
# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
1
```

Abilita dimensione i/o 1 MB (opzionale)

ONTAP riporta un MDTS (MAX Data Transfer Size) di 8 nei dati del controller di identificazione. Ciò significa che le dimensioni massime delle richieste i/o possono essere fino a 1MB MB. Per emettere richieste di i/o di dimensioni pari a 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.

Questi passaggi non si applicano agli host Qlogic NVMe/FC.

Fasi

Impostare il lpfc_sg_seg_cnt parametro su 256:

cat /etc/modprobe.d/lpfc.conf

options lpfc lpfc_sg_seg_cnt=256

Eseguire il dracut -f comando e riavviare l'host.
Verificare che il valore previsto di lpfc_sg_seg_cnt sia 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```

Configurare NVMe/TCP

NVMe/TCP non dispone di funzionalità di connessione automatica. Pertanto, è necessario eseguire manualmente la funzionalità di connessione o connessione NVMe/TCP per rilevare i sottosistemi NVMe/TCP e i namespace. Puoi utilizzare la seguente procedura per configurare NVMe/TCP.

Fasi

Verificare che la porta iniziatore possa recuperare i dati della pagina del registro di rilevamento attraverso le LIF NVMe/TCP supportate:

nvme discover -t tcp -w host-traddr -a traddr

Mostra esempio

# nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56

Discovery Log Number of Records 4, Generation counter 10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  2
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery
traddr:  192.168.165.56
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:discovery
traddr:  192.168.166.56
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  2
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95
traddr:  192.168.165.56
eflags:  none
sectype: none
..........

Verificare che le altre combinazioni LIF iniziatore-destinazione NVMe/TCP possano recuperare correttamente i dati della pagina del registro di rilevamento:
```
nvme discover -t tcp -w host-traddr -a traddr
```
Esempio di output:
```
# nvme discover -t tcp -w 192.168.166.4 -a 192.168.166.56
# nvme discover -t tcp -w 192.168.165.3 -a 192.168.165.56
```
Eseguire nvme connect-all Command tra tutti i LIF target initiator NVMe/TCP supportati nei nodi:
```
nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>
```
Esempio di output:
```
# nvme connect-all -t tcp -w 192.168.166.4 -a 192.168.166.56 -l -1
# nvme connect-all -t tcp -w 192.168.165.3 -a 192.168.165.56 -l -1
```
NetApp consiglia di impostare ctrl-loss-tmo opzione a. -1 In modo che l'iniziatore NVMe/TCP tenti di riconnettersi a tempo indeterminato in caso di perdita di percorso.

Validare NVMe-of

È possibile utilizzare la seguente procedura per convalidare NVMe-of.

Fasi

Verificare le seguenti impostazioni NVMe/FC sull'host OL 9.3:

# cat /sys/module/nvme_core/parameters/multipath
Y

# cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller

# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin

Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:

# nvme list

Esempio di output:

Node         SN                   Model
---------------------------------------------------------
/dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller
/dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller


Namespace Usage    Format             FW             Rev
-----------------------------------------------------------
1                 21.47 GB / 21.47 GB  4 KiB + 0 B   FFFFFFFF
2                 21.47 GB / 21.47 GB  4 KiB + 0 B  FFFFFFFF
3	                21.47 GB/ 21.47 GB 4 KiB + 0 B   FFFFFFFF

Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:

NVMe/FC

# nvme list-subsys /dev/nvme0n1

Esempio di output:

nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.4aa0fa76c92c11eeb301d039eab0dadd:subsystem.rhel_213
\
 +- nvme3 fc traddr=nn-0x2018d039ea9ea480:pn-0x201dd039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live non-optimized
 +- nvme4 fc traddr=nn-0x2018d039ea9ea480:pn-0x201cd039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live non-optimized
 +- nvme6 fc traddr=nn-0x2018d039ea9ea480:pn-0x2019d039ea9ea480,host_traddr=nn-0x200000620b3c089c:pn-0x100000620b3c089c live optimized
 +- nvme7 fc traddr=nn-0x2018d039ea9ea480:pn-0x201ad039ea9ea480,host_traddr=nn-0x200000620b3c089d:pn-0x100000620b3c089d live optimized

NVMe/TCP

nvme list-subsys /dev/nvme1n22

Esempio di output

nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.337a0392d58011ee9764d039eab0dadd:subsystem.rhel_95
\
 +- nvme2 tcp traddr=192.168.166.56,trsvcid=4420,host_traddr=192.168.166.4,src_addr=192.168.166.4 live optimized
 +- nvme3 tcp traddr=192.168.165.56,trsvcid=4420,host_traddr=192.168.165.3,src_addr=192.168.165.3 live non-optimized

Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:

Colonna

# nvme netapp ontapdevices -o column

Esempio di output:

Device        Vserver   Namespace Path
----------------------- ------------------------------
/dev/nvme5n6     vs_nvme175                /vol/vol6/ns
/dev/nvme5n7     vs_nvme175                /vol/vol7/ns
/dev/nvme5n8     vs_nvme175                /vol/vol8/ns




NSID       UUID                                   Size
------------------------------------------------------------
6          72b887b1-5fb6-47b8-be0b-33326e2542e2   21.47GB
7          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08   21.47GB
8          264823b1-8e03-4155-80dd-e904237014a4   21.47GB

JSON

# nvme netapp ontapdevices -o json

Esempio di output

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme5n1",
      "Vserver":"vs_nvme175",
      "Namespace_Path":"/vol/vol1/ns",
      "NSID":1,
      "UUID":"d4791955-07c9-44fc-b41c-d1c39d3d9b5b",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    },
    {
      "Device":"/dev/nvme5n10",
      "Vserver":"vs_nvme175",
      "Namespace_Path":"/vol/vol10/ns",
      "NSID":10,
      "UUID":"f3a4ce94-bcc5-4ff0-9e52-e59030bbc97f",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    },
    {
      "Device":"/dev/nvme5n11",
      "Vserver":"vs_nvme175",
      "Namespace_Path":"/vol/vol11/ns",
      "NSID":11,
      "UUID":"0bf171d2-51f7-4a00-8f6a-0ea2190885a2",
      "Size":"21.47GB",
      "LBA_Data_Size":4096,
      "Namespace_Size":5242880
    },
  ]
}

Problemi noti

Non ci sono problemi noti per Oracle Linux 9,3 con ONTAP release.

NVMe-of host Configuration per Oracle Linux 9,3 con ONTAP

Creating your file...

Caratteristiche

Limitazioni note

Convalidare le versioni software

Configurare NVMe/FC

Abilita dimensione i/o 1 MB (opzionale)

Configurare NVMe/TCP

Validare NVMe-of

Problemi noti