Configurare RHEL 8.1 per NVMe-oF con storage ONTAP
Gli host Red Hat Enterprise Linux (RHEL) supportano i protocolli NVMe su Fibre Channel (NVMe/FC) e NVMe su TCP (NVMe/TCP) con Asymmetric Namespace Access (ANA). ANA fornisce funzionalità multipathing equivalenti all'accesso asimmetrico alle unità logiche (ALUA) negli ambienti iSCSI e FCP.
Scopri come configurare gli host NVMe over Fabrics (NVMe-oF) per RHEL 8.1. Per ulteriori informazioni sul supporto e sulle funzionalità, vedere"Panoramica NVME-oF" .
NVMe-oF con RHEL 8.1 presenta le seguenti limitazioni note:
-
L'avvio SAN tramite il protocollo NVMe-oF non è attualmente supportato.
-
Il multipath NVMe nel kernel è disabilitato per impostazione predefinita sugli host NVMe-oF in RHEL 8.1, quindi è necessario abilitarlo manualmente.
-
Il nativo
nvme-cliil pacchetto non includenvme-fc auto-connectscript. È possibile utilizzare lo script di connessione automatica esterno fornito dal fornitore dell'adattatore bus host (HBA). -
Per impostazione predefinita, il bilanciamento del carico round-robin non è abilitato. Puoi abilitarlo scrivendo un
udevregola.
Passaggio 1: Se lo si desidera, attivare l'avvio SAN
È possibile configurare l'host per utilizzare l'avvio SAN per semplificare la distribuzione e migliorare la scalabilità. Utilizzare il"Tool di matrice di interoperabilità" per verificare che il sistema operativo Linux, l'adattatore bus host (HBA), il firmware HBA, il BIOS di avvio HBA e la versione ONTAP supportino l'avvio SAN.
-
Abilitare l'avvio SAN nel BIOS del server per le porte su cui è mappato lo spazio dei nomi di avvio SAN.
Per informazioni su come attivare il BIOS HBA, consultare la documentazione specifica del vendor.
-
Riavviare l'host e verificare che il sistema operativo sia attivo e funzionante.
Passaggio 2: verificare la versione del software e la configurazione NVMe
Verificare che il sistema soddisfi i requisiti software e verificare le installazioni dei pacchetti NVMe e la configurazione dell'host.
-
Installare RHEL 8.1 sul server. Una volta completata l'installazione, verificare di avere installato il kernel RHEL 8.1 richiesto:
uname -rEsempio di versione del kernel RHEL:
4.18.0-147.el8.x86_64
-
Installare
nvme-cli-1.8.1-3.el8pacchetto:rpm -qa|grep nvme-cliL'esempio seguente mostra una versione del pacchetto nvme-cli:
nvme-cli-1.8.1-3.el8.x86_64
-
Abilita multipath NVMe nel kernel:
grubby –args=nvme_core.multipath=Y –update-kernel /boot/vmlinuz-4.18.0-147.el8.x86_64 -
Aggiungere la seguente stringa come regola udev separata in
/lib/udev/rules.d/71-nvme-iopolicy-netapp-ONTAP.rules. Ciò consente il bilanciamento del carico round-robin per NVMe Multipath:Enable round-robin for NetApp ONTAP ACTION==”add”, SUBSYSTEM==”nvme-subsystem”, ATTR{model}==”NetApp ONTAP Controller”, ATTR{iopolicy}=”round-robin -
Sull'host RHEL 8.1, controllare la stringa NQN dell'host in
/etc/nvme/hostnqn:cat /etc/nvme/hostnqnL'esempio seguente mostra una stringa hostnqn:
nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
-
Verificare che la stringa NQN dell'host corrisponda alla stringa NQN dell'host per il sottosistema corrispondente nell'array ONTAP :
vserver nvme subsystem host show -vserver vs_nvme_10Mostra esempio
*> vserver nvme subsystem host show -vserver vs_nvme_10 Vserver Subsystem Host NQN ------- --------- -------------------------------------- ----------- rhel_141_nvme_ss_10_0 nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
Se le stringhe NQN host non corrispondono, utilizzare vserver modifyComando per aggiornare la stringa NQN dell'host sul sottosistema di array ONTAP corrispondente in modo che corrisponda alla stringa NQN dell'host da/etc/nvme/hostnqnsull'host. -
Riavviare l'host.
Passaggio 3: configurare NVMe/FC per Broadcom/Emulex
È possibile configurare NVMe/FC per Broadcom/Emulex.
-
Verificare di utilizzare il modello di adattatore supportato:
-
Visualizza i nomi dei modelli:
cat /sys/class/scsi_host/host*/modelnameViene visualizzato il seguente output:
LPe32002-M2 LPe32002-M2
-
Visualizza le descrizioni dei modelli:
cat /sys/class/scsi_host/host*/modeldescDovresti vedere un output simile a:
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
-
Copiare e installare il driver di uscita Broadcom lpfc e gli script di connessione automatica:
tar -xvzf elx-lpfc-dd-rhel8-12.4.243.20-ds-1.tar.gz cd elx-lpfc-dd-rhel8-12.4.2453.20-ds-1 ./elx_lpfc_install-sh -i -nI driver nativi forniti con il sistema operativo sono denominati driver inbox. Se si scaricano i driver outbox (driver non inclusi in una versione del sistema operativo), nel download viene incluso uno script di connessione automatica che deve essere installato come parte del processo di installazione dei driver. -
Riavviare l'host.
-
Verificare di utilizzare le configurazioni Broadcom consigliate.
-
Verificare il firmware lpfc:
cat /sys/class/scsi_host/host*/fwrevViene visualizzato il seguente output:
12.4.243.20, sil-4.2.c 12.4.243.20, sil-4.2.c
-
Verificare il driver della posta in uscita:
cat /sys/module/lpfc/versionViene visualizzato il seguente output:
0:12.4.243.20
-
Verificare le versioni del pacchetto di connessione automatica:
rpm -qa | grep nvmefcViene visualizzato il seguente output:
nvmefc-connect-12.6.61.0-1.noarch
-
-
Verificare che l'output previsto di
lpfc_enable_fc4_typesia impostato su3:cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type -
Verificare che le porte di avvio siano attive e funzionanti e possano vedere i LIF di destinazione:
cat /sys/class/fc_host/host*/port_nameDovresti vedere un output simile a:
0x10000090fae0ec61 0x10000090fae0ec62
-
Verificare che le porte dell'iniziatore siano in linea:
cat /sys/class/fc_host/host*/port_stateViene visualizzato il seguente output:
Online Online
-
Verificare che le porte iniziatore NVMe/FC siano abilitate e che le porte di destinazione siano visibili:
cat /sys/class/scsi_host/host*/nvme_infoMostra esempio
NVME Initiator Enabled XRI Dist lpfc0 Total 6144 NVME 2947 SCSI 2977 ELS 250 NVME LPORT lpfc0 WWPN x10000090fae0ec61 WWNN x20000090fae0ec61 DID x012000 ONLINE NVME RPORT WWPN x202d00a098c80f09 WWNN x202c00a098c80f09 DID x010201 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203100a098c80f09 WWNN x202c00a098c80f09 DID x010601 TARGET DISCSRVC ONLINE NVME Statistics
Passaggio 4: facoltativamente, abilitare 1 MB I/O per NVMe/FC
ONTAP segnala una dimensione massima di trasferimento dati (MDTS) pari a 8 nei dati Identify Controller. Ciò significa che la dimensione massima della richiesta di I/O può arrivare fino a 1 MB. Per emettere richieste di I/O di dimensione 1 MB per un host Broadcom NVMe/FC, è necessario aumentare il lpfc valore del lpfc_sg_seg_cnt parametro a 256 dal valore predefinito di 64.
|
|
Questi passaggi non si applicano agli host Qlogic NVMe/FC. |
-
Impostare il
lpfc_sg_seg_cntparametro su 256:cat /etc/modprobe.d/lpfc.confDovresti vedere un output simile al seguente esempio:
options lpfc lpfc_sg_seg_cnt=256
-
Eseguire il
dracut -fcomando e riavviare l'host. -
Verificare che il valore per
lpfc_sg_seg_cntsia 256:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
Passaggio 5: convalida NVMe-oF
Verificare che lo stato multipath NVMe in-kernel, lo stato ANA e i namespace ONTAP siano corretti per la configurazione NVMe-of.
-
Verificare che il multipath NVMe nel kernel sia attivato:
cat /sys/module/nvme_core/parameters/multipathViene visualizzato il seguente output:
Y
-
Verificare che le impostazioni NVMe-of appropriate (ad esempio, modello impostato su controller NetApp ONTAP e ipopolicy per il bilanciamento del carico impostato su round-robin) per i rispettivi spazi dei nomi ONTAP si riflettano correttamente sull'host:
-
Visualizza i sottosistemi:
cat /sys/class/nvme-subsystem/nvme-subsys*/modelViene visualizzato il seguente output:
NetApp ONTAP Controller NetApp ONTAP Controller
-
Visualizza la politica:
cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicyViene visualizzato il seguente output:
round-robin round-robin
-
-
Verificare che gli spazi dei nomi siano stati creati e rilevati correttamente sull'host:
nvme listMostra esempio
Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ----------------------- /dev/nvme0n1 80BADBKnB/JvAAAAAAAC NetApp ONTAP Controller 1 53.69 GB / 53.69 GB 4 KiB + 0 B FFFFFFFF
-
Verificare che lo stato del controller di ciascun percorso sia attivo e che abbia lo stato ANA corretto:
nvme list-subsys /dev/nvme0n1Mostra esempio
Nvme-subsysf0 – NQN=nqn.1992-08.com.netapp:sn.341541339b9511e8a9b500a098c80f09:subsystem.rhel_141_nvme_ss_10_0 \ +- nvme0 fc traddr=nn-0x202c00a098c80f09:pn-0x202d00a098c80f09 host_traddr=nn-0x20000090fae0ec61:pn-0x10000090fae0ec61 live optimized +- nvme1 fc traddr=nn-0x207300a098dfdd91:pn-0x207600a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x207300a098dfdd91:pn-0x207500a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x207300a098dfdd91:pn-0x207700a098dfdd91 host traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live inaccessible
-
Verificare che il plug-in NetApp visualizzi i valori corretti per ciascun dispositivo dello spazio dei nomi ONTAP:
Colonnanvme netapp ontapdevices -o columnMostra esempio
Device Vserver Namespace Path NSID UUID Size ------- -------- ------------------------- ------ ----- ----- /dev/nvme0n1 vs_nvme_10 /vol/rhel_141_vol_10_0/rhel_141_ns_10_0 1 55baf453-f629-4a18-9364-b6aee3f50dad 53.69GB
JSONnvme netapp ontapdevices -o jsonMostra esempio
{ "ONTAPdevices" : [ { Device" : "/dev/nvme0n1", "Vserver" : "vs_nvme_10", "Namespace_Path" : "/vol/rhel_141_vol_10_0/rhel_141_ns_10_0", "NSID" : 1, "UUID" : "55baf453-f629-4a18-9364-b6aee3f50dad", "Size" : "53.69GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 13107200 } ]
Fase 6: Esaminare i problemi noti
Non ci sono problemi noti.