Configuración de host de NVMe-oF para Oracle Linux 8,9 con ONTAP
NVMe over Fabrics (NVMe-oF), incluido NVMe over Fibre Channel (NVMe/FC) y otros transportes, es compatible con Oracle Linux 8,9 con acceso asimétrico a espacio de nombres (ANA). En entornos de NVMe-oF, ANA es el equivalente a la multivía ALUA en entornos iSCSI y FC y se implementa con NVMe multivía en kernel.
Se ofrece la siguiente compatibilidad para la configuración del host de NVMe-oF para Oracle Linux 8,9 con ONTAP:
-
Compatibilidad para NVMe sobre TCP (NVMe/TCP) además de NVMe/FC. El plugin de NetApp del
nvme-cli
paquete nativo muestra los detalles de ONTAP para espacios de nombres NVMe/FC y NVMe/TCP. -
Tanto el tráfico NVMe como SCSI pueden ejecutarse en el mismo host coexistente. Por lo tanto, es posible configurar dm-multipath para dispositivos SCSI mpath para LUN SCSI, mientras que se puede utilizar NVMe multivía para configurar dispositivos NVMe-oF espacio de nombres en el host.
-
No existe compatibilidad alguna con NVMe-of. Por lo tanto, no hay compatibilidad de utilidades de host para NVMe-oF en un host Oracle Linux 8,9. Es posible usar el plugin de NetApp incluido en el paquete nativo
nvme-cli
para todos los transportes NVMe-oF.
Si quiere más información sobre las configuraciones compatibles, consulte "Herramienta de matriz de interoperabilidad de NetApp".
Funciones
Oracle Linux 8,9 tiene habilitada la multivía NVMe en el núcleo para espacios de nombres NVMe de forma predeterminada; por lo tanto, no es necesario realizar configuraciones explícitas.
Limitaciones conocidas
Actualmente no se admite el arranque SAN mediante el protocolo NVMe-oF.
Validación de versiones de software
Validar las versiones mínimas de software Oracle Linux 8,9 admitidas.
-
Instale Oracle Linux 8,9 GA en el servidor. Una vez finalizada la instalación, compruebe que está ejecutando el núcleo GA de Oracle Linux 8,9 especificado:
# uname -r
Ejemplo de salida:
5.15.0-200.131.27.el8uek.x86_64
-
Instale el
nvme-cli
paquete:# rpm -qa|grep nvme-cli
Ejemplo de salida:
nvme-cli-1.16-9.el8.x86_64
-
En el host Oracle Linux 8,9, compruebe
hostnqn
la cadena en/etc/nvme/hostnqn
:# cat /etc/nvme/hostnqn
Ejemplo de salida:
nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
-
Compruebe que el
hostnqn
la cadena coincide conhostnqn
Cadena para el subsistema correspondiente en la cabina de ONTAP:::> vserver nvme subsystem host show -vserver vs_nvme177
Ejemplo de salida:
Vserver Subsystem Host NQN ----------- --------------- ---------------------------------------------------------- vs_nvme177 nvme_ss_ol_1 nqn.2014-08.org.nvmexpress:uuid:edd38060-00f7-47aa-a9dc-4d8ae0cd969a
Si la hostnqn
las cadenas no coinciden, puede utilizar elvserver modify
comando para actualizar elhostnqn
En el subsistema de cabina ONTAP correspondiente de que coincida conhostnqn
cadena desde/etc/nvme/hostnqn
en el host. -
Reinicie el host.
Si tiene intención de ejecutar tráfico existente tanto NVMe como SCSI en el mismo host, NetApp recomienda utilizar la ruta multivía in-kernel de NVMe para ONTAP espacios de nombres y.
dm-multipath
Para las LUN de ONTAP respectivamente. Esto significa que los espacios de nombres de ONTAP se deben excluir dedm-multipath
para evitardm-multipath
de reclamar estos dispositivos de espacio de nombres. Puede agregar elenable_foreign
ajuste en la/etc/multipath.conf
archivo:# cat /etc/multipath.conf defaults { enable_foreign NONE }
Reinicie el daemon multipathd ejecutando un
systemctl restart multipathd
comando. Esto permite que el nuevo ajuste surta efecto.
Configure NVMe/FC
Configure NVMe/FC para adaptadores Broadcom/Emulex o adaptadores Marvell/Qlogic.
-
Compruebe que está utilizando el modelo de adaptador admitido:
# cat /sys/class/scsi_host/host*/modelname
Ejemplo de salida:
LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc
Ejemplo de salida:
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
Compruebe que está utilizando la Broadcom recomendada
lpfc
firmware y controlador de bandeja de entrada:# cat /sys/class/scsi_host/host*/fwrev 14.2.539.16, sli-4:2:c 14.2.539.16, sli-4:2:c
# cat /sys/module/lpfc/version 0:14.2.0.5
Para obtener la lista más actual de las versiones de firmware y controladores de adaptador compatibles, consulte "Herramienta de matriz de interoperabilidad de NetApp".
-
Compruebe que
lpfc_enable_fc4_type
se establece en3
:# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Compruebe que los puertos iniciador están en funcionamiento y que puede ver las LIF de destino:
# cat /sys/class/fc_host/host*/port_name 0x100000109b3c081f 0x100000109b3c0820
# cat /sys/class/fc_host/host*/port_state Online Online
Muestra el ejemplo
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001e15 Err 0000d906 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00001f50 Err 0000d9f8
El controlador de la bandeja de entrada nativa qla2xxx incluido en el kernel GA de Oracle Linux 8,9 tiene las correcciones más recientes. Estas correcciones son esenciales para la compatibilidad con ONTAP.
-
Compruebe que está ejecutando las versiones de firmware y controlador del adaptador compatibles:
# cat /sys/class/fc_host/host*/symbolic_name QLE2742 FW:v9.12.00 DVR:v10.02.08.100-k QLE2742 FW:v9.12.00 DVR:v10.02.08.100-k
-
Compruebe que
ql2xnvmeenable
está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:# cat /sys/module/qla2xxx/parameters/ql2xnvmeenable 1
Habilitar tamaño de I/o de 1 MB (opcional)
ONTAP informa de un MDT (tamaño de transferencia de MAX Data) de 8 en los datos Identify Controller. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1MB TB. Para emitir solicitudes de I/O de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar lpfc
el valor lpfc_sg_seg_cnt
del parámetro a 256 con respecto al valor predeterminado de 64.
-
Defina el
lpfc_sg_seg_cnt
parámetro en 256:# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_sg_seg_cnt=256
-
Ejecute
dracut -f
un comando y reinicie el host: -
Compruebe que
lpfc_sg_seg_cnt
es 256:# cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt 256
Esto no es aplicable a los hosts Qlogic NVMe/FC. |
Configure NVMe/TCP
NVMe/TCP no tiene la funcionalidad de conexión automática. Por lo tanto, si una ruta deja de funcionar y no se restablece en el tiempo de espera predeterminado de 10 minutos, no se puede volver a conectar automáticamente NVMe/TCP. Para evitar esta situación, debe establecer el período de reintento para los eventos de conmutación por error del almacenamiento mediante el siguiente procedimiento.
-
Compruebe que el puerto del iniciador pueda recuperar los datos de la página de registro de detección en las LIF NVMe/TCP admitidas:
nvme discover -t tcp -w host-traddr -a traddr
Muestra el resultado de ejemplo
# nvme discover -t tcp -w 192.168.6.13 -a 192.168.6.15 Discovery Log Number of Records 6, Generation counter 8 =====Discovery Log Entry 0====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 0 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.1c6ac66338e711eda41dd039ea3ad566:discovery traddr: 192.168.6.17 sectype: none =====Discovery Log Entry 1====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 1 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.1c6ac66338e711eda41dd039ea3ad566:discovery traddr: 192.168.5.17 sectype: none =====Discovery Log Entry 2====== trtype: tcp adrfam: ipv4 subtype: unrecognized treq: not specified portid: 2 trsvcid: 8009 subnqn: nqn.1992-08.com.netapp:sn.1c6ac66338e711eda41dd039ea3ad566:discovery traddr: 192.168.6.15 sectype: none =====Discovery Log Entry 3====== trtype: tcp adrfam: ipv4 subtype: nvme subsystem treq: not specified portid: 0 trsvcid: 4420 subnqn: nqn.1992-08.com.netapp:sn.1c6ac66338e711eda41dd039ea3ad566:subsystem.host_95 traddr: 192.168.6.17 sectype: none ..........
-
Compruebe que las otras combinaciones de LIF iniciador-objetivo NVMe/TCP puedan recuperar correctamente los datos de la página del registro de detección:
nvme discover -t tcp -w host-traddr -a traddr
Ejemplo de salida:
# nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.10 # nvme discover -t tcp -w 192.168.6.1 -a 192.168.6.11 # nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.10 # nvme discover -t tcp -w 192.168.5.1 -a 192.168.5.11
-
Ejecute el
nvme connect-all
Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:nvme connect-all -t tcp -w host-traddr -a traddr -l <ctrl_loss_timeout_in_seconds>
Ejemplo de salida:
# nvme connect-all -t tcp -w 192.168.5.1 -a 192.168.5.10 -l -1 # nvme connect-all -t tcp -w 192.168.5.1 -a 192.168.5.11 -l -1 # nvme connect-all -t tcp -w 192.168.6.1 -a 192.168.6.10 -l -1 # nvme connect-all -t tcp -w 192.168.6.1 -a 192.168.6.11 -l -1
NetApp recomienda configurar el ctrl-loss-tmo
opción a.-1
De este modo, el iniciador NVMe/TCP intenta volver a conectarse de forma indefinida en caso de pérdida de ruta.
Valide NVMe-of
Puede usar el siguiente procedimiento para validar NVMe-oF.
-
Compruebe que la multivía de NVMe en kernel está habilitada:
# cat /sys/module/nvme_core/parameters/multipath Y
-
Compruebe que la configuración de NVMe-oF adecuada (como
model
establezca enNetApp ONTAP Controller
y equilibrio de cargaiopolicy
establezca enround-robin
) Para los respectivos espacios de nombres ONTAP se refleja correctamente en el host:# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:
# nvme list
Ejemplo de salida:
Node SN Model --------------------------------------------------------- /dev/nvme0n1 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n2 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller /dev/nvme0n3 814vWBNRwf9HAAAAAAAB NetApp ONTAP Controller Namespace Usage Format FW Rev ----------------------------------------------------------- 1 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF 2 85.90 GB / 85.90 GB 24 KiB + 0 B FFFFFFFF 3 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
-
Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:
NVMe/FC# nvme list-subsys /dev/nvme0n1
Ejemplo de salida:
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1 \ +- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized +- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live non-optimized +- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
NVMe/TCPnvme list-subsys /dev/nvme1n22
Ejemplo de salida
nvme-subsys0 - NQN=nqn.1992- 08.com.netapp: sn.44986b09cadc11eeb309d039eab31e9d:subsystem.ol_nvme \ +- nvme1 tcp traddr=192.168.5.11 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live non-optimized +- nvme2 tcp traddr=192.168.5.10 trsvcid=4420 host_traddr=192.168.5.1 src_addr=192.168.5.1 live optimized +- nvme3 tcp traddr=192.168.6.11 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live non-optimized +- nvme4 tcp traddr=192.168.6.10 trsvcid=4420 host_traddr=192.168.6.1 src_addr=192.168.6.1 live optimized
-
Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:
Columna# nvme netapp ontapdevices -o column
Ejemplo de salida:
Device Vserver Namespace Path ------------ ---------- ----------------- /dev/nvme0n1 vs_nvme177 /vol/vol1/ns1 /dev/nvme0n2 vs_nvme177 /vol/vol2/ns2 /dev/nvme0n3 vs_nvme177 /vol/vol3/ns3 NSID UUID Size -------- -------------------------------------- ----------- 1 72b887b1-5fb6-47b8-be0b-33326e2542e2 85.90GB 2 04bf9f6e-9031-40ea-99c7-a1a61b2d7d08 85.90GB 3 264823b1-8e03-4155-80dd-e904237014a4 85.90GB
JSON# nvme netapp ontapdevices -o json
Ejemplo de salida
{ "ONTAPdevices" : [ { "Device" : "/dev/nvme0n1", "Vserver" : "vs_nvme177", "Namespace_Path" : "/vol/vol1/ns1", "NSID" : 1, "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 5242880 }, { "Device" : "/dev/nvme0n2", "Vserver" : "vs_nvme177", "Namespace_Path" : "/vol/vol2/ns2", "NSID" : 2, "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, { "Device" : "/dev/nvme0n3", "Vserver" : "vs_nvme177", "Namespace_Path" : "/vol/vol3/ns3", "NSID" : 3, "UUID" : "264823b1-8e03-4155-80dd-e904237014a4", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, ] }
Problemas conocidos
La configuración de host de NVMe-oF para Oracle Linux 8,9 con ONTAP tiene los siguientes problemas conocidos:
ID de error de NetApp |
Título |
Descripción |
Los hosts NVMe-oF de Oracle Linux 8,9 crean PDCs duplicados |
En los hosts NVMe-oF de Oracle Linux 8,9, las controladoras de detección persistente (PDCs) se crean pasando |