Configuración de host de NVMe/FC para SUSE Linux Enterprise Server 15 SP2 con ONTAP
Con SUSE Linux Enterprise Server 15 SP2, se admite NVMe/FC en ONTAP 9.6 y versiones posteriores. El host SUSE Linux Enterprise Server 15 SP2 puede ejecutar tráfico NVMe/FC y FCP a través de los mismos puertos de adaptador de iniciador de Fibre Channel. Consulte la "Hardware Universe" para obtener una lista de los adaptadores y controladoras de FC compatibles.
Para obtener la lista más actual de las configuraciones y versiones compatibles, consulte "Matriz de interoperabilidad de NetApp".
Puede utilizar los ajustes de configuración que se proporcionan en este documento para configurar los clientes de cloud conectados a. "Cloud Volumes ONTAP" y.. "Amazon FSX para ONTAP". |
Limitaciones conocidas
Actualmente no se admite el arranque SAN mediante el protocolo NVMe-oF.
Active NVMe/FC en SUSE Linux Enterprise Server 15 SP2
-
Actualice a la versión recomendada del núcleo MU de SUSE Linux Enterprise Server 15 SP2.
-
Actualice el paquete nvme-cli nativo.
Este paquete nvme-cli nativo contiene los scripts de conexión automática NVMe/FC, la regla udev de ONTAP que permite el equilibrio de carga round-robin para NVMe multivía, así como el plugin de NetApp para espacios de nombres ONTAP.
# rpm -qa|grep nvme-cli nvme-cli-1.10-2.38.x86_64
-
En el host SUSE Linux Enterprise Server 15 SP2, compruebe la cadena NQN del host en
/etc/nvme/hostnqn
y verifique que coincida con la cadena NQN del host para el subsistema correspondiente en la matriz de ONTAP. Por ejemplo:# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:3ca559e1-5588-4fc4-b7d6-5ccfb0b9f054
::> vserver nvme subsystem host show -vserver vs_fcnvme_145 Vserver Subsystem Host NQN ------- --------- ---------------------------------------------------------- vs_fcnvme_145 nvme_145_1 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_2 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_3 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_4 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f nvme_145_5 nqn.2014-08.org.nvmexpress:uuid:c7b07b16-a22e-41a6-a1fd-cf8262c8713f 5 entries were displayed.
-
Reinicie el host.
Configure el adaptador de FC de Broadcom para NVMe/FC
-
Compruebe que está utilizando el adaptador compatible. Para obtener la lista más actual de adaptadores compatibles, consulte "Matriz de interoperabilidad de NetApp".
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
Compruebe que está utilizando el firmware lpfc de Broadcom recomendado y las versiones nativas del controlador de bandeja de entrada.
# cat /sys/class/scsi_host/host*/fwrev 12.6.240.40, sli-4:2:c 12.6.240.40, sli-4:2:c
# cat /sys/module/lpfc/version 0:12.8.0.2
-
Compruebe que lpfc_enable_fc4_TYPE está establecido en 3.
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Compruebe que los puertos del iniciador están en funcionamiento.
# cat /sys/class/fc_host/host*/port_name 0x100000109b579d5e 0x100000109b579d5f
# cat /sys/class/fc_host/host*/port_state Online Online
-
Compruebe que los puertos iniciadores NVMe/FC están habilitados y se pueden ejecutar y ver las LIF de destino.
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc0 WWPN x100000109b579d5e WWNN x200000109b579d5e DID x011c00 ONLINE NVME RPORT WWPN x208400a098dfdd91 WWNN x208100a098dfdd91 DID x011503 TARGET DISCSRVC ONLINE NVME RPORT WWPN x208500a098dfdd91 WWNN x208100a098dfdd91 DID x010003 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000e49 Cmpl 0000000e49 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000003ceb594f Issue 000000003ce65dbe OutIO fffffffffffb046f abort 00000bd2 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 000014f4 Err 00012abd NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x100000109b579d5f WWNN x200000109b579d5f DID x011b00 ONLINE NVME RPORT WWPN x208300a098dfdd91 WWNN x208100a098dfdd91 DID x010c03 TARGET DISCSRVC ONLINE NVME RPORT WWPN x208200a098dfdd91 WWNN x208100a098dfdd91 DID x012a03 TARGET DISCSRVC ONLINE NVME Statistics LS: Xmt 0000000e50 Cmpl 0000000e50 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 000000003c9859ca Issue 000000003c93515e OutIO fffffffffffaf794 abort 00000b73 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 0000159d Err 000135c3
Valide NVMe/FC
-
Verifique la siguiente configuración de NVMe/FC.
# cat /sys/module/nvme_core/parameters/multipath Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin
-
Compruebe que se han creado espacios de nombres.
# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- -------- /dev/nvme1n1 814vWBNRwfBGAAAAAAAB NetApp ONTAP Controller 1 85.90 GB / 85.90 GB 4 KiB + 0 B FFFFFFFF
-
Compruebe el estado de las rutas de ANA.
# nvme list-subsys /dev/nvme1n1 nvme-subsys1 - NQN=nqn.1992-08.com.netapp:sn.04ba0732530911ea8e8300a098dfdd91:subsystem.nvme_145_1 \ +- nvme2 fc traddr=nn-0x208100a098dfdd91:pn-0x208200a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live inaccessible +- nvme3 fc traddr=nn-0x208100a098dfdd91:pn-0x208500a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live inaccessible +- nvme4 fc traddr=nn-0x208100a098dfdd91:pn-0x208400a098dfdd91 host_traddr=nn-0x200000109b579d5e:pn-0x100000109b579d5e live optimized +- nvme6 fc traddr=nn-0x208100a098dfdd91:pn-0x208300a098dfdd91 host_traddr=nn-0x200000109b579d5f:pn-0x100000109b579d5f live optimized
-
Compruebe el complemento de NetApp para dispositivos ONTAP.
# nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID UUID Size ---------------- ------------------------- -------------------------------------------------- ---- -------------------------------------- --------- /dev/nvme1n1 vserver_fcnvme_145 /vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns 1 23766b68-e261-444e-b378-2e84dbe0e5e1 85.90GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { "Device" : "/dev/nvme1n1", "Vserver" : "vserver_fcnvme_145", "Namespace_Path" : "/vol/fcnvme_145_vol_1_0_0/fcnvme_145_ns", "NSID" : 1, "UUID" : "23766b68-e261-444e-b378-2e84dbe0e5e1", "Size" : "85.90GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 20971520 }, ] }
Problemas conocidos
No hay problemas conocidos.
Habilite un tamaño de I/o de 1 MB para Broadcom NVMe/FC
ONTAP informa de un MDT (tamaño de transferencia de MAX Data) de 8 en los datos Identify Controller. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1MB TB. Para emitir solicitudes de I/O de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar lpfc
el valor lpfc_sg_seg_cnt
del parámetro a 256 con respecto al valor predeterminado de 64.
Estos pasos no se aplican a los hosts Qlogic NVMe/FC. |
-
Defina el
lpfc_sg_seg_cnt
parámetro en 256:cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
Ejecute
dracut -f
el comando y reinicie el host. -
Compruebe que el valor esperado de
lpfc_sg_seg_cnt
es 256:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
LPFC Verbose Logging
Establezca el controlador lpfc para NVMe/FC.
-
Ajuste la
lpfc_log_verbose
Configuración del controlador en cualquiera de los siguientes valores para registrar los eventos de NVMe/FC.#define LOG_NVME 0x00100000 /* NVME general events. */ #define LOG_NVME_DISC 0x00200000 /* NVME Discovery/Connect events. */ #define LOG_NVME_ABTS 0x00400000 /* NVME ABTS events. */ #define LOG_NVME_IOERR 0x00800000 /* NVME IO Error events. */
-
Después de ajustar los valores, ejecute la
dracut-f
command y reinicie el host. -
Compruebe la configuración.
# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_log_verbose=0xf00083 # cat /sys/module/lpfc/parameters/lpfc_log_verbose 15728771