Configuração de host NVMe/FC para SUSE Linux Enterprise Server 15 SP1 com ONTAP
Você pode configurar o NVMe em Fibre Channel (NVMe/FC) em hosts que executam o SUSE Linux Enterprise Server 15 SP1 e o ONTAP como destino.
O NVMe/FC é compatível com o ONTAP 9.6 ou posterior para as seguintes versões do
-
SUSE Linux Enterprise Server 15 SP1
O host SUSE Linux Enterprise Server 15 SP1 pode executar o tráfego NVMe/FC e FCP através das mesmas portas do adaptador iniciador de canal de fibra. Consulte o "Hardware Universe" para obter uma lista de controladores e adaptadores FC compatíveis.
Para obter a lista mais atual de configurações e versões suportadas, consulte "Matriz de interoperabilidade do NetApp".
-
Os scripts nativos de conexão automática NVMe/FC estão incluídos no pacote nvme-cli. Você pode usar o driver lpfc nativo da caixa de entrada no SUSE Linux Enterprise Server 15 SP1.
Limitações conhecidas
A inicialização DE SAN usando o protocolo NVMe-of não é atualmente suportada.
Habilite o NVMe/FC no SUSE Linux Enterprise Server 15 SP1
-
Atualize para o kernel recomendado do SUSE Linux Enterprise Server 15 SP2 MU
-
Atualize para a versão recomendada do nvme-cli MU.
Esse pacote nvme-cli contém os scripts nativos de conexão automática NVMe/FC, para que você não precise instalar os scripts externos de conexão automática NVMe/FC fornecidos pela Broadcom no host SUSE Linux Enterprise Server 15 SP1. Esse pacote também inclui a regra do ONTAP udev que permite o balanceamento de carga round-robin para multipath NVMe e o plug-in NetApp para dispositivos ONTAP.
# rpm -qa | grep nvme-cli nvme-cli-1.8.1-6.9.1.x86_64
-
No host do SUSE Linux Enterprise Server 15 SP1, verifique a string NQN do host em
/etc/nvme/hostnqn
e verifique se ela corresponde à string NQN do host para o subsistema correspondente no array ONTAP. Por exemplo:# cat /etc/nvme/hostnqn nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
*> vserver nvme subsystem host show -vserver vs_nvme_10 Vserver Subsystem Host NQN ------- --------- -------------------------------------- ----------- sles_117_nvme_ss_10_0 nqn.2014-08.org.nvmexpress:uuid:75953f3b-77fe-4e03-bf3c-09d5a156fbcd
-
Reinicie o host.
Configure o adaptador Broadcom FC para NVMe/FC
-
Verifique se você está usando o adaptador suportado. Para obter a lista mais atual de adaptadores suportados, consulte "Matriz de interoperabilidade do NetApp".
# cat /sys/class/scsi_host/host*/modelname LPe32002-M2 LPe32002-M2
# cat /sys/class/scsi_host/host*/modeldesc Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
-
Verifique se você está usando o firmware Broadcom lpfc recomendado e as versões nativas do driver da caixa de entrada.
# cat /sys/class/scsi_host/host*/fwrev 12.4.243.17, sil-4.2.c 12.4.243.17, sil-4.2.c
# cat /sys/module/lpfc/version 0:12.6.0.0
-
Verifique se lpfc_enable_FC4_type está definido como 3.
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type 3
-
Verifique se as portas do iniciador estão ativas e em execução.
# cat /sys/class/fc_host/host*/port_name 0x10000090fae0ec61 0x10000090fae0ec62
# cat /sys/class/fc_host/host*/port_state Online Online
-
Verifique se as portas do iniciador NVMe/FC estão habilitadas, executadas e capazes de ver os LIFs de destino.
# cat /sys/class/scsi_host/host*/nvme_info NVME Initiator Enabled XRI Dist lpfc0 Total 6144 NVME 2947 SCSI 2977 ELS 250 NVME LPORT lpfc0 WWPN x10000090fae0ec61 WWNN x20000090fae0ec61 DID x012000 ONLINE NVME RPORT WWPN x202d00a098c80f09 WWNN x202c00a098c80f09 DID x010201 TARGET DISCSRVC ONLINE NVME RPORT WWPN x203100a098c80f09 WWNN x202c00a098c80f09 DID x010601 TARGET DISCSRVC ONLINE NVME Statistics …
Validar o NVMe/FC
-
Verifique as configurações de NVMe/FC a seguir.
# cat /sys/module/nvme_core/parameters/multipath Y
# cat /sys/class/nvme-subsystem/nvme-subsys*/model NetApp ONTAP Controller NetApp ONTAP Controller
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy round-robin round-robin
-
Verifique se os namespaces são criados.
# nvme list Node SN Model Namespace Usage Format FW Rev ---------------- -------------------- ----------------------- /dev/nvme0n1 80BADBKnB/JvAAAAAAAC NetApp ONTAP Controller 1 53.69 GB / 53.69 GB 4 KiB + 0 B FFFFFFFF
-
Verifique o status dos caminhos ANA.
# nvme list-subsys/dev/nvme0n1 Nvme-subsysf0 – NQN=nqn.1992-08.com.netapp:sn.341541339b9511e8a9b500a098c80f09:subsystem.sles_117_nvme_ss_10_0 \ +- nvme0 fc traddr=nn-0x202c00a098c80f09:pn-0x202d00a098c80f09 host_traddr=nn-0x20000090fae0ec61:pn-0x10000090fae0ec61 live optimized +- nvme1 fc traddr=nn-0x207300a098dfdd91:pn-0x207600a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible +- nvme2 fc traddr=nn-0x207300a098dfdd91:pn-0x207500a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized +- nvme3 fc traddr=nn-0x207300a098dfdd91:pn-0x207700a098dfdd91 host traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live inaccessible
-
Verifique o plug-in NetApp para dispositivos ONTAP.
# nvme netapp ontapdevices -o column Device Vserver Namespace Path NSID UUID Size ------- -------- ------------------------- ------ ----- ----- /dev/nvme0n1 vs_nvme_10 /vol/sles_117_vol_10_0/sles_117_ns_10_0 1 55baf453-f629-4a18-9364-b6aee3f50dad 53.69GB # nvme netapp ontapdevices -o json { "ONTAPdevices" : [ { Device" : "/dev/nvme0n1", "Vserver" : "vs_nvme_10", "Namespace_Path" : "/vol/sles_117_vol_10_0/sles_117_ns_10_0", "NSID" : 1, "UUID" : "55baf453-f629-4a18-9364-b6aee3f50dad", "Size" : "53.69GB", "LBA_Data_Size" : 4096, "Namespace_Size" : 13107200 } ]
Problemas conhecidos
Não há problemas conhecidos.
Habilite o tamanho de e/S de 1MB U para NVMe/FC Broadcom
O ONTAP relata um MDTS (MAX Data Transfer Size) de 8 nos dados do controlador de identificação. Isso significa que o tamanho máximo da solicitação de e/S pode ser de até 1MBMB. Para emitir solicitações de e/S de tamanho 1 MB para um host NVMe/FC Broadcom, você deve aumentar lpfc
o valor lpfc_sg_seg_cnt
do parâmetro para 256 do valor padrão 64.
Essas etapas não se aplicam a hosts Qlogic NVMe/FC. |
-
Defina
lpfc_sg_seg_cnt
o parâmetro como 256:cat /etc/modprobe.d/lpfc.conf
options lpfc lpfc_sg_seg_cnt=256
-
Execute o
dracut -f
comando e reinicie o host. -
Verifique se o valor esperado de
lpfc_sg_seg_cnt
é 256:cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
LPFC Verbose Logging
Defina o driver lpfc para NVMe/FC.
-
Defina a
lpfc_log_verbose
configuração do driver para qualquer um dos seguintes valores para Registrar eventos NVMe/FC.#define LOG_NVME 0x00100000 /* NVME general events. */ #define LOG_NVME_DISC 0x00200000 /* NVME Discovery/Connect events. */ #define LOG_NVME_ABTS 0x00400000 /* NVME ABTS events. */ #define LOG_NVME_IOERR 0x00800000 /* NVME IO Error events. */
-
Depois de definir os valores, execute o
dracut-f
comando e reinicie o host. -
Verifique as definições.
# cat /etc/modprobe.d/lpfc.conf options lpfc lpfc_log_verbose=0xf00083 # cat /sys/module/lpfc/parameters/lpfc_log_verbose 15728771