O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configuração de host NVMe/FC para Oracle Linux 8,2 com ONTAP

12/18/2024 Colaboradores

PDFs

Você pode configurar o NVMe em Fibre Channel (NVMe/FC) em hosts iniciadores que executam o Oracle Linux 8,2 e o ONTAP como destino.

Capacidade de suporte

O NVMe/FC é compatível com o ONTAP 9.6 ou posterior para o Oracle Linux 8,2. O host Oracle Linux 8,2 pode executar tráfego NVMe/FC e FCP nas mesmas portas do adaptador iniciador de Fibre Channel (FC). Consulte o "Hardware Universe" para obter uma lista de controladores e adaptadores FC compatíveis. Para obter a lista mais atual de configurações suportadas, consulte "Matriz de interoperabilidade do NetApp".

Pode utilizar as definições de configuração fornecidas neste documento para configurar os clientes em nuvem ligados a "Cloud Volumes ONTAP" e "Amazon FSX para ONTAP".

Limitações conhecidas

A inicialização DE SAN usando o protocolo NVMe-of não é atualmente suportada.

Habilite o NVMe/FC

Instale o Oracle Linux 8,2 no servidor.
Depois que a instalação estiver concluída, verifique se você está executando o kernel Unbreakable Enterprise suportado. Consulte "Matriz de interoperabilidade do NetApp".
```
# uname -r
5.4.17-2011.1.2.el8uek.x86_64
```
Atualize o pacote nvme-cli. O pacote nativo do nvme-cli contém os scripts de conexão automática NVMe/FC, a regra do ONTAP udev que permite o balanceamento de carga round-robin para vários caminhos NVMe e o plug-in do NetApp para namespaces do ONTAP.
```
# rpm -qa|grep nvme-cli
nvme-cli-1.9-5.el8.x86_64
```
No host Oracle Linux 8,2, verifique a string NQN do host em /etc/nvme/hostnqn e verifique se ela corresponde à string NQN do host para o subsistema correspondente no array ONTAP.
```
# cat /etc/nvme/hostnqn
nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
```
```
::> vserver nvme subsystem host show -vserver vs_ol_nvme
Vserver  Subsystem Host NQN
----------- --------------- ----------------------------------------------------------
vs_ol_nvme
              nvme_ss_ol_1
                                 nqn.2014-08.org.nvmexpress:uuid:9ed5b327-b9fc-4cf5-97b3-1b5d986345d1
```
Se as cadeias de carateres -hostnqn não corresponderem, você deve usar o comando vserver modify para atualizar a cadeia de carateres NQN do host em seu subsistema de matriz ONTAP correspondente para corresponder à cadeia de carateres NQN do host etc/nvme/hostnqn.

Configure o adaptador Broadcom FC para NVMe/FC

Verifique se você está usando o adaptador suportado. Para obter a lista mais atual de adaptadores suportados, consulte "Matriz de interoperabilidade do NetApp".

# cat /sys/class/scsi_host/host*/modelname
LPe32002-M2
LPe32002-M2

# cat /sys/class/scsi_host/host*/modeldesc
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LightPulse LPe32002-M2 2-Port 32Gb Fibre Channel Adapter

O suporte a NVMe no lpfc já está habilitado por padrão:
```
# cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
3
```
Os drivers lpfc mais recentes (caixa de entrada e caixa de saída) têm o padrão lpfc_enable_FC4_TYPE definido como 3. Portanto, você não precisa definir isso explicitamente no /etc/modprobe.d/lpfc.conf.

Verifique se as portas do iniciador NVMe/FC estão habilitadas e capazes de ver as portas de destino, e todas estão ativas e em execução.

No exemplo abaixo, apenas uma única porta do iniciador foi ativada e conetada com dois LIFs de destino, como visto na saída abaixo:

# cat /sys/class/scsi_host/host*/nvme_info
NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000109b1c1204 WWNN x200000109b1c1204 DID x011d00 ONLINE
NVME RPORT WWPN x203800a098dfdd91 WWNN x203700a098dfdd91 DID x010c07 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203900a098dfdd91 WWNN x203700a098dfdd91 DID x011507 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000f78 Cmpl 0000000f78 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002fe29bba Issue 000000002fe29bc4 OutIO 000000000000000a
abort 00001bc7 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001e15 Err 0000d906

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000109b1c1205 WWNN x200000109b1c1205 DID x011900 ONLINE
NVME RPORT WWPN x203d00a098dfdd91 WWNN x203700a098dfdd91 DID x010007 TARGET DISCSRVC ONLINE
NVME RPORT WWPN x203a00a098dfdd91 WWNN x203700a098dfdd91 DID x012a07 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000fa8 Cmpl 0000000fa8 Abort 00000000
LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000002e14f170 Issue 000000002e14f17a OutIO 000000000000000a
abort 000016bb noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00001f50 Err 0000d9f8

Validar o NVMe/FC

Verifique as configurações de NVMe/FC a seguir.
```
# cat /sys/module/nvme_core/parameters/multipath
Y
```
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/model
NetApp ONTAP Controller
NetApp ONTAP Controller
```
```
# cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
round-robin
round-robin
```
No exemplo acima, dois namespaces são mapeados para o host Oracle Linux 8,2 ANA. Elas são visíveis por meio de quatro LIFs de destino: Duas LIFs de nó local e duas outras LIFs de nó parceiro/remoto. Esta configuração mostra como dois caminhos ANA otimizados e dois caminhos ANA inacessíveis para cada namespace no host.

Verifique se os namespaces são criados.

# nvme list
Node                  SN                                            Model                                                Namespace Usage                            Format         FW Rev
--------------------   ---------------------------------------  ----------------------------------------------- ----------------- ------------------------------- ---------------- ---------------
/dev/nvme0n1     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                1                  85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
/dev/nvme0n2     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                2                  85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF
/dev/nvme0n3     814vWBNRwf9HAAAAAAAB  NetApp ONTAP Controller                3                  85.90 GB / 85.90 GB     4 KiB + 0 B   FFFFFFFF

Verifique o status dos caminhos ANA.

# nvme list-subsys /dev/nvme0n1
nvme-subsys0 - NQN=nqn.1992-08.com.netapp:sn.5f5f2c4aa73b11e9967e00a098df41bd:subsystem.nvme_ss_ol_1
\
+- nvme0 fc traddr=nn-0x203700a098dfdd91:pn-0x203800a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme1 fc traddr=nn-0x203700a098dfdd91:pn-0x203900a098dfdd91 host_traddr=nn-0x200000109b1c1204:pn-0x100000109b1c1204 live inaccessible
+- nvme2 fc traddr=nn-0x203700a098dfdd91:pn-0x203a00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized
+- nvme3 fc traddr=nn-0x203700a098dfdd91:pn-0x203d00a098dfdd91 host_traddr=nn-0x200000109b1c1205:pn-0x100000109b1c1205 live optimized

Verifique o plug-in NetApp para dispositivos ONTAP.

# nvme netapp ontapdevices -o column
Device                 Vserver                         Namespace Path                                                          NSID    UUID                                                             Size
----------------------- ------------------------------ ----------------------------------------------------------------------- --------- ---------------------------------------------------------- ---------
/dev/nvme0n1      vs_ol_nvme            /vol/ol_nvme_vol_1_1_0/ol_nvme_ns              1          72b887b1-5fb6-47b8-be0b-33326e2542e2   85.90GB
/dev/nvme0n2      vs_ol_nvme            /vol/ol_nvme_vol_1_0_0/ol_nvme_ns              2          04bf9f6e-9031-40ea-99c7-a1a61b2d7d08    85.90GB
/dev/nvme0n3      vs_ol_nvme            /vol/ol_nvme_vol_1_1_1/ol_nvme_ns              3          264823b1-8e03-4155-80dd-e904237014a4  85.90GB

# nvme netapp ontapdevices -o json
{
"ONTAPdevices" : [
    {
        "Device" : "/dev/nvme0n1",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_1_0/ol_nvme_ns",
        "NSID" : 1,
        "UUID" : "72b887b1-5fb6-47b8-be0b-33326e2542e2",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
    },
    {
        "Device" : "/dev/nvme0n2",
        "Vserver" : "vs_ol_nvme",
        "Namespace_Path" : "/vol/ol_nvme_vol_1_0_0/ol_nvme_ns",
        "NSID" : 2,
        "UUID" : "04bf9f6e-9031-40ea-99c7-a1a61b2d7d08",
        "Size" : "85.90GB",
        "LBA_Data_Size" : 4096,
        "Namespace_Size" : 20971520
      },
      {
         "Device" : "/dev/nvme0n3",
         "Vserver" : "vs_ol_nvme",
         "Namespace_Path" : "/vol/ol_nvme_vol_1_1_1/ol_nvme_ns",
         "NSID" : 3,
         "UUID" : "264823b1-8e03-4155-80dd-e904237014a4",
         "Size" : "85.90GB",
         "LBA_Data_Size" : 4096,
         "Namespace_Size" : 20971520
       },
  ]
}

Habilite o tamanho de e/S de 1MB U para NVMe/FC Broadcom

O ONTAP relata um MDTS (MAX Data Transfer Size) de 8 nos dados do controlador de identificação. Isso significa que o tamanho máximo da solicitação de e/S pode ser de até 1MBMB. Para emitir solicitações de e/S de tamanho 1 MB para um host NVMe/FC Broadcom, você deve aumentar lpfc o valor lpfc_sg_seg_cnt do parâmetro para 256 do valor padrão 64.

Essas etapas não se aplicam a hosts Qlogic NVMe/FC.

Passos

Defina lpfc_sg_seg_cnt o parâmetro como 256:

cat /etc/modprobe.d/lpfc.conf

options lpfc lpfc_sg_seg_cnt=256

Execute o dracut -f comando e reinicie o host.
Verifique se o valor esperado de lpfc_sg_seg_cnt é 256:
```
cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt
```