Skip to main content
ONTAP SAN Host Utilities
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configure o RHEL 10.x para NVMe-oF com armazenamento ONTAP.

Colaboradores netapp-sarajane netapp-pcarriga netapp-camdenc
PDFs

Os hosts Red Hat Enterprise Linux (RHEL) oferecem suporte aos protocolos NVMe sobre Fibre Channel (NVMe/FC) e NVMe sobre TCP (NVMe/TCP) com acesso assimétrico ao namespace (ANA). O ANA fornece funcionalidade de múltiplos caminhos equivalente ao acesso de unidade lógica assimétrica (ALUA) em ambientes iSCSI e FCP.

Aprenda como configurar hosts NVMe over Fabrics (NVMe-oF) para RHEL 10.x. Para obter mais informações sobre suporte e funcionalidades, consulte "Suporte e recursos do RHEL ONTAP".

O NVMe-oF com RHEL 10.x apresenta as seguintes limitações conhecidas:

  • O nvme disconnect-all O comando desconecta os sistemas de arquivos raiz e de dados, o que pode levar à instabilidade do sistema. Não execute este comando em sistemas que inicializam a partir de SAN através de namespaces NVMe-TCP ou NVMe-FC.

Passo 1: Opcionalmente, ative a inicialização de SAN

Você pode configurar seu host para usar a inicialização SAN para simplificar a implantação e melhorar a escalabilidade. Use o"Ferramenta de Matriz de interoperabilidade" para verificar se o seu sistema operacional Linux, adaptador de barramento de host (HBA), firmware HBA, BIOS de inicialização HBA e versão ONTAP oferecem suporte à inicialização SAN.

Passos

  1. "Crie um namespace NVMe e mapeie-o para o host" .

  2. Habilite a inicialização SAN no BIOS do servidor para as portas para as quais o namespace de inicialização SAN está mapeado.

    Para obter informações sobre como ativar o BIOS HBA, consulte a documentação específica do fornecedor.

  3. Reinicie o host e verifique se o sistema operacional está ativo e funcionando.

Etapa 2: Instale o software RHEL e NVMe e verifique sua configuração.

Para configurar seu host para NVMe-oF, você precisa instalar os pacotes de software do host e do NVMe, habilitar o multipathing e verificar a configuração NQN do seu host.

Passos

  1. Instale o RHEL 10.x no servidor. Após a conclusão da instalação, verifique se você está executando o kernel RHEL 10.x necessário:

    uname -r

    Exemplo de versão do kernel RHEL:

    6.12.0-211.7.3.el10_2.x86_64

  2. Instale o nvme-cli pacote:

    rpm -qa|grep nvme-cli

    O exemplo a seguir mostra um nvme-cli versão do pacote:

    nvme-cli-2.16-2.el10.x86_64

  3. Instale o libnvme pacote:

    rpm -qa|grep libnvme

    O exemplo a seguir mostra um libnvme versão do pacote:

    libnvme-1.16.1-3.el10_2.x86_64

  4. No host, verifique a string hostnqn em /etc/nvme/hostnqn :

    cat /etc/nvme/hostnqn

    O exemplo a seguir mostra um hostnqn versão:

    nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633

  5. No sistema ONTAP , verifique se o hostnqn A string corresponde à hostnqn string para o subsistema correspondente no sistema de armazenamento ONTAP :

    ::> vserver nvme subsystem host show -vserver vs_coexistence_QLE2872
    Mostrar exemplo 
    Vserver Subsystem Priority  Host NQN
------- --------- --------  ------------------------------------------------
vs_coexistence_QLE2872
               subsystem_1
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
               subsystem_10
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
               subsystem_11
                         regular   nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
Observação Se o hostnqn as strings não correspondem, use o vserver modify comando para atualizar o hostnqn string no seu subsistema de sistema de armazenamento ONTAP correspondente para corresponder ao hostnqn corda de /etc/nvme/hostnqn no host.

Etapa 3: Configurar NVMe/FC e NVMe/TCP

Configure NVMe/FC com adaptadores Broadcom/Emulex ou Marvell/QLogic, ou configure NVMe/TCP usando operações manuais de descoberta e conexão.

NVMe/FC - Broadcom/Emulex

Configurar o NVMe/FC para um adaptador Broadcom/Emulex.

Passos

  1. Verifique se você está usando o modelo de adaptador suportado:

    1. Exibir os nomes dos modelos:

      cat /sys/class/scsi_host/host*/modelname

      Você deve ver a seguinte saída:

      SN1700E2P
SN1700E2P

    2. Exibir as descrições do modelo:

      cat /sys/class/scsi_host/host*/modeldesc

      Você deverá ver uma saída semelhante ao exemplo a seguir:

    HPE SN1700E 64Gb 2p FC HBA
HPE SN1700E 64Gb 2p FC HBA

  2. Verifique se você está usando o firmware Broadcom recomendado e o driver da lpfc caixa de entrada:

    1. Exibir a versão do firmware:

      cat /sys/class/scsi_host/host*/fwrev

      O comando retorna as versões do firmware:

      14.4.731.5, sli-4:6:d
14.4.731.5, sli-4:6:d

    2. Exibir a versão do driver da caixa de entrada:

      cat /sys/module/lpfc/version

      O exemplo a seguir mostra uma versão do driver:

      0:14.4.0.12

    Para obter a lista atual de versões de firmware e drivers de adaptador suportados, consulte "Ferramenta de Matriz de interoperabilidade".

  3. Verifique se lpfc_enable_fc4_type está definido como 3:

    cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

  4. Verifique se você pode exibir suas portas do iniciador:

    cat /sys/class/fc_host/host*/port_name

    Você deverá ver uma saída semelhante a:

    0x10005ced8c53092a
0x10005ced8c53092a

  5. Verifique se as portas do iniciador estão online:

    cat /sys/class/fc_host/host*/port_state

    Você deve ver a seguinte saída:

    Online
Online

  6. Verifique se as portas do iniciador NVMe/FC estão ativadas e se as portas de destino estão visíveis:

    cat /sys/class/scsi_host/host*/nvme_info
    Mostrar exemplo 
    NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x10005ced8c53092a WWNN x20005ced8c53092a DID x081e00 ONLINE
NVME RPORT       WWPN x2049d039eac0cc5b WWNN x2047d039eac0cc5b DID x082208 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2008d039eac0cc5b WWNN x2007d039eac0cc5b DID x082202 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2009d039eac0cc5b WWNN x2007d039eac0cc5b DID x082602 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2048d039eac0cc5b WWNN x2047d039eac0cc5b DID x08260a TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 0000004553 Cmpl 0000004553 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000578fc29 Issue 000000000578fc8d OutIO 0000000000000064
        abort 00004f7c noxri 00000001 nondlp 000002da qdepth
00000000 wqerr 0000168a err 00000000
FCP CMPL: xb 00005033 Err 0000aa85

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x10005ced8c53092b WWNN x20005ced8c53092b DID x031f00 ONLINE
NVME RPORT       WWPN x204bd039eac0cc5b WWNN x2047d039eac0cc5b DID x03250a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200ad039eac0cc5b WWNN x2007d039eac0cc5b DID x032502 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x204ed039eac0cc5b WWNN x2047d039eac0cc5b DID x03260a TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x200bd039eac0cc5b WWNN x2007d039eac0cc5b DID x032602 TARGET DISCSRVC ONLINE


NVME Statistics
LS: Xmt 0000004509 Cmpl 0000004509 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 000000000571ddc6 Issue 000000000571de28 OutIO 0000000000000062
        abort 0000421e noxri 00000000 nondlp 00000491 qdepth
00000000 wqerr 00000120 err 00000000
FCP CMPL: xb 00004410 Err 0000995c
NVMe/FC - Marvell/QLogic

Configure o NVMe/FC para um adaptador Marvell/QLogic.

Passos

  1. Verifique se você está usando as versões de firmware e driver do adaptador compatíveis:

    cat /sys/class/fc_host/host*/symbolic_name

    O exemplo a seguir mostra as versões do driver e do firmware:

    QLE2872 FW:v9.15.06 DVR:v10.02.10.100-k-debug
QLE2872 FW:v9.15.06 DVR:v10.02.10.100-k-debug

  2. Verifique se ql2xnvmeenable está definido. Isso permite que o adaptador Marvell funcione como um iniciador NVMe/FC:

    cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

    A saída esperada é 1.

NVMe/TCP

O protocolo NVMe/TCP não suporta a operação de conexão automática. Em vez disso, você pode descobrir os subsistemas e namespaces NVMe/TCP executando o NVMe/TCP connect ou connect-all operações manualmente.

Passos

  1. Verifique se a porta do iniciador pode obter os dados da página de log de descoberta nos LIFs NVMe/TCP suportados:

    nvme discover -t tcp -w host-traddr -a traddr
    Mostrar exemplo 
    nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.26
Discovery Log Number of Records 196, Generation counter 245
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  9
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.21.26
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.20.26
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  11
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.20.27
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4

subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:discovery
traddr:  192.168.21.27
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidirectional_DHCP_NONE_1_5
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 8======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 9======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 10======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 11======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_1_0
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 12======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 13======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 14======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 15======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_2_0
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 16======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.21.26
eflags:  none
sectype: none
=====Discovery Log Entry 17======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.20.26
eflags:  none
sectype: none
=====Discovery Log Entry 18======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.20.27
eflags:  none
sectype: none
=====Discovery Log Entry 19======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_1_4
traddr:  192.168.21.27
eflags:  none
sectype: none
=====Discovery Log Entry 20======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Unidirectional_DHCP_NONE_2_3
traddr:  192.168.21.26
eflags:  none
sectype: none
…

  2. Verifique se as outras combinações de LIF de iniciador-alvo NVMe/TCP podem recuperar com sucesso os dados da página de log de descoberta:

    nvme discover -t tcp -w host-traddr -a traddr
    Mostrar exemplo 
    nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.26
nvme discover -t tcp -w 192.168.21.1 -a 192.168.21.26
nvme discover -t tcp -w 192.168.20.1 -a 192.168.20.27
nvme discover -t tcp -w 192.168.21.1 -a 192.168.21.27

  3. Execute o nvme connect-all comando em todos os LIFs de destino iniciador NVMe/TCP suportados nos nós:

    nvme connect-all -t tcp -w host-traddr -a traddr
    Mostrar exemplo 
    nvme	connect-all -t	tcp -w	192.168.20.1	-a 192.168.20.26
nvme	connect-all -t	tcp -w	192.168.21.1	-a 192.168.21.26
nvme	connect-all -t	tcp -w	192.168.20.1	-a 192.168.20.27
nvme	connect-all -t	tcp -w	192.168.21.1	-a 192.168.21.27

A partir do RHEL 9.4, a configuração para NVMe/TCP ctrl_loss_tmo timeout é automaticamente definido como "desligado". Como resultado:

  • Não há limites para o número de tentativas (nova tentativa indefinida).

  • Você não precisa configurar manualmente um específico ctrl_loss_tmo timeout duração ao usar o nvme connect ou nvme connect-all comandos (opção -l).

  • Os controladores NVMe/TCP não sofrem timeouts em caso de falha de caminho e permanecem conectados indefinidamente.

Etapa 4: Opcionalmente, modifique a política de E/S nas regras udev.

Alterações na política de E/S para as versões do RHEL 10.x

  • A partir do RHEL 10.1, a política de iopolicy padrão é queue-depth.

  • No RHEL 10.0, round-robin é a iopolicy padrão, mas queue-depth está disponível como uma opção configurável.

Se você estiver usando o RHEL 10.0 e quiser alterar a iopolicy para queue-depth, modifique o arquivo de regras do udev da seguinte forma:

Passos

  1. Abra o arquivo de regras do udev em um editor de texto com privilégios de root:

    /usr/lib/udev/rules.d/71-nvmf-netapp.rules

    Você deve ver a seguinte saída:

    vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules

  2. Localize a linha que define a política de E/S (iopolicy) para o controlador NetApp ONTAP , conforme mostrado no exemplo de regra a seguir:

    ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

  3. Modifique a regra para que round-robin torna-se queue-depth :

    ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

  4. Recarregue as regras udev e aplique as alterações:

    udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

  5. Verifique a política de E/S atual para o seu subsistema. Substitua <subsistema>, por exemplo, nvme-subsys0 .

    cat /sys/class/nvme-subsystem/<subsystem>/iopolicy

    Você deve ver a seguinte saída:

    queue-depth.
Observação A nova política de E/S (iopolicy) aplica-se automaticamente aos dispositivos NetApp ONTAP Controller correspondentes. Não é necessário reiniciar.

Etapa 5: Opcionalmente, habilite a E/S de 1 MB para NVMe/FC.

O ONTAP relata um Tamanho Máximo de Transferência de Dados (MDTS) de 8 nos dados do Controlador de Identificação. Isso significa que o tamanho máximo da solicitação de E/S pode ser de até 1 MB. Para emitir solicitações de E/S de tamanho 1 MB para um host Broadcom NVMe/FC, você deve aumentar o lpfc valor do lpfc_sg_seg_cnt parâmetro para 256 do valor padrão de 64.

Observação Essas etapas não se aplicam a hosts Qlogic NVMe/FC.
Passos

  1. Defina lpfc_sg_seg_cnt o parâmetro como 256:

    cat /etc/modprobe.d/lpfc.conf

    Você deverá ver uma saída semelhante ao exemplo a seguir:

    options lpfc lpfc_sg_seg_cnt=256

  2. Execute o dracut -f comando e reinicie o host.

  3. Verifique se o valor para lpfc_sg_seg_cnt é 256:

    cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Etapa 6: Verificar os serviços de inicialização NVMe

O nvmefc-boot-connections.service e nvmf-autoconnect.service serviços de inicialização incluídos no NVMe/FC nvme-cli Os pacotes são ativados automaticamente quando o sistema é inicializado.

Após a inicialização ser concluída, verifique se o nvmefc-boot-connections.service e nvmf-autoconnect.service os serviços de inicialização estão habilitados.

Passos

  1. Verifique se nvmf-autoconnect.service está ativado:

    systemctl status nvmf-autoconnect.service
    Mostrar exemplo de saída 
    nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: disabled)
     Active: inactive (dead) since Sun 2026-04-19 02:19:18 EDT; 2 days ago
 Invocation: 4a0dab1649ff454b957224c7fcafbe1d
   Main PID: 9704 (code=exited, status=0/SUCCESS)
   Mem peak: 3M
        CPU: 44ms

Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Starting nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot...
Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Apr 19 02:19:18 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Finished nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot.

  2. Verifique se nvmefc-boot-connections.service está ativado:

    systemctl status nvmefc-boot-connections.service
    Mostrar exemplo de saída 
    nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Sun 2026-04-19 02:19:09 EDT; 2 days ago
 Invocation: da450120872f454d8264f1dfa0c646e3
   Main PID: 4277 (code=exited, status=0/SUCCESS)
   Mem peak: 2.9M
        CPU: 15ms

Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Starting nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.
Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Apr 19 02:19:09 R650-14-194.lab.eng.btc.netapp.in systemd[1]: Finished nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.

Etapa 7: Verifique a configuração de multipathing

Verifique se o status multipath do NVMe no kernel, o status ANA e os namespaces do ONTAP estão corretos para a configuração do NVMe-of.

Passos

  1. Verifique se as configurações apropriadas do NVMe-oF (como, por exemplo, modelo definido como NetApp ONTAP Controller e política de E/S de balanceamento de carga definida como queue-depth) para os respectivos namespaces ONTAP são exibidas corretamente no host:

    1. Exibir os subsistemas:

      cat /sys/class/nvme-subsystem/nvme-subsys*/model

      Você deve ver a seguinte saída:

      NetApp ONTAP Controller
NetApp ONTAP Controller

    2. Exibir a política:

      cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy

      Você deve ver a seguinte saída:

    queue-depth
queue-depth

  2. Verifique se os namespaces são criados e descobertos corretamente no host:

    nvme list
    Mostrar exemplo 
    Node                  Generic               SN                   Model
--------------------- --------------------- -------------------- ----------------------------------------
/dev/nvme11n1         /dev/ng11n1           81OcqJXhgWtsAAAAAAAI NetApp ONTAP Controller

Namespace  Usage                      Format           FW Rev
---------- -------------------------- ---------------- --------
0x1        951.90  MB /  21.47  GB    4 KiB +  0 B     9.18.1

  3. Verifique se o estado do controlador de cada caminho está ativo e tem o status ANA correto:

    nvme list-subsys /dev/<controller_ID>
    Observação A partir do ONTAP 9.16.1, NVMe/FC e NVMe/TCP reportam todos os caminhos otimizados em sistemas ASA r2.
    NVMe/FC

    O exemplo de saída a seguir mostra um namespace hospedado em um controlador ONTAP de dois nós para sistemas AFF, FAS e ASA e sistema ASA r2 com NVMe/FC.

    Exibir exemplos de saída de AFF, FAS e ASA 
    nvme-subsys5 - NQN=nqn.1992-08.com.netapp:sn.f7565b15a66911ef9668d039ea951c46:subsystem.nvme 1
hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0056-5410-8048-c7c04f425633
\
+- nvme126 fc traddr=nn-0x2036d039ea951c45:pn-0x2038d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c3:pn-0x2100f4c7aa0cd7c3 live optimized
+- nvme176 fc traddr=nn-0x2036d039ea951c45:pn-0x2037d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c2:pn-0x2100f4c7aa0cd7c2 live optimized
+- nvme5 fc traddr=nn-0x2036d039ea951c45:pn-0x2039d039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c2:pn-0x2100f4c7aa0cd7c2 live non-optimized
+- nvme71 fc traddr=nn-0x2036d039ea951c45:pn-0x203ad039ea951c45,host_traddr=nn-0x2000f4c7aa0cd7c3:pn-0x2100f4c7aa0cd7c3 live non-optimized
    Exibir exemplo de saída do ASA r2 
    nvme-subsys96 - NQN=nqn.1992-08.om.netapp:sn.b351b2b6777b11f0b3c2d039ea5cfc91:subsystem.nvme2 4
hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b581b4-c975-11e6-8425-0894ef31a074
\
+- nvme203 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2015d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
+- nvme25 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2014d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
+- nvme30 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2012d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
+- nvme32 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2013d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
    NVMe/TCP

    O exemplo de saída a seguir mostra um namespace hospedado em um controlador ONTAP de dois nós para sistemas AFF, FAS e ASA e sistemas ASA r2 com NVMe/TCP.

    Exibir exemplos de saída de AFF, FAS e ASA 
    nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.64e65e6caae711ef9668d039ea951c46:subsystem.nvme4
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4c4544-0035-5910-804b-c2c04f444d33
\
 +- nvme102 tcp traddr=192.168.21.20,trsvcid=4420,host_traddr=192.168.21.1,src_addr=192.168.21.1 live non-optimized
 +- nvme151 tcp traddr=192.168.21.21,trsvcid=4420,host_traddr=192.168.21.1,src_addr=192.168.21.1 live optimized
 +- nvme4 tcp traddr=192.168.20.20,trsvcid=4420,host_traddr=192.168.20.1,src_addr=192.168.20.1 live non-optimized
 +- nvme53 tcp traddr=192.168.20.21,trsvcid=4420,host_traddr=192.168.20.1,src_addr=192.168.20.1 live optimized
    Exibir exemplo de saída do ASA r2 
    nvme-subsys6 - NQN= nqn.1992-08.com.netapp:sn.08818e1f130811f1b8b4d039eac0cc5b:subsystem.Bidi rectional_DHCP_1_0
hostnqn=nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c
\
+- nvme4 tcp traddr=192.168.20.26,trsvcid=4420,host_traddr=192.168.20.1,src_ addr=192.168.20.1 live optimized
+- nvme5 tcp traddr=192.168.20.27,trsvcid=4420,host_traddr=192.168.20.1,src_ addr=192.168.20.1 live optimized
+- nvme6 tcp traddr=192.168.21.26,trsvcid=4420,host_traddr=192.168.21.1,src_ addr=192.168.21.1 live optimized
+- nvme7 tcp traddr=192.168.21.27,trsvcid=4420,host_traddr=192.168.21.1,src_ addr=192.168.21.1 live optimized

  4. Verifique se o plug-in NetApp exibe os valores corretos para cada dispositivo de namespace ONTAP:

    Coluna
    nvme netapp ontapdevices -o column
    Mostrar exemplo 
    Device           Vserver                   Subsystem                 Namespace Path
---------------- ------------------------- ------------------------- ------------------
/dev/nvme0n1     linux_tcnvme_iscsi        Bidirectional_DHCP_1_0       tcp_1

NSID UUID                                   Size
---- -------------------------------------- ---------
1    98fdc7cc-1407-11f1-b4eb-d039eac0cc5b   322.12GB
    JSON
    nvme netapp ontapdevices -o json
    Mostrar exemplo 
    {
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme0n1",
      "Vserver":"vs_nvme_sanboot_tcp",
      "Subsystem":"rhel_sanboot_tcp170",
      "Namespace_Path":"tcp_97",
      "NSID":1,
      "UUID":"982c0f2a-6b8b-11f0-a6c0-d039eac03c33",
      "LBA_Size":4096,
      "Namespace_Size":322122547200,
      "UsedBytes":16285069312,
      "Version":"9.18.1"
    }
]
}

Etapa 8: Configurar autenticação segura em banda

A autenticação segura em banda é suportada via NVMe/TCP entre um host RHEL 10.x e um controlador ONTAP .

Cada host ou controlador deve ser associado a um DH-HMAC-CHAP chave para configurar autenticação segura. Uma DH-HMAC-CHAP chave é uma combinação do NQN do host ou controlador NVMe e um segredo de autenticação configurado pelo administrador. Para autenticar seu peer, um host ou controlador NVMe deve reconhecer a chave associada ao peer.

Passos

Configure a autenticação segura em banda usando a CLI ou um arquivo de configuração JSON. Se você precisar especificar diferentes chaves dhchap para diferentes subsistemas, você deve usar um arquivo JSON de configuração.

CLI

Configure a autenticação segura na banda usando a CLI.

  1. Obtenha o NQN do host:

    cat /etc/nvme/hostnqn

  2. Gere a chave dhchap para o host RHEL 10.x.

    A saída a seguir descreve o gen-dhchap-key parâmetros de comando:

    nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

    No exemplo a seguir, uma chave dhchap aleatória com HMAC definido como 3 (SHA-512) é gerada.

    nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:

  3. No controlador ONTAP, adicione o host e especifique ambas as chaves dhchap:

    vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

  4. Um host suporta dois tipos de métodos de autenticação, unidirecional e bidirecional. No host, conete-se ao controlador ONTAP e especifique as chaves dhchap com base no método de autenticação escolhido:

    nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>

  5. Valide o nvme connect authentication comando verificando as chaves dhchap do host e do controlador:

    1. Verifique as chaves dhchap do host:

      cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret
      Mostrar exemplo de saída para uma configuração unidirecional 
      cat /sys/class/nvme-subsystem/nvme-subsys5/nvme*/dhchap_secret
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:
DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ:

    2. Verifique as chaves dhchap do controlador:

      cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret
      Mostrar exemplo de saída para uma configuração bidirecional 
      cat /sys/class/nvme-subsystem/nvme-subsys5/nvme*/dhchap_ctrl_secret
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6IjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
JSON

Quando vários subsistemas NVMe estão disponíveis no controlador ONTAP , você pode usar o /etc/nvme/config.json arquivo com o nvme connect-all comando.

Use o -o opção para gerar o arquivo JSON. Consulte as páginas do manual do NVMe connect-all para mais opções de sintaxe.

  1. Configure o arquivo JSON.

    Observação No exemplo a seguir, dhchap_key corresponde a dhchap_secret e dhchap_ctrl_key corresponde a dhchap_ctrl_secret .
    Mostrar exemplo 
    [
  {
    "hostnqn":" nqn.2014-08.org.nvmexpress:uuid:39313550-3033-4931-3544-30573030394c",
    "hostid":"44454c4c-5400-1051-8039-c3c04f523034",
    "dhchap_key":" DHHC-1:01:+qRDBvUBDK+yy7vgsH9YXY8mqfo4ss6FEER9ubjAuhs0I+gZ: ",
    "subsystems":[

      {
        "nqn":"nqn.1992-08.com.netapp:sn.5857c8c9b22411f08d0ed039eac03c33:subsystem.Bidi rectional_DHCP_1_0",
        "ports":[

          {
            "transport":"tcp",
            "traddr":"192.168.20.26",
            "host_traddr":"192.168.20.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.20.27",
            "host_traddr":"192.168.20.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.21.26",
            "host_traddr":"192.168.21.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=: "
          },
          {
            "transport":"tcp",
            "traddr":"192.168.21.27",
            "host_traddr":"192.168.21.1",
            "trsvcid":"4420",
            "dhchap_ctrl_key":" DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:
          }
        ]
      }
    ]
  }
]

  2. Conete-se ao controlador ONTAP usando o arquivo JSON de configuração:

    nvme connect-all -J /etc/nvme/config.json
    Mostrar exemplo 
    traddr=192.168.20.26 is already connected
traddr=192.168.20.27 is already connected
traddr=192.168.20.26 is already connected
traddr=192.168.20.27 is already connected

  3. Verifique se os segredos dhchap foram habilitados para os respectivos controladores de cada subsistema.

    1. Verifique as chaves dhchap do host:

      cat /sys/class/nvme-subsystem/nvme-subsys4/nvme4/dhchap_secret

      O exemplo a seguir mostra uma chave dhchap:

      DHHC-1:01:2G7lsg9PMO00h1Wf1g4QtP0XT11kREz0qVuLm2xvZdbaWR/g:

    2. Verifique as chaves dhchap do controlador:

      cat /sys/class/nvme-subsystem/nvme-subsys5/nvme5/dhchap_ctrl_secret

      Você deverá ver uma saída semelhante ao exemplo a seguir:

    DHHC-1:03:sdLD7EmvjGj8J9CNNe+my2i9JnuI6bIjhPrtcNRs5q6sAKW2HFPh4L3MjhTh49bxZsYSZlqe39CHUvT1+/EjGfqrl0U=:

Passo 9: Revise os problemas conhecidos

Não há problemas conhecidos.