O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configurar o Oracle Linux 10.x com NVMe-oF para storage ONTAP

03/18/2026 Colaboradores

PDFs

Os hosts Oracle Linux suportam os protocolos NVMe sobre Fibre Channel (NVMe/FC) e NVMe sobre TCP (NVMe/TCP) com Acesso Assimétrico ao Espaço de Nomes (ANA). O ANA fornece funcionalidade de múltiplos caminhos equivalente ao acesso de unidade lógica assimétrica (ALUA) em ambientes iSCSI e FCP.

Aprenda como configurar hosts NVMe over Fabrics (NVMe-oF) para Oracle Linux 10.x. Para obter mais informações sobre suporte e recursos, consulte "Suporte e recursos do Oracle Linux ONTAP".

NVMe-oF com Oracle Linux 10.x apresenta a seguinte limitação conhecida:

O nvme disconnect-all O comando desconecta os sistemas de arquivos raiz e de dados, o que pode levar à instabilidade do sistema. Não execute este comando em sistemas que inicializam a partir de SAN através de namespaces NVMe-TCP ou NVMe-FC.

Passo 1: Opcionalmente, ative a inicialização de SAN

Você pode configurar seu host para usar a inicialização SAN para simplificar a implantação e melhorar a escalabilidade. Use o"Ferramenta de Matriz de interoperabilidade" para verificar se o seu sistema operacional Linux, adaptador de barramento de host (HBA), firmware HBA, BIOS de inicialização HBA e versão ONTAP oferecem suporte à inicialização SAN.

Passos

"Crie um namespace NVMe e mapeie-o para o host" .
Habilite a inicialização SAN no BIOS do servidor para as portas para as quais o namespace de inicialização SAN está mapeado.

Para obter informações sobre como ativar o BIOS HBA, consulte a documentação específica do fornecedor.
Reinicie o host e verifique se o sistema operacional está ativo e funcionando.

Etapa 2: Instale o software Oracle Linux e NVMe e verifique sua configuração.

Utilize o procedimento a seguir para validar as versões mínimas de software suportadas do Oracle Linux 10.x.

Passos

Instale o Oracle Linux 10.x no servidor. Após a conclusão da instalação, verifique se você está executando o kernel do Oracle Linux 10.x especificado.
```
uname -r
```
Exemplo de versão do kernel do Oracle Linux:
```
6.12.0-105.51.5.el10uek.x86_64
```
Instale o nvme-cli pacote:
```
rpm -qa|grep nvme-cli
```
O exemplo a seguir mostra um nvme-cli versão do pacote:
```
nvme-cli-2.13-2.0.1.el10.x86_64
```
Instale o libnvme pacote:
```
rpm -qa|grep libnvme
```
O exemplo a seguir mostra um libnvme versão do pacote:
```
libnvme-1.13-1.el10.x86_64
```
No host Oracle Linux 10.x, verifique a hostnqn string em /etc/nvme/hostnqn:
```
cat /etc/nvme/hostnqn
```
O exemplo a seguir mostra um hostnqn versão:
```
nqn.2014-08.org.nvmexpress:uuid:8397xxxx-30f0-xxxx-850f-7edxxxxf0cc7
```

No sistema ONTAP , verifique se o hostnqn A string corresponde à hostnqn string para o subsistema correspondente no sistema de armazenamento ONTAP :

vserver nvme subsystem host show -vserver vs_coexistence_emulex

Mostrar exemplo

Vserver Subsystem Priority  Host NQN
------- --------- -------   ------------------------------------------------
vs_coexistence_emulex
        nvme1
                  regular    nqn.2014-08.org.nvmexpress:uuid:8397cecc-30f0-11e8-850f-7ed30aef0cc7
        nvme2
                  regular    nqn.2014-08.org.nvmexpress:uuid:8397cecc-30f0-11e8-850f-7ed30aef0cc7

Se as hostnqn strings não corresponderem, você pode usar o vserver modify comando para atualizar a hostnqn cadeia de carateres no subsistema de matriz ONTAP correspondente para corresponder à hostnqn cadeia de carateres /etc/nvme/hostnqn do host.

Etapa 3: Configurar NVMe/FC e NVMe/TCP

Configure NVMe/FC com adaptadores Broadcom/Emulex ou Marvell/QLogic, ou configure NVMe/TCP usando operações manuais de descoberta e conexão.

NVMe/FC - Broadcom/Emulex

Configurar o NVMe/FC para um adaptador Broadcom/Emulex.

Passos

Verifique se você está usando o modelo de adaptador suportado:
1. Exibir os nomes dos modelos:
  cat /sys/class/scsi_host/host*/modelname
  Você deve ver a seguinte saída:
  LPe37102 LPe37102
2. Exibir as descrições do modelo:
  cat /sys/class/scsi_host/host*/modeldesc
  Você deverá ver uma saída semelhante ao exemplo a seguir:
```
Emulex LPe37102 32Gb 2-port Fibre Channel Adapter
Emulex LPe37102 32Gb 2-port Fibre Channel Adapter
```
Verifique se você está usando o firmware Broadcom recomendado e o driver da lpfc caixa de entrada:
1. Exibir a versão do firmware:
  cat /sys/class/scsi_host/host*/fwrev
  O exemplo a seguir mostra as versões de firmware:
  14.4.725.15, sli-4:6:e 14.4.725.15, sli-4:6:e
2. Exibir a versão do driver da caixa de entrada:
  cat /sys/module/lpfc/version
  O exemplo a seguir mostra uma versão do driver:
```
0:14.4.0.8
```
+
Para obter a lista atual de versões de firmware e drivers de adaptador suportados, consulte "Ferramenta de Matriz de interoperabilidade".
Verifique se lpfc_enable_fc4_type está definido como 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Verifique se você pode exibir suas portas do iniciador:
```
cat /sys/class/fc_host/host*/<port_name>
```
O exemplo a seguir mostra identidades de porta:
```
0x100070b7e422ab3f
0x100070b7e422ab40
```
Verifique se as portas do iniciador estão online:
```
cat /sys/class/fc_host/host*/port_state
```
Você deve ver a seguinte saída:
```
Online
Online
```

Verifique se as portas do iniciador NVMe/FC estão ativadas e se as portas de destino estão visíveis:

cat /sys/class/scsi_host/host*/nvme_info

Mostrar exemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x100000620b3c0869 WWNN x200000620b3c0869
DID x080e00 ONLINE
NVME RPORT       WWPN x2001d039eabac36f WWNN x2000d039eabac36f
DID x021401 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e2d039eabac36f WWNN x20e1d039eabac36f
DID x02141f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2011d039eabac36f WWNN x2010d039eabac36f
DID x021429 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2002d039eabac36f WWNN x2000d039eabac36f
DID x021003 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e4d039eabac36f WWNN x20e1d039eabac36f
DID x02100f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2012d039eabac36f WWNN x2010d039eabac36f
DID x021015 TARGET DISCSRVC ONLINE



NVME Statistics
LS: Xmt 0000027ccf Cmpl 0000027cca Abort 00000014
LS XMIT: Err 00000005  CMPL: xb 00000014 Err 00000014
Total FCP Cmpl 00000000000613ff Issue 00000000000613fc OutIO fffffffffffffffd
        abort 00000007 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 0000000a Err 0000000d


NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x100000620b3c086a WWNN x200000620b3c086a
DID x080000 ONLINE
NVME RPORT       WWPN x2004d039eabac36f WWNN x2000d039eabac36f
DID x021501 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e3d039eabac36f WWNN x20e1d039eabac36f
DID x02150f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2014d039eabac36f WWNN x2010d039eabac36f
DID x021515 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2003d039eabac36f WWNN x2000d039eabac36f
DID x02110b TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x20e5d039eabac36f WWNN x20e1d039eabac36f
DID x02111f TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2013d039eabac36f WWNN x2010d039eabac36f
DID x021129 TARGET DISCSRVC ONLINE



NVME Statistics
LS: Xmt 0000027ca3 Cmpl 0000027ca2 Abort 00000017
LS XMIT: Err 00000001  CMPL: xb 00000017 Err 00000017
Total FCP Cmpl 000000000006369d Issue 000000000006369a OutIO fffffffffffffffd
        abort 00000007 noxri 00000000 nondlp 00000011 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000008 Err 0000000c

NVMe/FC - Marvell/QLogic

Configure o NVMe/FC para um adaptador Marvell/QLogic.

Passos

Verifique se você está executando o driver de adaptador e as versões de firmware compatíveis:
```
cat /sys/class/fc_host/host*/symbolic_name
```
O exemplo a seguir mostra as versões do driver e do firmware:
```
QLE2872 FW:v9.15.06 DVR:v10.02.09.300-k
```
Verifique se ql2xnvmeenable está definido. Isso permite que o adaptador Marvell funcione como um iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
A saída esperada é 1.

NVMe/TCP

O protocolo NVMe/TCP não suporta a operação de conexão automática. Em vez disso, você pode descobrir os subsistemas e namespaces NVMe/TCP executando o NVMe/TCP connect ou connect-all operações manualmente.

Passos

Verifique se a porta do iniciador pode buscar os dados da página de log de descoberta nas LIFs NVMe/TCP suportadas:

nvme discover -t tcp -w host-traddr -a traddr

Mostrar exemplo

nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.10
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  8
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  6
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.99
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  7
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.31.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  5
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:discovery
traddr:  192.168.30.98
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  8
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.99
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  6
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.99
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  7
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.31.98
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  5
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.064a9b19b3ee11f09dcad039eabac370:subsystem.subsys_kvm
traddr:  192.168.30.98
eflags:  none
sectype: none

Verifique se as outras combinações de LIF entre iniciador e destino do NVMe/TCP podem obter com êxito os dados da página de log de descoberta:

nvme discover -t tcp -w host-traddr -a traddr

Mostrar exemplo

nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.10
nvme discover -t tcp -w 192.168.41.7 -a 192.168.41.11
nvme discover -t tcp -w 192.168.48.7 -a 192.168.48.10
nvme discover -t tcp -w 192.168.48.7 -a 192.168.48.11

Execute o nvme connect-all comando em todos os LIFs de destino iniciador NVMe/TCP suportados nos nós:

nvme connect-all -t tcp -w host-traddr -a traddr

Mostrar exemplo

nvme connect-all -t tcp -w 192.168.41.7 -a 192.168.41.10
nvme connect-all -t tcp -w 192.168.41.7 -a 192.168.41.11
nvme connect-all -t tcp -w 192.168.48.7 -a 192.168.48.10
nvme connect-all -t tcp -w 192.168.48.7 -a 192.168.48.11

A partir do Oracle Linux 9.4, a configuração para NVMe/TCP ctrl_loss_tmo timeout é automaticamente definido como "desligado". Como resultado:

Não há limites para o número de tentativas (nova tentativa indefinida).
Você não precisa configurar manualmente um específico ctrl_loss_tmo timeout duração ao usar o nvme connect ou nvme connect-all comandos (opção -l).
Os controladores NVMe/TCP não sofrem timeouts em caso de falha de caminho e permanecem conectados indefinidamente.

Etapa 4: Opcionalmente, modifique a política de E/S nas regras udev.

O host Oracle Linux 10.x define a iopolicy padrão para NVMe-oF como queue-depth. Você pode alterar a iopolicy para round-robin modificando o arquivo de regras udev.

Passos

Abra o arquivo de regras do udev em um editor de texto com privilégios de root:
```
/usr/lib/udev/rules.d/71-nvmf-netapp.rules
```
Você deve ver a seguinte saída:
```
vi /usr/lib/udev/rules.d/71-nvmf-netapp.rules
```

Localize a linha que define a política de E/S (iopolicy) para o controlador NetApp ONTAP .

O exemplo a seguir mostra um exemplo de regra:

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="queue-depth"

Modifique a regra para que queue-depth se torne round-robin:

ACTION=="add", SUBSYSTEM=="nvme-subsystem", ATTR{subsystype}=="nvm", ATTR{model}=="NetApp ONTAP Controller", ATTR{iopolicy}="round-robin"

Recarregue as regras udev e aplique as alterações:

udevadm control --reload
udevadm trigger --subsystem-match=nvme-subsystem

Verifique a política de E/S atual para o seu subsistema. Substitua <subsistema>, por exemplo, nvme-subsys0 .
```
cat /sys/class/nvme-subsystem/<subsystem>/iopolicy
```
Você deve ver a seguinte saída:
```
round-robin.
```

A nova política de E/S (iopolicy) aplica-se automaticamente aos dispositivos NetApp ONTAP Controller correspondentes. Não é necessário reiniciar.

Etapa 5: Opcionalmente, habilite a E/S de 1 MB para NVMe/FC.

O ONTAP relata um Tamanho Máximo de Transferência de Dados (MDTS) de 8 nos dados do Controlador de Identificação. Isso significa que o tamanho máximo da solicitação de E/S pode ser de até 1 MB. Para emitir solicitações de E/S de tamanho 1 MB para um host Broadcom NVMe/FC, você deve aumentar o lpfc valor do lpfc_sg_seg_cnt parâmetro para 256 do valor padrão de 64.

Essas etapas não se aplicam a hosts Qlogic NVMe/FC.

Passos

Defina lpfc_sg_seg_cnt o parâmetro como 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Você deverá ver uma saída semelhante ao exemplo a seguir:
```
options lpfc lpfc_sg_seg_cnt=256
```
Execute o dracut -f comando e reinicie o host.

Verifique se o valor para lpfc_sg_seg_cnt é 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Etapa 6: Verificar os serviços de inicialização NVMe

O nvmefc-boot-connections.service e nvmf-autoconnect.service serviços de inicialização incluídos no NVMe/FC nvme-cli Os pacotes são ativados automaticamente quando o sistema é inicializado.

Após a inicialização ser concluída, verifique se o nvmefc-boot-connections.service e nvmf-autoconnect.service os serviços de inicialização estão habilitados.

Passos

Verifique se nvmf-autoconnect.service está ativado:

systemctl status nvmf-autoconnect.service

Mostrar exemplo de saída

nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: disabled)
     Active: inactive (dead) since Tue 2026-02-02 09:48:11 EDT; 1 week 0 days ago
   Main PID: 2620 (code=exited, status=0/SUCCESS)
        CPU: 19ms

Feb 02 09:48:11 sr630-13-169 systemd[1]: Starting Connect NVMe-oF subsystems automatically during boot...
Feb 02 09:48:11 sr630-13-169 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Feb 02 09:48:11 sr630-13-169 systemd[1]: Finished Connect NVMe-oF subsystems automatically during boot.

Verifique se nvmefc-boot-connections.service está ativado:

systemctl status nvmefc-boot-connections.service

Mostrar exemplo de saída

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Tue 2026-02-02 09:47:07 EDT; 1 week 0 days ago2
   Main PID: 1651 (code=exited, status=0/SUCCESS)
        CPU: 14ms

Feb 02 09:47:07 sr630-13-169 systemd[1]: Starting Auto-connect to subsystems on FC-NVME devices found during boot...
Feb 02 09:47:07 sr630-13-169 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Feb 02 09:47:07 sr630-13-169 systemd[1]: Finished Auto-connect to subsystems on FC-NVME devices found during boot.

Etapa 7: Verifique a configuração de multipathing

Verifique se o status multipath do NVMe no kernel, o status ANA e os namespaces do ONTAP estão corretos para a configuração do NVMe-of.

Passos

Verifique se o multipath NVMe no kernel está habilitado:
```
cat /sys/module/nvme_core/parameters/multipath
```
Você deve ver a seguinte saída:
```
Y
```
Verifique se as configurações apropriadas do NVMe-oF (como, por exemplo, modelo definido como NetApp ONTAP Controller e política de E/S de balanceamento de carga definida como queue-depth) para os respectivos namespaces ONTAP estão refletidas corretamente no host:
1. Exibir os subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Você deve ver a seguinte saída:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Exibir a política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Você deverá ver o valor definido para iopolicy, por exemplo:
```
queue-depth
queue-depth
```

Verifique se os namespaces são criados e descobertos corretamente no host:

nvme list

Mostrar exemplo

Node            Generic         SN                   Model                    Namespace  Usage                      Format         FW Rev
--------------- --------------- -------------------- ------------------------ ---------- -------------------------- -------------  --------
/dev/nvme10n1   /dev/ng10n1     81NQfNZTUE14AAAAAAAN NetApp ONTAP Controller   0x1          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1
/dev/nvme10n2   /dev/ng10n2     81NQfNZTUE14AAAAAAAN NetApp ONTAP Controller   0x2          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1
/dev/nvme12n1   /dev/ng12n1     81NQfNZTUE14AAAAAAAb NetApp ONTAP Controller   0x1          0.00   B /  21.47  GB   4 KiB +  0 B   9.18.1

Verifique se o estado do controlador de cada caminho está ativo e tem o status ANA correto:

nvme list-subsys /dev/<controller_ID>

A partir do ONTAP 9.16.1, NVMe/FC e NVMe/TCP reportam todos os caminhos otimizados em sistemas ASA r2.

NVMe/FC

Os exemplos de saída a seguir mostram um namespace hospedado em um controlador ONTAP de dois nós para um sistema AFF, FAS, ASA ou ASA r2 com NVMe/FC.

Exibir exemplo de saída para AFF, FAS ou ASA

 nvme-subsys114 - NQN=nqn.1992-08.com.netapp:sn.9e30b9760a4911f08c87d039eab67a95:subsystem.sles_161_27
                 hostnqn=nqn.2014-08.org.nvmexpress:uuid:f651xxxx-3133-xxxx-bbff-7edxxxxf123f iopolicy=round-robin\
+- nvme114 fc traddr=nn-0x234ed039ea359e4a:pn-0x2360d039ea359e4a,host_traddr=nn-0x20000090fae0ec88:pn-0x10000090fae0ec88 live optimized
+- nvme115 fc traddr=nn-0x234ed039ea359e4a:pn-0x2362d039ea359e4a,host_traddr=nn-0x20000090fae0ec88:pn-0x10000090fae0ec88 live non-optimized
+- nvme116 fc traddr=nn-0x234ed039ea359e4a:pn-0x2361d039ea359e4a,host_traddr=nn-0x20000090fae0ec89:pn-0x10000090fae0ec89 live optimized
+- nvme117 fc traddr=nn-0x234ed039ea359e4a:pn-0x2363d039ea359e4a,host_traddr=nn-0x20000090fae0ec89:pn-0x10000090fae0ec89 live non-optimized

Mostrar exemplo de saída para ASA r2

nvme-subsys96 - NQN=nqn.1992-08.om.netapp:sn.b351b2b6777b11f0b3c2d039ea5cfc91:subsystem.nvme24
                hostnqn=nqn.2014-08.org.nvmexpress:uuid:d3b5xxxx-c975-xxxx-8425-089xxxx1a074
\
 +- nvme203 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2015d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized
 +- nvme25 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2014d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
 +- nvme30 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2012d039ea5cfc90,host_traddr=nn-0x200000109bdacc75:pn-0x100000109bdacc75 live optimized
 +- nvme32 fc traddr=nn-0x2011d039ea5cfc90:pn-0x2013d039ea5cfc90,host_traddr=nn-0x200000109bdacc76:pn-0x100000109bdacc76 live optimized

NVMe/TCP

Os exemplos de saída a seguir mostram um namespace hospedado em um controlador ONTAP de dois nós para um sistema AFF, FAS, ASA ou ASA r2 com NVMe/TCP.

Exibir exemplo de saída para AFF, FAS ou ASA

nvme-subsys9 - NQN=nqn.1992-08.com.netapp:sn.9927e165694211f0b4f4d039eab31e9d:subsystem.nvme10
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0035-xxxx-804b-b7cxxxx44d33
\
 +- nvme105 tcp traddr=192.168.39.10,trsvcid=4420,host_traddr=192.168.39.20,src_addr=192.168.39.20 live optimized
 +- nvme153 tcp traddr=192.168.39.11,trsvcid=4420,host_traddr=192.168.39.20,src_addr=192.168.39.20 live non-optimized
 +- nvme57 tcp traddr=192.168.38.11,trsvcid=4420,host_traddr=192.168.38.20,src_addr=192.168.38.20 live non-optimized
 +- nvme9 tcp traddr=192.168.38.10,trsvcid=4420,host_traddr=192.168.38.20,src_addr=192.168.38.20 live optimized

Mostrar exemplo de saída para ASA r2

nvme-subsys4 - NQN=nqn.1992-08.com.netapp:sn.17e32b6e8c7f11f09545d039eac03c33:subsystem.Bidirectional_DHCP_1_0
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0054-xxxx-8039-c3cxxxx23034
\
 +- nvme4 tcp traddr=192.168.20.28,trsvcid=4420,host_traddr=192.168.20.21,src_addr=192.168.20.21 live optimized
 +- nvme5 tcp traddr=192.168.20.29,trsvcid=4420,host_traddr=192.168.20.21,src_addr=192.168.20.21 live optimized
 +- nvme6 tcp traddr=192.168.21.28,trsvcid=4420,host_traddr=192.168.21.21,src_addr=192.168.21.21 live optimized
 +- nvme7 tcp traddr=192.168.21.29,trsvcid=4420,host_traddr=192.168.21.21,src_addr=192.168.21.21 live optimized

Verifique se o plug-in NetApp exibe os valores corretos para cada dispositivo de namespace ONTAP:

Coluna

nvme netapp ontapdevices -o column

Mostrar exemplo

Device           Vserver                  Namespace Path         NSID  UUID                                   Size
---------------- ----------------------- ----------------------- ----- -------------------------------------- --------
/dev/nvme1n1     vs_sanboot sanboot_169   /vol/nvme169/ns169      1    58443dbc-a472-45da-a5ef-3dd27c19d04b   171.80GB

JSON

nvme netapp ontapdevices -o json

Mostrar exemplo

{
  "ONTAPdevices":[
    {
      "Device":"/dev/nvme11n1",
      "Vserver":"vs_sanboot", "Subsystem":"sanboot_169",
      "Namespace_Path": "/vol/nvme169/ns169",
      "NSID":1,
      "UUID":" 58443dbc-a472-45da-a5ef-3dd27c19d04b",
      "LBA_Size":4096,
      "Namespace_Size": 171798691840,
      "UsedBytes": 6016638976,
      "Version":"9.18.1"
        }
  ]
}

Etapa 8: Configurar autenticação segura em banda

A autenticação in-band segura é suportada via NVMe/TCP entre um host Oracle Linux 10.x e um controlador ONTAP.

Cada host ou controlador deve ser associado a uma chave DH-HMAC-CHAP para configurar a autenticação segura. Uma chave DH-HMAC-CHAP é uma combinação do NQN do host ou controlador NVMe e um segredo de autenticação configurado pelo administrador. Para autenticar seu par, um host ou controlador NVMe deve reconhecer a chave associada ao par.

Passos

Configure a autenticação segura em banda usando a CLI ou um arquivo JSON de configuração. Utilize um arquivo JSON de configuração se precisar especificar chaves dhchap diferentes para subsistemas diferentes.

CLI

Configure a autenticação segura na banda usando a CLI.

Obtenha o NQN do host:
```
cat /etc/nvme/hostnqn
```

Gere a chave dhchap para o host Linux.

A saída a seguir descreve o gen-dhchap-key parâmetros de comando:

nvme gen-dhchap-key -s optional_secret -l key_length {32|48|64} -m HMAC_function {0|1|2|3} -n host_nqn
•	-s secret key in hexadecimal characters to be used to initialize the host key
•	-l length of the resulting key in bytes
•	-m HMAC function to use for key transformation
0 = none, 1- SHA-256, 2 = SHA-384, 3=SHA-512
•	-n host NQN to use for key transformation

No exemplo a seguir, uma chave dhchap aleatória com HMAC definido como 3 (SHA-512) é gerada.

# nvme gen-dhchap-key -m 3 -n nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0035-xxxx-804b-b7cxxxx44d33
DHHC-1:03:xhAfbAD5IVLZDxiVbmFEOA5JZ3F/ERqTXhHzZQJKgkYkTbPI9dhRyVtr4dBD+SGiAJO3by4FbnVtov1Lmk+86+nNc6k=:

No controlador ONTAP, adicione o host e especifique ambas as chaves dhchap:

vserver nvme subsystem host add -vserver <svm_name> -subsystem <subsystem> -host-nqn <host_nqn> -dhchap-host-secret <authentication_host_secret> -dhchap-controller-secret <authentication_controller_secret> -dhchap-hash-function {sha-256|sha-512} -dhchap-group {none|2048-bit|3072-bit|4096-bit|6144-bit|8192-bit}

Um host suporta dois tipos de métodos de autenticação, unidirecional e bidirecional. No host, conete-se ao controlador ONTAP e especifique as chaves dhchap com base no método de autenticação escolhido:
```
nvme connect -t tcp -w <host-traddr> -a <tr-addr> -n <host_nqn> -S <authentication_host_secret> -C <authentication_controller_secret>
```

Valide o nvme connect authentication comando verificando as chaves dhchap do host e do controlador:

Verifique as chaves dhchap do host:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_secret

Mostrar exemplo de saída para uma configuração unidirecional

cat /sys/class/nvme-subsystem/nvme-subsys1/nvme*/dhchap_secret
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:
DHHC-1:03:Y5VkkESgmtTGNdX842qemNpFK6BXYVwwnqErgt3IQKP5Fbjje\/JSBOjG5Ea3NBLRfuiAuUSDUto6eY\/GwKoRp6AwGkw=:

Verifique as chaves dhchap do controlador:

cat /sys/class/nvme-subsystem/<nvme-subsysX>/nvme*/dhchap_ctrl_secret

Mostrar exemplo de saída para uma configuração bidirecional

cat /sys/class/nvme-subsystem/nvme-subsys6/nvme*/dhchap_ctrl_secret
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:
DHHC-1:03:frpLlTrnOYtcWDxPzq4ccxU1UrH2FjV7hYw5s2XEDB+lo+TjMsOwHR\/NFtM0nBBidx+gdoyUcC5s6hOOtTLDGcz0Kbs=:

JSON

Quando vários subsistemas NVMe estiverem disponíveis na configuração do controlador ONTAP, você poderá usar o /etc/nvme/config.json arquivo com o nvme connect-all comando.

Use o -o opção para gerar o arquivo JSON. Consulte as páginas do manual do NVMe connect-all para obter mais opções de sintaxe.

Configure o arquivo JSON:

Mostrar exemplo

[
  {
    "hostnqn":"nqn.2014-08.org.nvmexpress:uuid:4c4cxxxx-0035-xxxx-804b-b7cxxxx44d33",
    "hostid":"4c4cxxxx-0035-xxxx-804b-b7cxxxx44d33",
    "dhchap_key":"DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:",
    "subsystems":[
      {
        "nqn":"nqn.1992-08.com.netapp:sn.09035a8d8c8011f0ac0fd039eabac370:subsystem.subsys",
        "ports":[
          {
            "transport":"tcp",
            "traddr":"192.168.30.69",
            "host_traddr":"192.168.41.7",
            "trsvcid":"4420",
            "dhchap_ctrl_key":"DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:"
          }
        ]
      }
    ]
  }
]

No exemplo anterior, dhchap_key corresponde dhchap_secret e dhchap_ctrl_key corresponde dhchap_ctrl_secret a .

Conete-se ao controlador ONTAP usando o arquivo JSON de configuração:
```
nvme connect-all -J /etc/nvme/config.json
```

Verifique se os segredos dhchap foram ativados para os respetivos controladores para cada subsistema:

Verifique as chaves dhchap do host:

cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_secret

O exemplo a seguir mostra uma chave dhchap:

DHHC-1:01:nFg06gV0FNpXqoiLOF0L+swULQpZU/PjU9v/McDeJHjTZFlF:

Verifique as chaves dhchap do controlador:
```
cat /sys/class/nvme-subsystem/nvme-subsys0/nvme0/dhchap_ctrl_secret
```
Você deverá ver uma saída semelhante ao exemplo a seguir:

DHHC-1:03:n3F8d+bvxKW/s+lEhqXaOohI2sxrQ9iLutzduuFq49JgdjjaFtTpDSO9kQl/bvZj+Bo3rdHh3xPXeP6a4xyhcRyqdds=:

Passo 9: Revise os problemas conhecidos

Não há problemas conhecidos.

Configurar o Oracle Linux 10.x com NVMe-oF para storage ONTAP

Creating your file...

Passo 1: Opcionalmente, ative a inicialização de SAN

Etapa 2: Instale o software Oracle Linux e NVMe e verifique sua configuração.

Etapa 3: Configurar NVMe/FC e NVMe/TCP

Etapa 4: Opcionalmente, modifique a política de E/S nas regras udev.

Etapa 5: Opcionalmente, habilite a E/S de 1 MB para NVMe/FC.

Etapa 6: Verificar os serviços de inicialização NVMe

Etapa 7: Verifique a configuração de multipathing

Etapa 8: Configurar autenticação segura em banda

Passo 9: Revise os problemas conhecidos