O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configure o Proxmox VE 9.x para NVMe-oF com armazenamento ONTAP.

12/16/2025 Colaboradores

PDFs

O host Proxmox VE 9.x suporta os protocolos NVMe over Fibre Channel (NVMe/FC) e NVMe over TCP (NVMe/TCP) com Acesso Assimétrico ao Espaço de Nomes (ANA). O ANA fornece funcionalidade de múltiplos caminhos equivalente ao acesso de unidade lógica assimétrica (ALUA) em ambientes iSCSI e FCP.

Aprenda como configurar hosts NVMe over Fabrics (NVMe-oF) para Proxmox VE 9.x. Para obter mais informações sobre suporte e funcionalidades, consulte "Suporte e recursos do ONTAP".

O NVMe-oF com Proxmox VE 9.x apresenta a seguinte limitação conhecida:

A configuração de inicialização SAN para NVMe-FC não é suportada.

Passo 1: Instale o software Proxmox VE e NVMe e verifique sua configuração.

Para configurar seu host para NVMe-oF, você precisa instalar os pacotes de software do host e do NVMe, habilitar o multipathing e verificar a configuração NQN do seu host.

Passos

Instale o Proxmox VE 9.x no servidor. Após a conclusão da instalação, verifique se você está executando o kernel Proxmox VE 9.x necessário:
```
uname -r
```
Exemplo de versão do kernel Proxmox VE 9.x:
```
6.14.8-2-pve
```
Instale o nvme-cli pacote:
```
apt list|grep nvme-cli
```
O exemplo a seguir mostra um nvme-cli versão do pacote:
```
nvme-cli/stable,now 2.13-2 amd64
```
Instale o libnvme pacote:
```
apt list|grep libnvme
```
O exemplo a seguir mostra um libnvme versão do pacote:
```
libnvme-dev/stable 1.13-2 amd64
```
No host, verifique a string hostnqn em /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
O exemplo a seguir mostra um hostnqn valor:
```
nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
```

No sistema ONTAP , verifique se o hostnqn A string corresponde à hostnqn string para o subsistema correspondente no array ONTAP :

::> vserver nvme subsystem host show -vserver vs_proxmox_FC_NVMeFC

Mostrar exemplo

Vserver Subsystem Priority  Host NQN
------- --------- --------  -----------------------------------------------
vs_proxmox_FC_NVMeFC
        sub_176
                  regular   nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a4834
                  regular   nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
2 entries were displayed

Se o hostnqn as strings não correspondem, use o vserver modify comando para atualizar o hostnqn string no seu subsistema de sistema de armazenamento ONTAP correspondente para corresponder ao hostnqn corda de /etc/nvme/hostnqn no host.

Etapa 2: Configurar NVMe/FC e NVMe/TCP

Configure NVMe/FC com adaptadores Broadcom/Emulex ou Marvell/QLogic, ou configure NVMe/TCP usando operações manuais de descoberta e conexão.

NVMe/FC - Broadcom/Emulex

Configurar o NVMe/FC para um adaptador Broadcom/Emulex.

Verifique se você está usando o modelo de adaptador suportado:
1. Exibir os nomes dos modelos:
  cat /sys/class/scsi_host/host*/modelname
  Você deve ver a seguinte saída:
  SN1700E2P SN1700E2P
2. Exibir as descrições dos modelos:
  cat /sys/class/scsi_host/host*/modeldesc
  Você deverá ver uma saída semelhante ao exemplo a seguir:
```
HPE SN1700E 64Gb 2p FC HBA
HPE SN1700E 64Gb 2p FC HBA
```
Verifique se você está usando o firmware Broadcom recomendado e o driver da lpfc caixa de entrada:
1. Exibir a versão do firmware:
  cat /sys/class/scsi_host/host*/fwrev
  O comando retorna as versões do firmware:
  14.4.473.14, sli-4:6:d 14.4.473.14, sli-4:6:d
2. Exibir a versão do driver da caixa de entrada:
  cat /sys/module/lpfc/version
  O exemplo a seguir mostra uma versão do driver:
  0:14.4.0.7
Para obter a lista atual de versões de firmware e drivers de adaptador suportados, consulte "Ferramenta de Matriz de interoperabilidade".
Verifique se lpfc_enable_fc4_type está definido como 3:
```
cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type
```
Verifique se você pode exibir suas portas do iniciador:
```
cat /sys/class/fc_host/host*/port_name
```
Você deverá ver uma saída semelhante a:
```
0x10005ced8c531948
0x10005ced8c531949
```
Verifique se as portas do iniciador estão online:
```
cat /sys/class/fc_host/host*/port_state
```
Você deve ver a seguinte saída:
```
Online
Online
```

Verifique se as portas do iniciador NVMe/FC estão ativadas e se as portas de destino estão visíveis:

cat /sys/class/scsi_host/host*/nvme_info

Mostrar exemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x10005ced8c531948 WWNN x20005ced8c531948 DID x082400 ONLINE
NVME RPORT       WWPN x200ed039eac79573 WWNN x200dd039eac79573 DID x060902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2001d039eac79573 WWNN x2000d039eac79573 DID x060904 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 0000000000142cfb Issue 0000000000142cfc OutIO 0000000000000001
        abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000005 Err 00000005

NVME Initiator Enabled
XRI Dist lpfc1 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc1 WWPN x10005ced8c531949 WWNN x20005ced8c531949 DID x082500 ONLINE
NVME RPORT       WWPN x2010d039eac79573 WWNN x200dd039eac79573 DID x062902 TARGET DISCSRVC ONLINE
NVME RPORT       WWPN x2007d039eac79573 WWNN x2000d039eac79573 DID x062904 TARGET DISCSRVC ONLINE

NVME Statistics
LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000
LS XMIT: Err 00000000  CMPL: xb 00000000 Err 00000000
Total FCP Cmpl 00000000000d39f1 Issue 00000000000d39f2 OutIO 0000000000000001
        abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000
FCP CMPL: xb 00000005 Err 00000005

NVMe/FC - Marvell/QLogic

Configure o NVMe/FC para um adaptador Marvell/QLogic.

Verifique se você está usando as versões de firmware e driver do adaptador compatíveis:
```
cat /sys/class/fc_host/host*/symbolic_name
```
O exemplo a seguir mostra as versões do driver e do firmware:
```
SN1700Q FW:v9.15.05 DVR:v10.02.09.400-k
SN1700Q FW:v9.15.05 DVR:v10.02.09.400-k
```
Verifique se ql2xnvmeenable está definido. Isso permite que o adaptador Marvell funcione como um iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
A saída esperada é 1.

NVMe/TCP

O protocolo NVMe/TCP não suporta a operação de conexão automática. Em vez disso, você pode descobrir os subsistemas e namespaces NVMe/TCP executando o NVMe/TCP connect ou connect-all operações manualmente.

Verifique se a porta do iniciador pode obter os dados da página de log de descoberta nos LIFs NVMe/TCP suportados:

nvme discover -t tcp -w host-traddr -a traddr

Mostrar exemplo

nvme discover -t tcp -w 192.168.165.72 -a 192.168.165.51
Discovery Log Number of Records 4, Generation counter 47
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  3
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:discovery
traddr:  192.168.165.51
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  1
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:discovery
traddr:  192.168.166.50
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  3
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
traddr:  192.168.165.51
eflags:  none
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  1
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
traddr:  192.168.166.50
eflags:  none
sectype: none

Execute o nvme connect-all comando em todos os LIFs de destino iniciador NVMe/TCP suportados nos nós:

nvme connect-all -t tcp -w host-traddr -a traddr

Mostrar exemplo

nvme connect-all -t tcp -w 192.168.166.73 -a 192.168.166.50
nvme connect-all -t tcp -w 192.168.166.73 -a 192.168.166.51
nvme connect-all -t tcp -w 192.168.165.73 -a 192.168.165.50
nvme connect-all -t tcp -w 192.168.165.73 -a 192.168.165.51

A configuração para NVMe/TCP ctrl_loss_tmo timeout é automaticamente definido como "desligado". Como resultado:

Não há limites para o número de tentativas (nova tentativa indefinida).
Você não precisa configurar manualmente um específico ctrl_loss_tmo timeout duração ao usar o nvme connect ou nvme connect-all comandos (opção -l).
Os controladores NVMe/TCP não sofrem timeouts em caso de falha de caminho e permanecem conectados indefinidamente.

Etapa 3: Opcionalmente, habilite a E/S de 1 MB para NVMe/FC.

O ONTAP relata um Tamanho Máximo de Transferência de Dados (MDTS) de 8 nos dados do Controlador de Identificação. Isso significa que o tamanho máximo da solicitação de E/S pode ser de até 1 MB. Para emitir solicitações de E/S de tamanho 1 MB para um host Broadcom NVMe/FC, você deve aumentar o lpfc valor do lpfc_sg_seg_cnt parâmetro para 256 do valor padrão de 64.

Essas etapas não se aplicam a hosts Qlogic NVMe/FC.

Passos

Defina lpfc_sg_seg_cnt o parâmetro como 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Você deverá ver uma saída semelhante ao exemplo a seguir:
```
options lpfc lpfc_sg_seg_cnt=256
```
Execute o update-initramfs comando e reinicie o host.

Verifique se o valor para lpfc_sg_seg_cnt é 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Etapa 4: Verificar os serviços de inicialização NVMe

O nvmefc-boot-connections.service e nvmf-autoconnect.service serviços de inicialização incluídos no NVMe/FC nvme-cli Os pacotes são ativados automaticamente quando o sistema é inicializado.

Após a inicialização ser concluída, verifique se o nvmefc-boot-connections.service e nvmf-autoconnect.service os serviços de inicialização estão habilitados.

Passos

Verifique se nvmf-autoconnect.service está ativado:

systemctl status nvmf-autoconnect.service

Mostrar exemplo de saída

○ nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: enabled)
     Active: inactive (dead) since Thu 2025-10-16 18:00:39 IST; 6 days ago
 Invocation: e146e0b2c339432aad6e0555a528872c
    Process: 1787 ExecStart=/usr/sbin/nvme connect-all --context=autoconnect (code=exited, status=0/SUCCESS)
   Main PID: 1787 (code=exited, status=0/SUCCESS)
   Mem peak: 2.4M
        CPU: 12ms
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: Starting nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot...
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Oct 16 18:00:39 HPE-DL365-14-176 systemd[1]: Finished nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot.

Verifique se nvmefc-boot-connections.service está ativado:

systemctl status nvmefc-boot-connections.service

Mostrar exemplo de saída

nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
     Loaded: loaded (/usr/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Thu 2025-10-16 18:00:35 IST; 6 days ago
 Invocation: acf73ac1ef7a402198d6ecc4d075fab0
    Process: 1173 ExecStart=/bin/sh -c echo add > /sys/class/fc/fc_udev_device/nvme_discovery (code=exited, status=0/SUCCESS)
   Main PID: 1173 (code=exited, status=0/SUCCESS)
   Mem peak: 2.1M
        CPU: 11ms

Oct 16 18:00:35 HPE-DL365-14-176 systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Oct 16 18:00:35 HPE-DL365-14-176 systemd[1]: Finished nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot.

Etapa 5: verificar a configuração de multipathing

Verifique se o status multipath do NVMe no kernel, o status ANA e os namespaces do ONTAP estão corretos para a configuração do NVMe-of.

Passos

Verifique se o multipath NVMe no kernel está habilitado:
```
cat /sys/module/nvme_core/parameters/multipath
```
Você deve ver a seguinte saída:
```
Y
```
Verifique se as configurações apropriadas do NVMe-oF (como, por exemplo, o modelo definido como NetApp ONTAP Controller e a política de balanceamento de carga de E/S definida como round-robin) para os namespaces do ONTAP estão sendo exibidas corretamente no host:
1. Mostre os subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Você deve ver a seguinte saída:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Exibir a política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Você deve ver a seguinte saída:
```
queue-depth
queue-depth
```

Verifique se os namespaces são criados e descobertos corretamente no host:

nvme list

Mostrar exemplo

Node          Generic     SN                   Model                    Namespace  Usage                      Format           FW Rev
------------- ----------- -------------------- ------------------------ ---------- -------------------------- ---------------- --------
/dev/nvme2n1  /dev/ng2n1  81PqYFYq2aVAAAAAAAAB NetApp ONTAP Controller   0x1         17.88  GB / 171.80  GB      4 KiB +  0 B   9.17.1

Verifique se o estado do controlador de cada caminho está ativo e tem o status ANA correto:

NVMe/FC

nvme list-subsys /dev/nvme3n9

Mostrar exemplo

nvme-subsys3 - NQN=nqn.1992-08.com.netapp:sn.94929fdb84eb11f0b624d039eac809ba:subsystem.sub_176
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
\
 +- nvme1 fc traddr=nn-0x200dd039eac79573:pn-0x2010d039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live optimized
 +- nvme3 fc traddr=nn-0x200dd039eac79573:pn-0x200ed039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live optimized
+- nvme5 fc traddr=nn-0x200dd039eac79573:pn-0x200fd039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live non-optimized
 +- nvme7 fc traddr=nn-0x200dd039eac79573:pn-0x2011d039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live non-optimized

NVMe/TCP

nvme list-subsys /dev/nvme2n3

Mostrar exemplo

nvme-subsys2 - NQN=nqn.1992-08.com.netapp:sn.c770be5d934811f0b624d039eac809ba:subsystem.sub_176
               hostnqn=nqn.2014-08.org.nvmexpress:uuid:39333550-3333-4753-4844-32594d4a524c
\
 +- nvme2 tcp traddr=192.168.166.50,trsvcid=4420,host_traddr=192.168.166.73,src_addr=192.168.166.73 live optimized
 +- nvme4 tcp traddr=192.168.165.51,trsvcid=4420,host_traddr=192.168.165.73,src_addr=192.168.165.73 live optimized
+- nvme6 tcp traddr=192.168.166.51,trsvcid=4420,host_traddr=192.168.166.73,src_addr=192.168.166.73 live non-optimized
 +- nvme8 tcp traddr=192.168.165.50,trsvcid=4420,host_traddr=192.168.165.73,src_addr=192.168.165.73 live non-optimized

Verifique se o plug-in NetApp exibe os valores corretos para cada dispositivo de namespace ONTAP:

Coluna

nvme netapp ontapdevices -o column

Mostrar exemplo

Device        Vserver               Namespace Path
------------- --------------------- ------------------------------
/dev/nvme2n9  vs_proxmox_FC_NVMeFC  /vol/vol_180_data_nvmefc4/ns

NSID       UUID                            Size
---- ------------------------------------  --------
1    e3d3d544-de8b-4787-93af-bfec7769e909  32.21GB

JSON

nvme netapp ontapdevices -o json

Mostrar exemplo

{
      "Device":"/dev/nvme2n9",
      "Vserver":"vs_proxmox_FC_NVMeFC",
      "Subsystem":"sub_176",
      "Namespace_Path":"/vol/vol_180_data_nvmefc4/ns",
      "NSID":9,
      "UUID":"e3d3d544-de8b-4787-93af-bfec7769e909",
      "LBA_Size":4096,
      "Namespace_Size":32212254720,
      "UsedBytes":67899392,
      "Version":"9.17.1"
    }
  ]

Passo 6: Revise os problemas conhecidos

Não há problemas conhecidos.

Configure o Proxmox VE 9.x para NVMe-oF com armazenamento ONTAP.

Creating your file...

Passo 1: Instale o software Proxmox VE e NVMe e verifique sua configuração.

Etapa 2: Configurar NVMe/FC e NVMe/TCP

Etapa 3: Opcionalmente, habilite a E/S de 1 MB para NVMe/FC.

Etapa 4: Verificar os serviços de inicialização NVMe

Etapa 5: verificar a configuração de multipathing

Passo 6: Revise os problemas conhecidos