Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar Proxmox VE 8.x para NVMe-oF con almacenamiento ONTAP

12/16/2025 Colaboradores

PDF

El host Proxmox VE 8.x admite los protocolos NVMe sobre canal de fibra (NVMe/FC) y NVMe sobre TCP (NVMe/TCP) con acceso asimétrico al espacio de nombres (ANA). ANA proporciona una funcionalidad de múltiples rutas equivalente al acceso a unidad lógica asimétrica (ALUA) en entornos iSCSI y FCP.

Aprenda a configurar hosts NVMe over Fabrics (NVMe-oF) para Proxmox VE 8.x. Para obtener más información sobre asistencia y funciones, consulte "Compatibilidad y funciones de ONTAP".

NVMe-oF con Proxmox VE 8.x tiene la siguiente limitación conocida:

La configuración de arranque SAN para NVMe-FC no es compatible.

Paso 1: Instale el software Proxmox VE y NVMe y verifique su configuración

Para configurar su host para NVMe-oF, debe instalar los paquetes de software de host y NVMe, habilitar rutas múltiples y verificar la configuración NQN de su host.

Pasos

Instalar Proxmox 8.x en el servidor. Una vez completada la instalación, verifique que esté ejecutando el kernel Proxmox 8.x especificado:
```
uname -r
```
El siguiente ejemplo muestra una versión del kernel de Proxmox:
```
6.8.12-10-pve
```
Instale el nvme-cli paquete:
```
apt list|grep nvme-cli
```
El siguiente ejemplo muestra un nvme-cli versión del paquete:
```
nvme-cli/oldstable,now 2.4+really2.3-3 amd64
```
Instale el libnvme paquete:
```
apt list|grep libnvme
```
El siguiente ejemplo muestra un libnvme versión del paquete:
```
libnvme1/oldstable,now 1.3-1+deb12u1 amd64
```
En el host, verifique la cadena hostnqn en /etc/nvme/hostnqn :
```
cat /etc/nvme/hostnqn
```
El siguiente ejemplo muestra una hostnqn valor:
```
nqn.2014-08.org.nvmexpress:uuid:1536c9a6-f954-11ea-b24d-0a94efb46eaf
```

En el sistema ONTAP , verifique que hostnqn La cadena coincide con la hostnqn cadena para el subsistema correspondiente en la matriz ONTAP :

::>  vserver nvme subsystem host show -vserver proxmox_120_122

Muestra el ejemplo

Vserver Subsystem Priority  Host NQN
------- --------- --------  ---------
proxmox_120_122
proxmox_120_122
                  regular   nqn.2014-08.org.nvmexpress:uuid:1536c9a6-f954-11ea-b24d-0a94efb46eaf
                  regular   nqn.2014-08.org.nvmexpress:uuid:991a7476-f9bf-11ea-8b73-0a94efb46c3b
proxmox_120_122_tcp
                  regular   nqn.2014-08.org.nvmexpress:uuid:1536c9a6-f954-11ea-b24d-0a94efb46eaf
                  regular  nqn.2014-08.org.nvmexpress:uuid:991a7476-f9bf-11ea-8b73-0a94efb46c3b
2 entries were displayed.

Si el hostnqn Las cadenas no coinciden, utilice el vserver modify comando para actualizar el hostnqn cadena en el subsistema del sistema de almacenamiento ONTAP correspondiente para que coincida con el hostnqn cadena de /etc/nvme/hostnqn en el host.

Paso 2: Configurar NVMe/FC y NVMe/TCP

Configure NVMe/FC con adaptadores Broadcom/Emulex o Marvell/QLogic, o configure NVMe/TCP mediante operaciones de descubrimiento y conexión manuales.

NVMe/FC - Broadcom/Emulex

Configuración de NVMe/FC para un adaptador Broadcom/Emulex.

Compruebe que está utilizando el modelo de adaptador admitido:
1. Mostrar los nombres de los modelos:
  cat /sys/class/scsi_host/host*/modelname
  Debe ver la siguiente salida:
  LPe35002-M2 LPe35002-M2
2. Mostrar las descripciones del modelo:
  cat /sys/class/scsi_host/host*/modeldesc
  Debería ver un resultado similar al siguiente ejemplo:
```
Emulex LPe35002-M2 2-Port 32Gb Fibre Channel Adapter
Emulex LPe35002-M2 2-Port 32Gb Fibre Channel Adapter
```
Compruebe que está utilizando la Broadcom recomendada lpfc firmware y controlador de bandeja de entrada:
1. Mostrar la versión del firmware:
  cat /sys/class/scsi_host/host*/fwrev
  El comando devuelve las versiones del firmware:
  14.0.505.12, sli-4:6:d 14.0.505.12, sli-4:6:d
2. Mostrar la versión del controlador de la bandeja de entrada:
  cat /sys/module/lpfc/version
  El siguiente ejemplo muestra una versión del controlador:
  0:14.2.0.17
Para obtener la lista actual de versiones de firmware y controladores de adaptador compatibles, consulte la "Herramienta de matriz de interoperabilidad".

Compruebe que lpfc_enable_fc4_type se establece en 3:

cat /sys/module/lpfc/parameters/lpfc_enable_fc4_type

Compruebe que puede ver los puertos de iniciador:
```
cat /sys/class/fc_host/host*/port_name
```
Debería ver un resultado similar a este:
```
0x100000109b95467e
0x100000109b95467f
```
Compruebe que los puertos de iniciador estén en línea:
```
cat /sys/class/fc_host/host*/port_state
```
Debe ver la siguiente salida:
```
Online
Online
```

Compruebe que los puertos de iniciador NVMe/FC estén habilitados y que los puertos de destino estén visibles:

cat /sys/class/scsi_host/host*/nvme_info

Muestra el ejemplo

NVME Initiator Enabled
XRI Dist lpfc0 Total 6144 IO 5894 ELS 250
NVME LPORT lpfc0 WWPN x10005ced8c531948 WWNN x20005ced8c531948 DID x082400
ONLINE
NVME RPORT WWPN x200ed039eac79573 WWNN x200dd039eac79573 DID x060902
TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2001d039eac79573 WWNN x2000d039eac79573 DID x060904
TARGET DISCSRVC ONLINE
NVME Statistics LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 0000000000142cfb Issue 0000000000142cfc OutIO 0000000000000001 abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000005 Err 00000005 NVME Initiator Enabled XRI Dist lpfc1 Total 6144 IO 5894 ELS 250 NVME LPORT lpfc1 WWPN x10005ced8c531949 WWNN x20005ced8c531949 DID x082500
ONLINE
NVME RPORT WWPN x2010d039eac79573 WWNN x200dd039eac79573 DID x062902
TARGET DISCSRVC ONLINE
NVME RPORT WWPN x2007d039eac79573 WWNN x2000d039eac79573 DID x062904
TARGET DISCSRVC ONLINE
NVME Statistics LS: Xmt 0000000034 Cmpl 0000000034 Abort 00000000 LS XMIT: Err 00000000 CMPL: xb 00000000 Err 00000000 Total FCP Cmpl 00000000000d39f1 Issue 00000000000d39f2 OutIO 0000000000000001 abort 00000005 noxri 00000000 nondlp 00000000 qdepth 00000000 wqerr 00000000 err 00000000 FCP CMPL: xb 00000005 Err 00000005

NVMe/FC - Marvell/QLogic

Configure NVMe/FC para un adaptador Marvell/QLogic.

Verifique que esté utilizando el controlador del adaptador y las versiones de firmware compatibles:
```
cat /sys/class/fc_host/host*/symbolic_name
```
El siguiente ejemplo muestra las versiones del controlador y del firmware:
```
QLE2872 FW:v9.15.00 DVR:v10.02.09.300-k
QLE2872 FW:v9.15.00 DVR:v10.02.09.300-k
```
Compruebe que ql2xnvmeenable está configurado. Esto permite que el adaptador Marvell funcione como iniciador NVMe/FC:
```
cat /sys/module/qla2xxx/parameters/ql2xnvmeenable
```
La salida esperada es 1.

NVMe/TCP

El protocolo NVMe/TCP no admite la operación de conexión automática. En su lugar, puede descubrir los subsistemas y espacios de nombres NVMe/TCP realizando la prueba NVMe/TCP. connect o connect-all operaciones manualmente.

Verifique que el puerto iniciador pueda obtener los datos de la página de registro de descubrimiento a través de los LIF NVMe/TCP compatibles:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme discover -t tcp -w 192.168.2.22 -a 192.168.2.30

Discovery Log Number of Records 12, Generation counter 13
=====Discovery Log Entry 0======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  10
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:discovery
traddr:  192.168.2.30
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 1======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  9
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:discovery
traddr:  192.168.1.30
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 2======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  12
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:discovery
traddr:  192.168.2.25
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 3======
trtype:  tcp
adrfam:  ipv4
subtype: current discovery subsystem
treq:    not specified
portid:  11
trsvcid: 8009
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:discovery
traddr:  192.168.1.25
eflags:  explicit discovery connections, duplicate discovery information
sectype: none
=====Discovery Log Entry 4======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  10
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122
traddr:  192.168.2.30
eflags:  none
sectype: none
=====Discovery Log Entry 5======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122
traddr:  192.168.1.30
eflags:  none
sectype: none
=====Discovery Log Entry 6======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  12
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 7======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122
traddr:  192.168.1.25
eflags:  none
sectype: none
=====Discovery Log Entry 8======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  10
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
traddr:  192.168.2.30
eflags:  none
sectype: none
=====Discovery Log Entry 9======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  9
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
traddr:  192.168.1.30
eflags:  none
sectype: none
=====Discovery Log Entry 10======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  12
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
traddr:  192.168.2.25
eflags:  none
sectype: none
=====Discovery Log Entry 11======
trtype:  tcp
adrfam:  ipv4
subtype: nvme subsystem
treq:    not specified
portid:  11
trsvcid: 4420
subnqn:  nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
traddr:  192.168.1.25
eflags:  none
sectype: none

Verifique que las otras combinaciones de LIF de iniciador-destino NVMe/TCP puedan recuperar correctamente los datos de la página del registro de descubrimiento:

nvme discover -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme discover -t tcp -w 192.168.1.22 -a 192.168.1.30
nvme discover -t tcp -w 192.168.2.22 -a 192.168.2.30
nvme discover -t tcp -w 192.168.1.22 -a 192.168.1.25
nvme discover -t tcp -w 192.168.2.22 -a 192.168.2.25

Ejecute el nvme connect-all Comando en todos los LIF objetivo iniciador NVMe/TCP admitidos entre los nodos:

nvme connect-all -t tcp -w host-traddr -a traddr

Muestra el ejemplo

nvme connect-all -t tcp -w 192.168.1.22 -a 192.168.1.30
nvme connect-all -t tcp -w 192.168.2.22 -a 192.168.2.30
nvme connect-all -t tcp -w 192.168.1.22 -a 192.168.1.25
nvme connect-all -t tcp -w 192.168.2.22 -a 192.168.2.25

La configuración para NVMe/TCP ctrl_loss_tmo timeout se establece automáticamente en "apagado". Como resultado:

No hay límites en el número de reintentos (reintento indefinido).
No es necesario configurar manualmente un elemento específico. ctrl_loss_tmo timeout Duración al utilizar el nvme connect o nvme connect-all comandos (opción -l ).
Los controladores NVMe/TCP no experimentan tiempos de espera en caso de una falla de ruta y permanecen conectados indefinidamente.

Paso 3: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

ONTAP informa un tamaño máximo de transferencia de datos (MDTS) de 8 en los datos del controlador de identificación. Esto significa que el tamaño máximo de solicitud de E/S puede ser de hasta 1 MB. Para emitir solicitudes de E/S de tamaño 1 MB para un host Broadcom NVMe/FC, debe aumentar el lpfc valor de la lpfc_sg_seg_cnt parámetro a 256 desde el valor predeterminado de 64.

Estos pasos no se aplican a los hosts Qlogic NVMe/FC.

Pasos

Defina el lpfc_sg_seg_cnt parámetro en 256:
```
cat /etc/modprobe.d/lpfc.conf
```
Debería ver un resultado similar al siguiente ejemplo:
```
options lpfc lpfc_sg_seg_cnt=256
```
Ejecutar el update-initramfs comando y reinicie el host.

Compruebe que el valor de lpfc_sg_seg_cnt es 256:

cat /sys/module/lpfc/parameters/lpfc_sg_seg_cnt

Paso 4: Verificar los servicios de arranque NVMe

Con Proxmox 8.x, el nvmefc-boot-connections.service y nvmf-autoconnect.service Servicios de arranque incluidos en NVMe/FC nvme-cli Los paquetes se habilitan automáticamente cuando se inicia el sistema.

Una vez finalizado el arranque, verifique que nvmefc-boot-connections.service y nvmf-autoconnect.service Los servicios de arranque están habilitados.

Pasos

Compruebe que nvmf-autoconnect.service está activado:

systemctl status nvmf-autoconnect.service

Muestra el resultado de ejemplo

○ nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot
     Loaded: loaded (/lib/systemd/system/nvmf-autoconnect.service; enabled; preset: enabled)
     Active: inactive (dead) since Fri 2025-11-21 19:59:10 IST; 8s ago
    Process: 256613 ExecStartPre=/sbin/modprobe nvme-fabrics (code=exited, status=0/SUCCESS)
    Process: 256614 ExecStart=/usr/sbin/nvme connect-all (code=exited, status=0/SUCCESS)
   Main PID: 256614 (code=exited, status=0/SUCCESS)
        CPU: 18ms
Nov 21 19:59:07 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: Starting nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot...
Nov 21 19:59:10 SR665-14-122.lab.eng.btc.netapp.in nvme[256614]: Failed to write to /dev/nvme-fabrics: Invalid argument
Nov 21 19:59:10 SR665-14-122.lab.eng.btc.netapp.in nvme[256614]: Failed to write to /dev/nvme-fabrics: Invalid argument
Nov 21 19:59:10 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: nvmf-autoconnect.service: Deactivated successfully.
Nov 21 19:59:10 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: Finished nvmf-autoconnect.service - Connect NVMe-oF subsystems automatically during boot.

Compruebe que nvmefc-boot-connections.service está activado:

systemctl status nvmefc-boot-connections.service

Muestra el resultado de ejemplo

○ nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot
    Loaded: loaded (/lib/systemd/system/nvmefc-boot-connections.service; enabled; preset: enabled)
     Active: inactive (dead) since Thu 2025-11-20 17:48:29 IST; 1 day 2h ago
    Process: 1381 ExecStart=/bin/sh -c echo add > /sys/class/fc/fc_udev_device/nvme_discovery (code=exited, status=0/SUCCESS)
   Main PID: 1381 (code=exited, status=0/SUCCESS)
        CPU: 3ms

Nov 20 17:48:29 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: Starting nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot..
Nov 20 17:48:29 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: nvmefc-boot-connections.service: Deactivated successfully.
Nov 20 17:48:29 SR665-14-122.lab.eng.btc.netapp.in systemd[1]: Finished nvmefc-boot-connections.service - Auto-connect to subsystems on FC-NVME devices found during boot...

Paso 5: Verificar la configuración de rutas múltiples

Verifique que el estado de multivía de NVMe en kernel, el estado de ANA y los espacios de nombres de ONTAP sean correctos para la configuración de NVMe-oF.

Pasos

Compruebe que la multivía NVMe en kernel esté habilitada:
```
cat /sys/module/nvme_core/parameters/multipath
```
Debe ver la siguiente salida:
```
Y
```
Verifique que las configuraciones NVMe-oF adecuadas (por ejemplo, el modelo establecido en NetApp ONTAP Controller y la política de equilibrio de carga establecida en round-robin) para los espacios de nombres ONTAP se muestren correctamente en el host:
1. Mostrar los subsistemas:
  cat /sys/class/nvme-subsystem/nvme-subsys*/model
  Debe ver la siguiente salida:
  NetApp ONTAP Controller NetApp ONTAP Controller
2. Mostrar la política:
  cat /sys/class/nvme-subsystem/nvme-subsys*/iopolicy
  Debe ver la siguiente salida:
```
round-robin
round-robin
```

Verifique que los espacios de nombres se hayan creado y detectado correctamente en el host:

nvme list

Muestra el ejemplo

Node                  Generic               SN                   Model                                    Namespace  Usage                      Format           FW Rev
--------------------- --------------------- -------------------- ---------------------------------------- ---------- -------------------------- ---------------- --------
/dev/nvme2n20         /dev/ng2n20           81K13BUDdygsAAAAAAAG NetApp ONTAP Controller                  10          5.56  GB /  91.27  GB      4 KiB +  0 B   9.18.1

Compruebe que el estado de la controladora de cada ruta sea activo y que tenga el estado de ANA correcto:

NVMe/FC

nvme list-subsys /dev/nvme2n20

Muestra el ejemplo

nvme-subsys2 - NQN= nqn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
\
+- nvme1 fc traddr=nn-0x200dd039eac79573:pn-0x2010d039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live optimized
+- nvme3 fc traddr=nn-0x200dd039eac79573:pn-0x200ed039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live optimized
+- nvme5 fc traddr=nn-0x200dd039eac79573:pn-0x200fd039eac79573,host_traddr=nn-0x20005ced8c531949:pn-0x10005ced8c531949 live non-optimized
+- nvme7 fc traddr=nn-0x200dd039eac79573:pn-0x2011d039eac79573,host_traddr=nn-0x20005ced8c531948:pn-0x10005ced8c531948 live non-optimized

NVMe/TCP

nvme list-subsys /dev/nvme2n3

Muestra el ejemplo

nvme-subsys2 - NQN= qn.1992-08.com.netapp:sn.ae9f2d55a7ec11ef8751d039ea9e891c:subsystem.proxmox_120_122_tcp
\
+- nvme2 tcp traddr=192.168.1.30,trsvcid=4420,host_traddr=192.168.1.22,src_addr=192.168.1.22 live optimized
+- nvme4 tcp traddr=192.168.2.30,trsvcid=4420,host_traddr=192.168.2.22,src_addr=192.168.2.22 live optimized
+- nvme6 tcp traddr=192.168.1.25,trsvcid=4420,host_traddr=192.168.1.22,src_addr=192.168.1.22 live non-optimized
+- nvme8 tcp traddr=192.168.2.25,trsvcid=4420,host_traddr=192.168.2.22,src_addr=192.168.2.22 live non-optimized

Confirmar que el complemento de NetApp muestra los valores correctos para cada dispositivo de espacio de nombres ONTAP:

Columna

nvme netapp ontapdevices -o column

Muestra el ejemplo

Device        Vserver               Namespace Path
------------- --------------------- ------------------------------
/dev/nvme2n11     proxmox_120_122 / /vol/vm120_tcp1/ns

NSID       UUID                            Size
---- ------------------------------------  --------
1          5aefea74-f0cf-4794-a7e9-e113c4659aca   37.58GB

JSON

nvme netapp ontapdevices -o json

Muestra el ejemplo

{
      "Device":"/dev/nvme2n11",
      "Vserver":"proxmox_120_122",
      "Namespace_Path":"/vol/vm120_tcp1/ns",
      "NSID":1,
      "UUID":"5aefea74-f0cf-4794-a7e9-e113c4659aca",
       “Size”:”37.58GB”,
      "LBA_Data_Size":4096,
      "Namespace_Size":32212254720
    }
  ]

Paso 6: Revise los problemas conocidos

No hay problemas conocidos.

Configurar Proxmox VE 8.x para NVMe-oF con almacenamiento ONTAP

Creating your file...

Paso 1: Instale el software Proxmox VE y NVMe y verifique su configuración

Paso 2: Configurar NVMe/FC y NVMe/TCP

Paso 3: Opcionalmente, habilite 1 MB de E/S para NVMe/FC

Paso 4: Verificar los servicios de arranque NVMe

Paso 5: Verificar la configuración de rutas múltiples

Paso 6: Revise los problemas conocidos