适用于采用 ONTAP 的 ESXi 7.x 的 NVMe-oF 主机配置
您可以在运行ESXi 7.x和ONTAP 的启动程序主机上将基于网络结构的NVMe (NVMe-oF)配置为目标。
可支持性
-
从ONTAP 9.7开始、VMware vSphere版本增加了对基于光纤通道的NVMe (NVMe/FC)的支持。
-
从7.0U3c开始、ESXi虚拟机管理程序支持NVMe/TCP功能。
-
从ONTAP 9.10.1开始、ONTAP 支持NVMe/TCP功能。
功能
-
ESXi 启动程序主机可以通过相同的适配器端口同时运行 NVMe/FC 和 FCP 流量。请参见 "Hardware Universe" 有关支持的 FC 适配器和控制器的列表。请参见 "NetApp 互操作性表" 有关支持的最新配置和版本列表。
-
从 ONTAP 9.9.1 P3 开始, ESXi 7.0 Update 3 支持 NVMe/FC 功能。
-
对于 ESXi 7.0 及更高版本, HPP (高性能插件)是 NVMe 设备的默认插件。
已知限制
不支持以下配置:
-
RDM 映射
-
VVOL
启用 NVMe/FC
-
检查 ESXi 主机 NQN 字符串,并验证它是否与 ONTAP 阵列上相应子系统的主机 NQN 字符串匹配:
# esxcli nvme info get Host NQN: nqn.2014-08.com.vmware:nvme:nvme-esx # vserver nvme subsystem host show -vserver vserver_nvme Vserver Subsystem Host NQN ------- ------------------- ---------------------------------------- vserver_nvme ss_vserver_nvme nqn.2014-08.com.vmware:nvme:nvme-esx
配置 Broadcom/Emulex
-
请参见,检查所需驱动程序 / 固件是否支持此配置 "NetApp 互操作性表"。
-
设置 lpfc 驱动程序参数
lpfc_enable_FC4_type=3
以在lpfc
驱动程序中启用 NVMe/FC 支持,然后重新启动主机。
|
从 vSphere 7.0 Update 3 开始, brcmnvmefc 驱动程序不再可用。因此, lpfc 驱动程序现在包括先前随 brcmnvmefc 驱动程序提供的基于光纤通道的 NVMe ( NVMe/FC )功能。
|
|
默认情况下,已为 LPe35000 系列适配器设置 lpfc_enable_FC4_type=3 参数。要为 LPe32000 系列和 LPe31000 系列适配器手动设置此命令,必须执行以下命令。
|
# esxcli system module parameters set -m lpfc -p lpfc_enable_fc4_type=3 #esxcli system module parameters list -m lpfc | grep lpfc_enable_fc4_type lpfc_enable_fc4_type int 3 Defines what FC4 types are supported #esxcli storage core adapter list HBA Name Driver Link State UID Capabilities Description -------- ------- ---------- ------------------------------------ ------------------- ----------- vmhba1 lpfc link-up fc.200000109b95456f:100000109b95456f Second Level Lun ID (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter FC HBA vmhba2 lpfc link-up fc.200000109b954570:100000109b954570 Second Level Lun ID (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter FC HBA vmhba64 lpfc link-up fc.200000109b95456f:100000109b95456f (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter NVMe HBA vmhba65 lpfc link-up fc.200000109b954570:100000109b954570 (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter NVMe HBA
配置 Marvell/QLogic
-
请参见,检查所需驱动程序 / 固件是否支持配置 "NetApp 互操作性表"。
-
设置
qlnativefc
driver 参数ql2xnvmesupport=1
以在qlnativefc
驱动程序中启用 NVMe/FC 支持,然后重新启动主机。` # esxcfg-module -s 'ql2xnvmesupport=1' qlnativefc`
默认情况下, QLE 277x 系列适配器会设置 qlnativefc
driver 参数。要为 QLE 277x 系列适配器手动设置此命令,必须执行以下命令。esxcfg-module -l | grep qlnativefc qlnativefc 4 1912
-
检查适配器上是否启用了 NVMe :
#esxcli storage core adapter list HBA Name Driver Link State UID Capabilities Description -------- ---------- ---------- ------------------------------------ ------------------- ----------- vmhba3 qlnativefc link-up fc.20000024ff1817ae:21000024ff1817ae Second Level Lun ID (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter FC Adapter vmhba4 qlnativefc link-up fc.20000024ff1817af:21000024ff1817af Second Level Lun ID (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter FC Adapter vmhba64 qlnativefc link-up fc.20000024ff1817ae:21000024ff1817ae (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter NVMe FC Adapter vmhba65 qlnativefc link-up fc.20000024ff1817af:21000024ff1817af (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter NVMe FC Adapter
验证 NVMe/FC
-
验证 NVMe/FC 适配器是否列在 ESXi 主机上:
# esxcli nvme adapter list Adapter Adapter Qualified Name Transport Type Driver Associated Devices ------- ------------------------------- -------------- ---------- ------------------ vmhba64 aqn:qlnativefc:21000024ff1817ae FC qlnativefc vmhba65 aqn:qlnativefc:21000024ff1817af FC qlnativefc vmhba66 aqn:lpfc:100000109b579d9c FC lpfc vmhba67 aqn:lpfc:100000109b579d9d FC lpfc
-
验证是否已正确创建 NVMe/FC 命名空间:
以下示例中的 UUID 表示 NVMe/FC 命名空间设备。
# esxcfg-mpath -b uuid.5084e29a6bb24fbca5ba076eda8ecd7e : NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e) vmhba65:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69 Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:2f:00:a0:98:df:e3:d1 vmhba65:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69 Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:1a:00:a0:98:df:e3:d1 vmhba64:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68 Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:18:00:a0:98:df:e3:d1 vmhba64:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68 Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:19:00:a0:98:df:e3:d1
在 ONTAP 9.7 中, NVMe/FC 命名空间的默认块大小为 4k 。此默认大小与 ESXi 不兼容。因此,在为 ESXi 创建命名空间时,必须将命名空间块大小设置为 512b 。您可以使用 vserver nvme namespace create
命令执行此操作。示例vserver nvme namespace create -vserver vs_1 -path /vol/nssvol/namespace1 -size 100g -ostype vmware -block-size 512B
请参见 "ONTAP 9 命令手册页" 了解更多详细信息。
-
验证相应 NVMe/FC 命名空间设备的各个 ANA 路径的状态:
esxcli storage hpp path list -d uuid.5084e29a6bb24fbca5ba076eda8ecd7e fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201800a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e Runtime Name: vmhba64:C0:T0:L1 Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e) Path State: active Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP} fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:201a00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e Runtime Name: vmhba65:C0:T1:L1 Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e) Path State: active Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP} fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:202f00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e Runtime Name: vmhba65:C0:T0:L1 Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e) Path State: active unoptimized Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP} fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201900a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e Runtime Name: vmhba64:C0:T1:L1 Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e) Path State: active unoptimized Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}
配置 NVMe/TCP
从7.0U3c开始、默认情况下会加载所需的NVMe/TCP模块。有关配置网络和NVMe/TCP适配器的信息、请参见VMware vSphere文档。
验证NVMe/TCP
-
验证NVMe/TCP适配器的状态。
[root@R650-8-45:~] esxcli nvme adapter list Adapter Adapter Qualified Name --------- ------------------------------- vmhba64 aqn:nvmetcp:34-80-0d-30-ca-e0-T vmhba65 aqn:nvmetc:34-80-13d-30-ca-e1-T list Transport Type Driver Associated Devices --------------- ------- ------------------ TCP nvmetcp vmnzc2 TCP nvmetcp vmnzc3
-
要列出NVMe/TCP连接、请使用以下命令:
[root@R650-8-45:~] esxcli nvme controller list Name ----------- nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.100.11:4420 nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.101.11:4420 Controller Number Adapter Transport Type IS Online ----------------- --------- --------------- --------- 1580 vmhba64 TCP true 1588 vmhba65 TCP true
-
要列出NVMe命名空间的路径数、请使用以下命令:
[root@R650-8-45:~] esxcli storage hpp path list -d uuid.400bf333abf74ab8b96dc18ffadc3f99 tcp.vmnic2:34:80:Od:30:ca:eo-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99 Runtime Name: vmhba64:C0:T0:L3 Device: uuid.400bf333abf74ab8b96dc18ffadc3f99 Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99) Path State: active unoptimized Path config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP} tcp.vmnic3:34:80:Od:30:ca:el-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99 Runtime Name: vmhba65:C0:T1:L3 Device: uuid.400bf333abf74ab8b96dc18ffadc3f99 Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99) Path State: active Path config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}
已知问题
使用ONTAP的ESXi 7.x的NVMe-oF主机配置存在以下已知问题:
NetApp 错误 ID | 标题 | 临时解决策 |
---|---|---|
在ONTAP 9.9.1中使用NVMe/FC协议时、ONTAP 节点不运行 |
检查并更正主机网络结构中的任何网络问题。如果这不起作用、请升级到可修复此问题描述 的修补程序。 |