Skip to main content
SAN hosts and cloud clients
简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

适用于采用 ONTAP 的 ESXi 7.x 的 NVMe-oF 主机配置

贡献者

您可以在运行ESXi 7.x和ONTAP 的启动程序主机上将基于网络结构的NVMe (NVMe-oF)配置为目标。

可支持性

  • 从ONTAP 9.7开始、VMware vSphere版本增加了对基于光纤通道的NVMe (NVMe/FC)的支持。

  • 从7.0U3c开始、ESXi虚拟机管理程序支持NVMe/TCP功能。

  • 从ONTAP 9.10.1开始、ONTAP 支持NVMe/TCP功能。

功能

  • ESXi 启动程序主机可以通过相同的适配器端口同时运行 NVMe/FC 和 FCP 流量。请参见 "Hardware Universe" 有关支持的 FC 适配器和控制器的列表。请参见 "NetApp 互操作性表" 有关支持的最新配置和版本列表。

  • 从 ONTAP 9.9.1 P3 开始, ESXi 7.0 Update 3 支持 NVMe/FC 功能。

  • 对于 ESXi 7.0 及更高版本, HPP (高性能插件)是 NVMe 设备的默认插件。

已知限制

不支持以下配置:

  • RDM 映射

  • VVOL

启用 NVMe/FC

  1. 检查 ESXi 主机 NQN 字符串,并验证它是否与 ONTAP 阵列上相应子系统的主机 NQN 字符串匹配:

    # esxcli nvme  info get
    Host NQN: nqn.2014-08.com.vmware:nvme:nvme-esx
    
    # vserver nvme subsystem host show -vserver vserver_nvme
      Vserver Subsystem             Host NQN
      ------- ------------------- ----------------------------------------
      vserver_nvme ss_vserver_nvme nqn.2014-08.com.vmware:nvme:nvme-esx

配置 Broadcom/Emulex

  1. 请参见,检查所需驱动程序 / 固件是否支持此配置 "NetApp 互操作性表"

  2. 设置 lpfc 驱动程序参数 lpfc_enable_FC4_type=3 以在 lpfc 驱动程序中启用 NVMe/FC 支持,然后重新启动主机。

备注 从 vSphere 7.0 Update 3 开始, brcmnvmefc 驱动程序不再可用。因此, lpfc 驱动程序现在包括先前随 brcmnvmefc 驱动程序提供的基于光纤通道的 NVMe ( NVMe/FC )功能。
备注 默认情况下,已为 LPe35000 系列适配器设置 lpfc_enable_FC4_type=3 参数。要为 LPe32000 系列和 LPe31000 系列适配器手动设置此命令,必须执行以下命令。
# esxcli system module parameters set -m lpfc -p lpfc_enable_fc4_type=3

#esxcli system module parameters list  -m lpfc | grep lpfc_enable_fc4_type
lpfc_enable_fc4_type              int     3      Defines what FC4 types are supported

#esxcli storage core adapter list
HBA Name  Driver   Link State  UID                                   Capabilities         Description
--------  -------  ----------  ------------------------------------  -------------------  -----------
vmhba1    lpfc     link-up     fc.200000109b95456f:100000109b95456f  Second Level Lun ID  (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter    FC HBA
vmhba2    lpfc     link-up     fc.200000109b954570:100000109b954570  Second Level Lun ID  (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter    FC HBA
vmhba64   lpfc     link-up     fc.200000109b95456f:100000109b95456f                       (0000:86:00.0) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter   NVMe HBA
vmhba65   lpfc     link-up     fc.200000109b954570:100000109b954570                       (0000:86:00.1) Emulex Corporation Emulex LPe36000 Fibre Channel Adapter   NVMe HBA

配置 Marvell/QLogic

步骤
  1. 请参见,检查所需驱动程序 / 固件是否支持配置 "NetApp 互操作性表"

  2. 设置 qlnativefc driver 参数 ql2xnvmesupport=1 以在 qlnativefc 驱动程序中启用 NVMe/FC 支持,然后重新启动主机。

    ` # esxcfg-module -s 'ql2xnvmesupport=1' qlnativefc`

    备注 默认情况下, QLE 277x 系列适配器会设置 qlnativefc driver 参数。要为 QLE 277x 系列适配器手动设置此命令,必须执行以下命令。
    esxcfg-module -l | grep qlnativefc
    qlnativefc               4    1912
  3. 检查适配器上是否启用了 NVMe :

      #esxcli storage core adapter list
    HBA Name  Driver      Link State  UID                                   Capabilities         Description
    --------  ----------  ----------  ------------------------------------  -------------------  -----------
     vmhba3    qlnativefc  link-up     fc.20000024ff1817ae:21000024ff1817ae  Second Level Lun ID  (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter    FC Adapter
    vmhba4    qlnativefc  link-up     fc.20000024ff1817af:21000024ff1817af  Second Level Lun ID  (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter FC Adapter
    vmhba64   qlnativefc  link-up     fc.20000024ff1817ae:21000024ff1817ae                       (0000:5e:00.0) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter  NVMe FC Adapter
    vmhba65   qlnativefc  link-up     fc.20000024ff1817af:21000024ff1817af                       (0000:5e:00.1) QLogic Corp QLE2742 Dual Port 32Gb Fibre Channel to PCIe Adapter  NVMe FC Adapter

验证 NVMe/FC

  1. 验证 NVMe/FC 适配器是否列在 ESXi 主机上:

    # esxcli nvme adapter list
    
    Adapter  Adapter Qualified Name           Transport Type  Driver      Associated Devices
    -------  -------------------------------  --------------  ----------  ------------------
    vmhba64  aqn:qlnativefc:21000024ff1817ae  FC              qlnativefc
    vmhba65  aqn:qlnativefc:21000024ff1817af  FC              qlnativefc
    vmhba66  aqn:lpfc:100000109b579d9c 	      FC              lpfc
    vmhba67  aqn:lpfc:100000109b579d9d 	      FC              lpfc
  2. 验证是否已正确创建 NVMe/FC 命名空间:

    以下示例中的 UUID 表示 NVMe/FC 命名空间设备。

    # esxcfg-mpath -b
    uuid.5084e29a6bb24fbca5ba076eda8ecd7e : NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       vmhba65:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:2f:00:a0:98:df:e3:d1
       vmhba65:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:69 WWPN: 21:00:34:80:0d:6d:72:69  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:1a:00:a0:98:df:e3:d1
       vmhba64:C0:T0:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:18:00:a0:98:df:e3:d1
       vmhba64:C0:T1:L1 LUN:1 state:active fc Adapter: WWNN: 20:00:34:80:0d:6d:72:68 WWPN: 21:00:34:80:0d:6d:72:68  Target: WWNN: 20:17:00:a0:98:df:e3:d1 WWPN: 20:19:00:a0:98:df:e3:d1
    备注 在 ONTAP 9.7 中, NVMe/FC 命名空间的默认块大小为 4k 。此默认大小与 ESXi 不兼容。因此,在为 ESXi 创建命名空间时,必须将命名空间块大小设置为 512b 。您可以使用 vserver nvme namespace create 命令执行此操作。
    示例

    vserver nvme namespace create -vserver vs_1 -path /vol/nssvol/namespace1 -size 100g -ostype vmware -block-size 512B

    请参见 "ONTAP 9 命令手册页" 了解更多详细信息。

  3. 验证相应 NVMe/FC 命名空间设备的各个 ANA 路径的状态:

    esxcli storage hpp path list -d uuid.5084e29a6bb24fbca5ba076eda8ecd7e
    fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201800a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba64:C0:T0:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active
       Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}
    
    fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:201a00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba65:C0:T1:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active
       Path Config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}
    
    fc.200034800d6d7269:210034800d6d7269-fc.201700a098dfe3d1:202f00a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba65:C0:T0:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active unoptimized
       Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}
    
    fc.200034800d6d7268:210034800d6d7268-fc.201700a098dfe3d1:201900a098dfe3d1-uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Runtime Name: vmhba64:C0:T1:L1
       Device: uuid.5084e29a6bb24fbca5ba076eda8ecd7e
       Device Display Name: NVMe Fibre Channel Disk (uuid.5084e29a6bb24fbca5ba076eda8ecd7e)
       Path State: active unoptimized
       Path Config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}

配置 NVMe/TCP

从7.0U3c开始、默认情况下会加载所需的NVMe/TCP模块。有关配置网络和NVMe/TCP适配器的信息、请参见VMware vSphere文档。

验证NVMe/TCP

步骤
  1. 验证NVMe/TCP适配器的状态。

    [root@R650-8-45:~] esxcli nvme adapter list
    Adapter    Adapter Qualified Name
    --------- -------------------------------
    vmhba64    aqn:nvmetcp:34-80-0d-30-ca-e0-T
    vmhba65    aqn:nvmetc:34-80-13d-30-ca-e1-T
    list
    Transport Type   Driver   Associated Devices
    ---------------  -------  ------------------
    TCP              nvmetcp    vmnzc2
    TCP              nvmetcp    vmnzc3
  2. 要列出NVMe/TCP连接、请使用以下命令:

    [root@R650-8-45:~] esxcli nvme controller list
    Name
    -----------
    nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.100.11:4420
    nqn.1992-08.com.netapp:sn.5e347cf68e0511ec9ec2d039ea13e6ed:subsystem.vs_name_tcp_ss#vmhba64#192.168.101.11:4420
    Controller Number  Adapter   Transport Type   IS Online
    ----------------- ---------  ---------------  ---------
    1580              vmhba64    TCP              true
    1588              vmhba65    TCP              true
  3. 要列出NVMe命名空间的路径数、请使用以下命令:

    [root@R650-8-45:~] esxcli storage hpp path list -d uuid.400bf333abf74ab8b96dc18ffadc3f99
    tcp.vmnic2:34:80:Od:30:ca:eo-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99
       Runtime Name: vmhba64:C0:T0:L3
       Device: uuid.400bf333abf74ab8b96dc18ffadc3f99
       Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99)
       Path State: active unoptimized
       Path config: {TPG_id=0,TPG_state=ANO,RTP_id=0,health=UP}
    
    tcp.vmnic3:34:80:Od:30:ca:el-tcp.unknown-uuid.400bf333abf74ab8b96dc18ffadc3f99
       Runtime Name: vmhba65:C0:T1:L3
       Device: uuid.400bf333abf74ab8b96dc18ffadc3f99
       Device Display Name: NVMe TCP Disk (uuid.400bf333abf74ab8b96dc18ffadc3f99)
       Path State: active
       Path config: {TPG_id=0,TPG_state=AO,RTP_id=0,health=UP}

已知问题

使用ONTAP的ESXi 7.x的NVMe-oF主机配置存在以下已知问题:

NetApp 错误 ID 标题 临时解决策

"1420654,"

在ONTAP 9.9.1中使用NVMe/FC协议时、ONTAP 节点不运行

检查并更正主机网络结构中的任何网络问题。如果这不起作用、请升级到可修复此问题描述 的修补程序。