网络配置:
在运行ONTAP的系统上使用vSphere时、配置网络设置非常简单、与其他网络配置类似。
需要考虑以下几点:
-
将存储网络流量与其他网络分开。可以通过使用专用 VLAN 或单独的存储交换机来实现单独的网络。如果存储网络共享上行链路等物理路径,您可能需要 QoS 或其他上行链路端口来确保带宽充足。请勿将主机直接连接到存储;使用交换机提供冗余路径、并允许VMware HA在没有干预的情况下运行。请参见 "直连网络" 适用于追加信息 。
-
如果您的网络需要并支持巨型帧,则可以使用巨型帧,尤其是在使用 iSCSI 时。如果使用这些协议,请确保在存储和 ESXi 主机之间的路径中的所有网络设备, VLAN 等上对其进行相同的配置。否则,您可能会看到性能或连接问题。此外,还必须在 ESXi 虚拟交换机, VMkernel 端口以及每个 ONTAP 节点的物理端口或接口组上以相同的方式设置 MTU 。
-
NetApp 仅建议在 ONTAP 集群中的集群网络端口上禁用网络流量控制。对于用于数据流量的其余网络端口, NetApp 不提供其他最佳实践建议。您应根据需要启用或禁用它。有关流量控制的更多背景信息、请参见 "TR-4182"。
-
当 ESXi 和 ONTAP 存储阵列连接到以太网存储网络时, NetApp 建议将这些系统连接到的以太网端口配置为快速生成树协议( RSTP )边缘端口或使用 Cisco PortFast 功能。NetApp 建议在使用 Cisco PortFast 功能且为 ESXi 服务器或 ONTAP 存储阵列启用了 802.1Q VLAN 中继的环境中启用生成树 PortFast 中继功能。
-
NetApp 建议采用以下链路聚合最佳实践:
-
使用支持在两个独立交换机机箱上对端口进行链路聚合的交换机、并采用多机箱链路聚合组方法、例如Cisco的虚拟端口通道(vPC)。
-
对连接到ESXi的交换机端口禁用LACP、除非您使用的是配置了LACP的dvSwitches 5.1或更高版本。
-
使用LACP为具有IP哈希的动态多模式接口组的ONTAP 存储系统创建链路聚合。
-
在ESXi上使用IP哈希绑定策略。
-
下表汇总了网络配置项,并指出了这些设置的应用位置。
项目 | ESXi | 交换机 | Node | SVM |
---|---|---|---|---|
IP 地址 |
VMkernel |
否 |
否 |
是的。 |
链路聚合 |
虚拟交换机 |
是的。 |
是的。 |
否 * |
VLAN |
VMkernel 和 VM 端口组 |
是的。 |
是的。 |
否 * |
流量控制 |
NIC |
是的。 |
是的。 |
否 * |
生成树 |
否 |
是的。 |
否 |
否 |
MTU (适用于巨型帧) |
虚拟交换机和 VMkernel 端口( 9000 ) |
是(设置为最大值) |
是( 9000 ) |
否 * |
故障转移组 |
否 |
否 |
是(创建) |
是(选择) |
-
SVM LIF连接到具有VLAN、MTU和其他设置的端口、接口组或VLAN接口。但是、这些设置不会在SVM级别进行管理。
这些设备具有自己的 IP 地址进行管理,但这些地址不会在 ESXi 存储网络环境中使用。
SAN ( FC , FCoE , NVMe/FC , iSCSI ), RDM
在 vSphere 中,可以通过三种方式使用块存储 LUN :
-
使用 VMFS 数据存储库
-
使用原始设备映射( RDM )
-
作为 LUN ,由软件启动程序从 VM 子操作系统访问和控制
VMFS 是一种高性能集群文件系统,可提供共享存储池中的数据存储库。可以为 VMFS 数据存储库配置 LUN ,这些 LUN 可通过 NVMe/FC 协议访问的 FC , iSCSI , FCoE 或 NVMe 命名空间进行访问。VMFS 允许集群中的每个 ESX 服务器同时访问传统 LUN 。ONTAP 最大 LUN 大小通常为 16 TB ;因此,使用四个 16 TB LUN (所有 SAN 阵列系统均支持最大 VMFS LUN 大小为 64 TB )来创建最大 64 TB 的 VMFS 5 数据存储库(请参见本节中的第一个表)。由于 ONTAP LUN 架构不具有较小的单个队列深度,因此 ONTAP 中的 VMFS 数据存储库可以以相对简单的方式扩展到比传统阵列架构更大的程度。
vSphere 内置了对存储设备的多条路径的支持,称为原生多路径( NMP )。NMP 可以检测受支持存储系统的存储类型,并自动配置 NMP 堆栈以支持正在使用的存储系统的功能。
NMP和ONTAP都支持通过非对称逻辑单元访问(ANAA)来协商优化和非优化路径。在 ONTAP 中,经过 ALUA 优化的路径遵循直接数据路径,并使用托管所访问 LUN 的节点上的目标端口。默认情况下,在 vSphere 和 ONTAP 中均已启用 ALUA 。NMP会将ONTAP集群识别为ALOA、并使用ALOA存储阵列类型插件 (VMW_SATP_ALUA
)、然后选择循环路径选择插件 (VMW_PSP_RR
)。
ESXi 6 最多支持 256 个 LUN 以及 1 , 024 个 LUN 的总路径。ESXi 无法识别超出这些限制的任何 LUN 或路径。假设 LUN 数量达到最大值,则路径限制允许每个 LUN 使用四个路径。在较大的 ONTAP 集群中,可以在达到 LUN 限制之前达到路径限制。为了解决此限制, ONTAP 在 8.3 及更高版本中支持选择性 LUN 映射( SLM )。
SLM 会限制向给定 LUN 公布路径的节点。NetApp 最佳实践是,每个 SVM 的每个节点至少具有一个 LIF ,并使用 SLM 限制向托管 LUN 的节点及其 HA 配对节点公布的路径。虽然存在其他路径、但默认情况下不会公布这些路径。可以使用 SLM 中的添加和删除报告节点参数修改公布的路径。请注意、在8.3之前的版本中创建的LUN会公布所有路径、需要进行修改、以便仅向托管HA对公布路径。有关SLM的详细信息,请查看的第5.9节 "TR-4080"。也可以使用先前的端口集方法进一步减少 LUN 的可用路径。端口集有助于减少 igroup 中启动程序可通过的可见路径数。
-
默认情况下, SLM 处于启用状态。除非使用端口集,否则不需要进行其他配置。
-
对于在Data ONTAP 8.3之前创建的LUN、请通过运行手动应用SLM
lun mapping remove-reporting-nodes
命令以删除LUN报告节点并将LUN访问限制为LUN所属节点及其HA配对节点。
块协议( iSCSI , FC 和 FCoE )使用 LUN ID 和序列号以及唯一名称来访问 LUN 。FC 和 FCoE 使用全球通用名称( WWPN 和 WWPN ), iSCSI 使用 iSCSI 限定名称( IQN )。存储中 LUN 的路径对于块协议没有意义,并且不会显示在协议的任何位置。因此,只包含 LUN 的卷根本无需在内部挂载,而包含数据存储库中使用的 LUN 的卷则不需要接合路径。ONTAP 中的 NVMe 子系统的工作原理类似。
要考虑的其他最佳实践:
-
确保为 ONTAP 集群中每个节点上的每个 SVM 创建一个逻辑接口( LIF ),以最大程度地提高可用性和移动性。ONTAP SAN 最佳实践是,每个节点使用两个物理端口和 LIF ,每个网络结构使用一个。ALUA 用于解析路径并识别活动优化(直接)路径与活动非优化路径。ALUA 用于 FC , FCoE 和 iSCSI 。
-
对于 iSCSI 网络,如果存在多个虚拟交换机,请在采用 NIC 绑定的不同网络子网上使用多个 VMkernel 网络接口。您还可以使用连接到多个物理交换机的多个物理 NIC 来提供 HA 并提高吞吐量。下图提供了多路径连接的示例。在ONTAP中、使用单模式接口组与不同交换机建立多条链路、或者使用LACP与多模式接口组建立连接、以实现高可用性和链路聚合优势。
-
如果在ESXi中使用质询握手身份验证协议(Challenge-Handshake Authentication Protocol、CHAP)进行目标身份验证、则还必须在ONTAP中使用命令行界面配置此协议 (
vserver iscsi security create
)或使用System Manager (在"Storage">"SVM">"SVM Settings"(SVM设置)>"Protocols"(协议)>"iSCSI"下编辑"Initiator Security"(启动程序安全性)。 -
使用适用于 VMware vSphere 的 ONTAP 工具创建和管理 LUN 和 igroup 。此插件会自动确定服务器的 WWPN 并创建适当的 igroup 。它还会根据最佳实践配置 LUN 并将其映射到正确的 igroup 。
-
请谨慎使用VMM、因为它们更难管理、而且它们还会使用路径、如前文所述、这些路径会受到限制。ONTAP LUN 支持这两者 "物理和虚拟兼容模式" RDM 。
-
有关将 NVMe/FC 与 vSphere 7.0 结合使用的详细信息,请参见此部分 "《 ONTAP NVMe/FC 主机配置指南》" 和 "TR-4684."。下图显示了从vSphere主机到ONTAP LUN的多路径连接。
NFS
通过 vSphere ,客户可以使用企业级 NFS 阵列为 ESXi 集群中的所有节点提供对数据存储库的并发访问。如数据存储库一节所述,在将 NFS 与 vSphere 结合使用时,可以获得一些易用性和存储效率可见性优势。
将 ONTAP NFS 与 vSphere 结合使用时,建议采用以下最佳实践:
-
为 ONTAP 集群中每个节点上的每个 SVM 使用一个逻辑接口( LIF )。不再需要以往为每个数据存储库建议的 LIF 。虽然直接访问(LIF和同一节点上的数据存储库)是最佳选择、但无需担心间接访问、因为对性能的影响通常很小(微秒)。
-
当前支持的所有VMware vSphere版本均可同时使用NFS v3和v4.1。vSphere 8.0 Update 2 for NFS v3新增了对nconnect的官方支持。对于NFS v4.1、vSphere仍支持会话中继、Kerberos身份验证和具有完整性的Kerberos身份验证。请务必注意、会话中继需要ONTAP 9.14.1或更高版本。您可以通过了解有关nconnect功能及其如何提高性能的更多信息 "NetApp和VMware的NFSv3 nConnect功能"。
值得注意的是、NFSv3和NFSv4.1使用不同的锁定机制。NFSv3使用客户端锁定、而NFSv4.1使用服务器端锁定。虽然ONTAP卷可以通过这两种协议导出、但ESXi只能通过一种协议挂载数据存储库。但是、这并不意味着其他ESXi主机不能通过其他版本挂载同一数据存储库。为了避免出现任何问题、请务必指定挂载时要使用的协议版本、以确保所有主机使用相同版本、从而使用相同的锁定模式。请务必避免在主机之间混用NFS版本。如果可能、请使用主机配置文件检查合规性。
由于NFSv3和NFSv4.1之间不会自动转换数据存储库,因此请创建一个新的NFSv4.1数据存储库并使用Storage vMotion将VM迁移到新数据存储库。
请参阅中的NFS v4.1互操作性表说明 "NetApp 互操作性表工具" 支持所需的特定 ESXi 修补程序级别。
* NFS导出策略用于控制vSphere主机的访问。您可以对多个卷(数据存储库)使用一个策略。对于 NFSv3 , ESXi 使用 sys ( UNIX )安全模式,并需要根挂载选项来执行 VM 。在 ONTAP 中,此选项称为超级用户,使用超级用户选项时,无需指定匿名用户 ID 。请注意、的导出策略规则具有不同的值 -anon
和 -allow-suid
ONTAP 工具是否存在发生原因 SVM发现问题。下面是一个策略示例:
访问协议:nfs3.
客户端匹配规范:192.168.42.21
RO访问规则:sys.
RW访问规则:sys.
匿名UID
超级用户:sys
*如果使用适用于VMware VAAI的NetApp NFS插件、则此协议应设置为 nfs
创建或修改导出策略规则时。要使VAAI副本卸载正常工作、需要使用NFSv4协议、并将协议指定为 nfs
自动包括NFSv3和NFSv4版本。
* NFS数据存储库卷从SVM的根卷接合;因此、ESXi还必须有权访问根卷以导航和挂载数据存储库卷。根卷以及嵌套了数据存储库卷接合的任何其他卷的导出策略必须包含一条或多条适用于ESXi服务器的规则、以便为其授予只读访问权限。下面是根卷的示例策略、该策略也使用VAAI插件:
访问协议:NFS (包括nfs3和nfs4)
客户端匹配规范:192.168.42.21
RO访问规则:sys.
RW Access Rule:Never (根卷的最佳安全性)
匿名UID
超级用户:sys (使用VAAI的根卷也需要此功能)
*使用适用于VMware vSphere的ONTAP工具(最重要的最佳实践):
使用适用于VMware vSphere的ONTAP工具配置数据存储库,因为这样可以简化导出策略的自动管理。
使用此插件为VMware集群创建数据存储库时,请选择此集群,而不是单个ESX服务器。选择此选项会将数据存储库自动挂载到集群中的所有主机。
使用插件挂载功能将现有数据存储库应用于新服务器。
如果不使用适用于VMware vSphere的ONTAP工具,请对所有服务器或需要额外访问控制的每个服务器群集使用一个导出策略。
*虽然ONTAP提供了一种灵活的卷命名空间结构、可通过接合将卷排列在树中、但此方法对于vSphere没有任何价值。无论存储的命名空间层次结构如何,它都会在数据存储库的根目录下为每个 VM 创建一个目录。因此,最佳实践是,只需将 vSphere 卷的接合路径挂载到 SVM 的根卷,即适用于 VMware vSphere 的 ONTAP 工具如何配置数据存储库。如果没有嵌套的接合路径,也意味着任何卷都不依赖于根卷以外的任何卷,即使有意使某个卷脱机或销毁该卷,也不会影响指向其他卷的路径。
*对于NFS数据存储库上的NTFS分区、块大小为4k即可。下图显示了从 vSphere 主机到 ONTAP NFS 数据存储库的连接。
下表列出了 NFS 版本和支持的功能。
vSphere 功能 | NFSv3 | NFSv4.1 |
---|---|---|
VMotion 和 Storage vMotion |
是的。 |
是的。 |
高可用性 |
是的。 |
是的。 |
容错 |
是的。 |
是的。 |
DRS |
是的。 |
是的。 |
主机配置文件 |
是的。 |
是的。 |
存储 DRS |
是的。 |
否 |
存储 I/O 控制 |
是的。 |
否 |
SRM |
是的。 |
否 |
虚拟卷 |
是的。 |
否 |
硬件加速( VAAI ) |
是的。 |
是的。 |
Kerberos 身份验证 |
否 |
是(在 vSphere 6.5 及更高版本中进行了增强,可支持 AES , krb5i ) |
多路径支持 |
否 |
是(ONTAP 9.14.1) |
直连网络
存储管理员有时倾向于通过从配置中删除网络交换机来简化其基础架构。在某些情况下、可以支持此功能。
iSCSI和NVMe/TCP
使用iSCSI或NVMe/TCP的主机可以直接连接到存储系统并正常运行。原因是路径问题。直接连接到两个不同的存储控制器会导致数据流有两条独立的路径。丢失路径、端口或控制器不会阻止使用另一个路径。
NFS
可以使用直连NFS存储、但有一个重大限制—如果没有大量的脚本编写工作、故障转移将无法正常工作、这是客户的责任。
直连NFS存储的无中断故障转移之所以复杂、是因为本地操作系统上会发生路由。例如、假设主机的IP地址为192.168.1.1/24、并且直接连接到IP地址为192.168.1.50/24的ONTAP控制器。在故障转移期间、该192.168.1.50地址可以故障转移到另一个控制器、并且该地址可供主机使用、但主机如何检测到它的存在?原来的192.168.1.1地址仍然位于不再连接到操作系统的主机NIC上。发往192.168.1.50的流量将继续发送到无法运行的网络端口。
第二个操作系统NIC可配置为19 2.168.1.2、并且能够与故障转移的192.168.1.50地址通信、但本地路由表默认使用一个*且仅一个*地址与192.168.1.0/24子网通信。sysadmin可以创建一个脚本框架、用于检测失败的网络连接并更改本地路由表或启动和关闭接口。确切的操作步骤取决于所使用的操作系统。
在实践中、NetApp客户确实使用直连NFS、但通常仅适用于故障转移期间IO暂停的工作负载。使用硬挂载时、暂停期间不应出现任何IO错误。在服务还原之前、IO应挂起、可以通过故障恢复或手动干预在主机上的NIC之间移动IP地址。
FC直连
不能使用FC协议将主机直接连接到ONTAP存储系统。原因是使用了NPIV。用于向FC网络标识ONTAP FC端口的WWN使用一种称为NPIV的虚拟化类型。连接到ONTAP系统的任何设备都必须能够识别NPIV WWN。目前没有HBA供应商提供可安装在能够支持NPIV目标的主机中的HBA。