将VMware vSphere 8.x与ONTAP结合使用
您可以为使用FC、FCoE和iSCSI协议的VMware vSphere 8.x版本配置ONTAP SAN主机设置。
虚拟机管理程序SAN启动
如果您决定使用 SAN 启动,则配置必须支持它。您可以使用 "NetApp 互操作性表工具" 验证您的操作系统, HBA , HBA 固件和 HBA 启动 BIOS 以及 ONTAP 版本是否受支持。
-
将 SAN 启动 LUN 映射到主机。
-
验证是否有多个可用路径。
主机操作系统启动并在多个路径上运行后、这些路径将变为可用。 -
在服务器 BIOS 中为 SAN 启动 LUN 映射到的端口启用 SAN 启动。
有关如何启用 HBA BIOS 的信息,请参见供应商专用文档。
-
重新启动主机以验证启动是否成功。
多路径
ESXi提供了一个称为本机多路径插件(NMP)的可扩展多路径模块、用于管理子插件、存储阵列类型插件(Storage Array Type Plugin、SATP)和路径选择插件(Path Selection Plugins、PSP)。默认情况下、这些SATS规则在ESXi中可用。
对于NetApp ONTAP 存储、 VMW_SATP_ALUA
默认情况下、插件与一起使用 VMW_PSP_RR
作为路径选择策略(PSP)。您可以使用以下命令进行确认:
`esxcli storage nmp satp rule list -s VMW_SATP_ALUA`
示例输出:
Name Device Vendor Model Driver Transport Options --------------------------------------------------------------------------------- VMW_SATP_ALUA LSI INF-01-00 reset_on_attempted_reserve system VMW_SATP_ALUA NETAPP reset_on_attempted_reserve system Rule Group Claim Options Default PSP PSP Options Description ------------------------------------------------------------------ tpgs_on VMW_PSP_MRU NetApp E-Series arrays with ALUA support tpgs_on VMW_PSP_RR NetApp arrays with ALUA support
非ASA配置
对于非ASA配置、应具有两组具有不同优先级的路径。优先级较高的路径为主动 / 优化路径,这意味着它们由聚合所在的控制器提供服务。优先级较低的路径处于活动状态,但未进行优化,因为它们是从其他控制器提供的。只有在优化路径不可用时、才会使用非优化路径。
以下示例显示了具有两个主动 / 优化路径和两个主动 / 非优化路径的 ONTAP LUN 的正确输出:
# esxcli storage nmp device list -d naa.600a0980383148693724545244395855
示例输出:
naa.600a0980383148693724545244395855 Device Display Name: NETAPP Fibre Channel Disk (naa.600a0980383148693724545244395855) Storage Array Type: VMW_SATP_ALUA Storage Array Type Device Config: {implicit_support=on; explicit_support=off; explicit_allow=on; alua_followover=on; action_OnRetryErrors=off; {TPG_id=1000,TPG_state=ANO}{TPG_id=1001,TPG_state=AO}} Path Selection Policy: VMW_PSP_RR Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=1: NumIOsPending=0,numBytesPending=0} Path Selection Policy Device Custom Config: Working Paths: vmhba4:C0:T0:L11, vmhba3:C0:T0:L11 Is USB: false
# esxcli storage nmp path list -d naa.600a0980383148693724545244395855
示例输出:
fc.20000024ff7f4a51:21000024ff7f4a51-fc.2009d039ea3ab21f:2003d039ea3ab21f-naa.600a0980383148693724545244395855 Runtime Name: vmhba4:C0:T0:L11 Device: naa.600a0980383148693724545244395855 Device Display Name: NETAPP Fibre Channel Disk (naa.600a0980383148693724545244395855) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1001,TPG_state=AO,RTP_id=4,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.20000024ff7f4a50:21000024ff7f4a50-fc.2009d039ea3ab21f:2002d039ea3ab21f-naa.600a0980383148693724545244395855 Runtime Name: vmhba3:C0:T0:L11 Device: naa.600a0980383148693724545244395855 Device Display Name: NETAPP Fibre Channel Disk (naa.600a0980383148693724545244395855) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1001,TPG_state=AO,RTP_id=3,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.20000024ff7f4a51:21000024ff7f4a51-fc.2009d039ea3ab21f:2001d039ea3ab21f-naa.600a0980383148693724545244395855 Runtime Name: vmhba4:C0:T3:L11 Device: naa.600a0980383148693724545244395855 Device Display Name: NETAPP Fibre Channel Disk (naa.600a0980383148693724545244395855) Group State: active unoptimized Array Priority: 0 Storage Array Type Path Config: {TPG_id=1000,TPG_state=ANO,RTP_id=2,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.20000024ff7f4a50:21000024ff7f4a50-fc.2009d039ea3ab21f:2000d039ea3ab21f-naa.600a0980383148693724545244395855 Runtime Name: vmhba3:C0:T3:L11 Device: naa.600a0980383148693724545244395855 Device Display Name: NETAPP Fibre Channel Disk (naa.600a0980383148693724545244395855) Group State: active unoptimized Array Priority: 0 Storage Array Type Path Config: {TPG_id=1000,TPG_state=ANO,RTP_id=1,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration.
所有SAN阵列配置
在全SAN阵列(ASA)配置中、指向给定LUN的所有路径均处于活动状态并已进行优化。这样可以同时通过所有路径提供I/O操作、从而提高性能。
以下示例显示了 ONTAP LUN 的正确输出:
esxcli storage nmp device list -d naa.600a098038304759563f4e7837574453
示例输出:
naa.600a098038314962485d543078486c7a Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038314962485d543078486c7a) Storage Array Type: VMW_SATP_ALUA Storage Array Type Device Config: {implicit_support=on; explicit_support=off; explicit_allow=on; alua_followover=on; action_OnRetryErrors=off; {TPG_id=1001,TPG_state=AO}{TPG_id=1000,TPG_state=AO}} Path Selection Policy: VMW_PSP_RR Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=3: NumIOsPending=0,numBytesPending=0} Path Selection Policy Device Custom Config: Working Paths: vmhba4:C0:T0:L14, vmhba4:C0:T1:L14, vmhba3:C0:T0:L14, vmhba3:C0:T1:L14 Is USB: false
# esxcli storage nmp path list -d naa.600a098038314962485d543078486c7a
示例输出:
fc.200034800d756a75:210034800d756a75-fc.2018d039ea936319:2015d039ea936319-naa.600a098038314962485d543078486c7a Runtime Name: vmhba4:C0:T0:L14 Device: naa.600a098038314962485d543078486c7a Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038314962485d543078486c7a) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1000,TPG_state=AO,RTP_id=2,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.200034800d756a75:210034800d756a75-fc.2018d039ea936319:2017d039ea936319-naa.600a098038314962485d543078486c7a Runtime Name: vmhba4:C0:T1:L14 Device: naa.600a098038314962485d543078486c7a Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038314962485d543078486c7a) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1001,TPG_state=AO,RTP_id=4,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.200034800d756a74:210034800d756a74-fc.2018d039ea936319:2014d039ea936319-naa.600a098038314962485d543078486c7a Runtime Name: vmhba3:C0:T0:L14 Device: naa.600a098038314962485d543078486c7a Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038314962485d543078486c7a) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1000,TPG_state=AO,RTP_id=1,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration. fc.200034800d756a74:210034800d756a74-fc.2018d039ea936319:2016d039ea936319-naa.600a098038314962485d543078486c7a Runtime Name: vmhba3:C0:T1:L14 Device: naa.600a098038314962485d543078486c7a Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038314962485d543078486c7a) Group State: active Array Priority: 0 Storage Array Type Path Config: {TPG_id=1001,TPG_state=AO,RTP_id=3,RTP_health=UP} Path Selection Policy Path Config: PSP VMW_PSP_RR does not support path configuration.
VVOL
虚拟卷(Vvol)是一种VMware对象类型、对应于虚拟机(Virtual Machine、VM)磁盘、其快照和快速克隆。
适用于 VMware vSphere 的 ONTAP 工具包括适用于 ONTAP 的 VASA Provider ,它为 VMware vCenter 提供了一个集成点,可用于利用基于 VVol 的存储。部署ONTAP 工具开放虚拟化设备(OVA)时、它会自动注册到vCenter Server并启用VASA Provider。
在使用 vCenter 用户界面创建 VVOL 数据存储库时,它会指导您创建 FlexVol 作为数据存储库的备份存储。ESXi主机可使用协议端点(PE)访问卷数据存储库中的卷。在 SAN 环境中,会在数据存储库中的每个 FlexVol 上创建一个 4 MB 的 LUN ,以用作 PE 。SAN PE 是一个管理逻辑单元( ALU )。VVOL 是辅助逻辑单元( SLU )。
使用 VVOL 时, SAN 环境的标准要求和最佳实践适用,包括(但不限于)以下内容:
-
在每个要使用的 SVM 的每个节点上至少创建一个 SAN LIF 。最佳做法是,每个节点至少创建两个,但不超过所需数量。
-
消除任何单点故障。在使用多个虚拟交换机时使用NIC绑定的不同网络子网上使用多个VMkernel网络接口、或者使用连接到多个物理交换机的多个物理NIC来提供HA并提高吞吐量。
-
根据需要配置分区和/或VLAN以实现主机连接。
-
验证所有必需的启动程序是否均已登录到所需SVM上的目标SVM。
要启用 VASA Provider ,您必须为 VMware vSphere 部署 ONTAP 工具。VASA Provider将为您管理所有iGroup设置、因此无需在vvol环境中创建或管理iGroup。 |
NetApp 不建议此时更改任何 VVOL 设置的默认值。
请参见 "NetApp 互操作性表工具" 适用于特定版本的 ONTAP 工具或适用于特定版本的 vSphere 和 ONTAP 的原有 VASA Provider 。
建议设置
ATS锁定
对于与 VAAI 兼容的存储和升级的 VMFS5 , ATS 锁定是 * 必填项 * 。要与 ONTAP LUN 实现适当的互操作性和最佳的 VMFS 共享存储 I/O 性能,必须锁定 ATS 。有关启用 ATS 锁定的详细信息,请参见 VMware 文档。
设置 | Default | 建议使用 ONTAP | Description |
---|---|---|---|
HardwareAcceleratedLocking |
1. |
1. |
帮助启用原子测试和设置( Atomic Test and Set , ATS )锁定 |
磁盘 IOPS |
1000 |
1. |
IOPS 限制:轮循 PSP 默认为 IOPS 限制 1000 。在这种默认情况下,发出 1000 次 I/O 操作后,将使用一个新路径。 |
disk.qFullSampSize |
0 |
32 |
在 ESXi 开始限制之前所需的队列已满或繁忙状态计数。 |
-enable Space-alloc 为映射到VMware vSphere for的所有LUN设置 UNMAP 工作。有关详细信息、请参见ONTAP 文档。
|
子操作系统超时
您可以使用建议的子操作系统调整手动配置虚拟机。调整更新后,必须重新启动子系统,更新才能生效。
-
GOS 超时值: *
子操作系统类型 | 超时 |
---|---|
Linux 变体 |
磁盘超时 = 60 |
Windows |
磁盘超时 = 60 |
Solaris |
磁盘超时 = 60 繁忙重试 = 300 未就绪重试 = 300 重置重试 = 30 最大限制 = 32 最小限制 = 8 |
验证vSphere可调功能
您可以使用以下命令验证 HardwareAcceleratedLocking
设置。
esxcli system settings advanced list --option /VMFS3/HardwareAcceleratedLocking
Path: /VMFS3/HardwareAcceleratedLocking Type: integer Int Value: 1 Default Int Value: 1 Min Value: 0 Max Value: 1 String Value: Default String Value: Valid Characters: Description: Enable hardware accelerated VMFS locking (requires compliant hardware). Please see http://kb.vmware.com/kb/2094604 before disabling this option.
验证磁盘IOPS设置
您可以使用以下命令验证IOPS设置。
esxcli storage nmp device list -d naa.600a098038304731783f506670553355
naa.600a098038304731783f506670553355 Device Display Name: NETAPP Fibre Channel Disk (naa.600a098038304731783f506670553355) Storage Array Type: VMW_SATP_ALUA Storage Array Type Device Config: {implicit_support=on; explicit_support=off; explicit_allow=on; alua_followover=on; action_OnRetryErrors=off; {TPG_id=1000,TPG_state=ANO}{TPG_id=1001,TPG_state=AO}} Path Selection Policy: VMW_PSP_RR Path Selection Policy Device Config: {policy=rr,iops=1,bytes=10485760,useANO=0; lastPathIndex=0: NumIOsPending=0,numBytesPending=0} Path Selection Policy Device Custom Config: Working Paths: vmhba4:C0:T0:L82, vmhba3:C0:T0:L82 Is USB: false
验证QFullSampleSize
您可以使用以下命令验证QFullSampleSize。
esxcli system settings advanced list --option /Disk/QFullSampleSize
Path: /Disk/QFullSampleSize Type: integer Int Value: 32 Default Int Value: 0 Min Value: 0 Max Value: 64 String Value: Default String Value: Valid Characters: Description: Default I/O samples to monitor for detecting non-transient queue full condition. Should be nonzero to enable queue depth throttling. Device specific QFull options will take precedence over this value if set.
已知问题
采用ONTAP的VMware vSphere 8.x版本存在以下已知问题:
NetApp 错误 ID | 标题 | Description |
---|---|---|
如果使用vNVMe适配器的Linux VM遇到较长的All Paths Down (APD)窗口、则会发生I/O错误 |
运行vSphere 8.x及更高版本并使用虚拟NVMe (vNVME)适配器的Linux VM会遇到I/O错误、因为默认情况下、vNVMe重试操作处于禁用状态。为了避免在所有路径关闭(All Paths Down、APD)或I/O负载繁重期间对运行旧内核的Linux VM造成中断、VMware引入了可调"VSCSIDisableNvmeRetry"以禁用vNVMe重试操作。 |