TR-4871 - Commvault"完整备份和恢复以及NetApp StorageGRID
解决方案概述
Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Recovery for NetApp软件与NetApp NetApp StorageGRID云存储软件相结合、共同创建了一个联合数据保护解决方案许多企业希望将存储迁移到云、扩展系统并自动执行长期保留数据的策略。Commvault"完整备份和恢复"和NetApp StorageGRID提供独特且易于使用的解决方案、这些解决方案可以协同工作、帮助您满足全球数据快速增长和法规不断增长的需求。基于云的对象存储因其弹性、扩展能力以及运营和成本效益而闻名、这使其成为备份目标的自然选择。Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commvault/Commv NetApp解决方案全球所有类型的客户都采用了Commvault完 整备份和恢复以及StorageGRID组合解决方案。
在云存储上实施CommvaultComplete Backup and Recovery软件时、您有两种备份选项:
-
备份到主磁盘目标、同时将辅助副本备份到云存储。
-
将备份到云存储作为主要目标。
过去、人们认为云或对象存储的性能太低、无法用于主备份。使用主磁盘目标可以加快备份和还原过程、并将辅助副本作为冷备份保留在云上。StorageGRID代表下一代对象存储。StorageGRID的高性能、海量吞吐量以及性能和灵活性远超其他对象存储供应商。
表1列出了StorageGRID中每个备份选项的优势。
表1)主备份到磁盘加上一个辅助副本、而主备份到StorageGRID。
主备份到磁盘和辅助副本到StorageGRID | 主备份到StorageGRID | |
---|---|---|
性能 |
使用实时挂载或实时恢复时恢复速度最快:最适合第0层/第1层工作负载。 |
不能用于实时挂载或实时恢复操作。非常适合流式恢复操作和长期保留。 |
部署架构 |
使用全闪存或旋转磁盘作为第一个备份登录层。StorageGRID用作二级层。 |
使用StorageGRID作为全面的备份目标、简化部署。 |
高级功能(实时还原) |
supported |
不支持 |
目标受众
本文档面向使用StorageGRID备份和恢复解决方案的数据管理员和架构师。
解决方案技术
经过测试的解决方案将NetApp解决方案相结合、打造出功能强大的联合解决方案。
Commvault"完整备份和恢复"软件是一款企业级集成数据和信息管理解决方案、在单一平台上从头构建、并具有统一的代码库。它的所有功能都共享后端技术、从而在保护、管理和访问数据方面提供完全集成的方法所带来的无与伦比的优势和优势。该软件包含用于保护、归档、分析、复制和搜索数据的模块。这些模块共享一组通用的后端服务和高级功能、这些服务和功能可以彼此无缝交互。解决方案可解决企业中数据管理的所有方面、同时提供无限可扩展性以及前所未有的数据和信息控制。
CommVault软件平台的主要功能包括:
-
完整的数据保护解决方案、支持虚拟和物理服务器、NAS系统、基于云的基础架构和移动设备上的所有主要操作系统、应用程序和数据库。
-
通过单一控制台简化管理:您可以查看、管理和访问整个企业的所有功能以及所有数据和信息。
-
多种保护方法、包括用于电子发现的数据备份和归档、快照管理、数据复制和内容索引。
-
对磁盘和云存储使用重复数据删除、实现高效存储管理。
-
与NetApp存储阵列(例如AFF、FAS、NetApp HCI和E系列阵列)以及NetApp SolidFire®横向扩展存储系统集成。此外,还可以与NetApp Cloud Volumes ONTAP软件集成,在NetApp存储产品组合中自动创建索引化的应用程序感知型NetApp Snapshot™副本。
-
全面的虚拟基础架构管理、可支持领先的内部虚拟虚拟机管理程序和公共云超规模平台。
-
高级安全功能、可限制对关键数据的访问、提供精细管理功能、并为Active Directory用户提供单点登录访问。
-
基于策略的数据管理、支持您根据业务需求(而不是物理位置)管理数据。
-
提供最先进的最终用户体验、让您的用户能够保护、查找和恢复自己的数据。
-
API驱动的自动化、支持您使用第三方工具(如vReise Automation或Service Now)来管理数据保护和恢复操作。
有关支持的工作负载的详细信息、请访问 https://www.commvault.com/supported-technologies。
NetApp StorageGRID作为Commvault云层 是一种企业级混合云对象存储解决方案。您可以将其部署在多个站点上、无论是专用设备还是软件定义的部署。通过StorageGRID、您可以建立数据管理策略、以确定如何存储和保护数据。StorageGRID会收集您制定和实施策略所需的信息。它分析了广泛的特性和需求、包括性能、持久性、可用性、地理位置、 寿命和成本。随着数据在不同位置之间移动以及数据老化、数据将得到全面维护和保护。
StorageGRID智能策略引擎可帮助您选择以下选项之一:
-
使用纠删编码跨多个站点备份数据、以提高故障恢复能力。
-
将对象复制到远程站点、以最大程度地降低WAN延迟和成本。
当StorageGRID存储对象时、无论该对象位于何处或存在多少副本、您都可以将其作为一个对象进行访问。这种行为对于灾难恢复至关重要、因为借助这种行为、即使数据的一个备份副本损坏、StorageGRID也能够还原数据。
将备份数据保留在主存储中的成本可能很高。使用NetApp StorageGRID时、您可以通过将非活动备份数据迁移到StorageGRID来释放主存储上的空间、同时还可以从StorageGRID的众多功能中受益。备份数据的价值会随着时间的推移而变化、存储成本也会随之变化。StorageGRID可以最大限度地降低主存储的成本、同时提高数据的持久性。
解决方案设置
在实验室设置中、StorageGRID环境包含四个NetApp StorageGRID SG5712设备、一个虚拟主管理节点和一个虚拟网关节点。SG5712设备是入门级选项—一种基线配置。选择NetApp StorageGRID SG5760或SG6060等性能更高的设备选项可以显著提高性能。请咨询NetApp StorageGRID 解决方案 架构师以获得规模估算帮助。
对于其数据保护策略、StorageGRID使用集成生命周期管理(ILM)策略来管理和保护数据。在策略中自上而下评估ILM规则。我们实施了表2中所示的ILM策略。
表2) StorageGRID ILM策略。
ILM规则 | 限定符 | 载入行为 |
---|---|---|
纠删编码2+1 |
超过200 KB的对象 |
平衡 |
2副本 |
所有对象 |
双提交 |
默认规则为ILM 2复制规则。在此测试中、对任何200 KB或更大的对象应用了纠删编码2+1规则。默认规则应用于小于200 KB的对象。以这种方式应用规则是StorageGRID的最佳实践。
有关此测试环境的技术详细信息、请阅读中的解决方案设计和最佳实践一节 "借助Commvault,实现NetApp横向扩展数据保护" 技术报告。
规模估算
有关适用于您环境的特定规模估算、请咨询NetApp数据保护专家。NetApp数据保护专家可以使用CommvaultTotal Backup Storage Calculator工具来估计备份基础架构需求。该工具需要CommvaultPartner Portal访问权限。如果需要、请注册访问权限。
CommvaultSizing Inputs.
可以使用以下任务来执行发现以调整数据保护解决方案的大小:
-
确定需要保护的系统或应用程序/数据库工作负载以及相应的前端容量(以TB为单位)。
-
确定需要保护的虚拟机/文件工作负载和类似前端容量(TB)。
-
确定短期和长期保留要求。
-
确定已确定的数据集/工作负载的每日变更率百分比。
-
确定未来12、24和36个月的预计数据增长。
-
根据业务需求定义用于数据保护/恢复的RTO和RPO。
获得此信息后、便可完成备份基础架构规模估算、从而细分所需的存储容量。
StorageGRID大小指导
在执行NetApp StorageGRID规模估算之前、请考虑工作负载的以下方面:
-
可用容量
-
WORm模式
-
平均对象大小
-
性能要求
-
已应用ILM策略
可用容量需要满足您已分层到StorageGRID的备份工作负载的大小以及保留计划。
WORM模式是否启用?在Commvault"中启用WORM后、此操作将在StorageGRID上配置对象锁定。这将增加所需的对象存储容量。所需的容量因保留期限和每次备份的对象更改数而异。
平均对象大小是一个输入参数、用于帮助估算StorageGRID环境中的性能规模。Commvault"工作负载使用的平均对象大小取决于备份类型。
表3按备份类型列出了平均对象大小、并介绍了还原过程从对象存储中读取的内容。
表3) Commvault"工作负载对象大小和还原行为"。
备份类型 | 平均对象大小 | 还原行为 |
---|---|---|
在StorageGRID中创建辅助副本 |
32 MB |
完全读取32 MB对象 |
将备份定向到StorageGRID (已启用重复数据删除) |
8MB |
1 MB随机范围读取 |
将备份定向到StorageGRID (已禁用重复数据删除) |
32 MB |
完全读取32 MB对象 |
此外、了解完整备份和增量备份的性能要求有助于确定StorageGRID存储节点的规模估算。StorageGRID信息生命周期管理(ILM)策略数据保护方法可确定存储Commvaults备份所需的容量、并影响网格的规模估算。
StorageGRID ILM复制是StorageGRID用于存储对象数据的两种机制之一。当StorageGRID将对象分配给复制数据的ILM规则时、系统会为对象的数据创建精确副本、并将这些副本存储在存储节点上。
纠删编码是 StorageGRID 存储对象数据的第二种方法。当StorageGRID将对象分配给配置为创建经过删除编码的副本的ILM规则时、它会将对象数据分区为数据片段。然后、它会额外地对奇偶校验片段进行运算、并将每个片段存储在不同的存储节点上。访问某个对象时,系统会使用存储的片段重新组合该对象。如果数据片段或奇偶校验片段损坏或丢失、纠删编码算法可以使用剩余数据和奇偶校验片段的一部分重新创建该片段。
这两种机制需要不同的存储量、如以下示例所示:
-
如果存储两个复制副本、则存储开销会增加一倍。
-
如果您存储的是2+1经过删除的副本、则存储开销会增加1.5倍。
对于测试的解决方案、我们使用了单个站点上的入门级StorageGRID部署:
-
管理节点:VMware虚拟机(VM)
-
负载平衡器:VMware VM
-
存储节点:4个SG5712、带有4 TB驱动器
-
主管理节点和网关节点:具有最低生产工作负载要求的VMware VM
|
StorageGRID还支持第三方负载平衡器。 |
StorageGRID通常部署在两个或更多站点中、并采用数据保护策略来复制数据、以防止发生节点和站点级故障。通过将数据备份到StorageGRID、您的数据将受到多个副本或通过纠删编码的保护、这些编码可通过一种算法可靠地分隔和重新组合数据。
您可以使用规模估算工具 "Fusion" 调整网格大小。
扩展
您可以通过向存储节点添加存储、向现有站点添加新网格节点或添加新数据中心站点来扩展NetApp StorageGRID系统。您可以在不中断当前系统运行的情况下执行扩展。
StorageGRID可以通过为存储节点或运行负载平衡器和管理节点的物理设备使用性能更高的节点来扩展性能、也可以通过简单地添加更多节点来扩展性能。
|
有关扩展StorageGRID系统的详细信息、请参见 "《StorageGRID 11.8."。 |
StorageGRID硬件规格
表4介绍了此测试中使用的NetApp StorageGRID硬件。采用10Gbps网络连接的StorageGRID SG5712设备是入门级选项、代表了一种基线配置。也可以为SG5712配置25 Gbps网络连接。
选择NetApp StorageGRID SG5760、SG6060或全闪存SGF6112设备等性能更高的设备选项可以显著提升性能。请咨询NetApp StorageGRID 解决方案 架构师以获得规模估算帮助。
表4) SG5712硬件规格。
硬件 | 数量 | Disk | 可用容量 | 网络 |
---|---|---|---|---|
StorageGRID SG5712设备 |
4. |
48个4 TB (近线SAS HDD) |
136 TB |
10 Gbps |
Commvault"和StorageGRID软件要求
表5和表6列出了在我们的测试中安装在VMware软件上的Commvaults和NetApp StorageGRID软件的软件要求。安装了四个MediaAgent数据传输管理器和一个CommServe服务器。在测试中、我们为VMware基础架构实施了10 Gbps网络连接。
表5) CommVault软件的系统总要求。
组件 | 数量 | 数据存储库 | Size | 总计 | 所需的总IOPS |
---|---|---|---|---|---|
CommServe服务器 |
1. |
os |
500 GB |
500 GB |
不适用 |
SQL/ |
500 GB |
500 GB |
不适用 |
||
MediaAgent |
4. |
虚拟CPU (vCPU) |
16. |
64 |
不适用 |
RAM |
128 GB |
512 |
不适用 |
||
os |
500 GB |
2 TB |
不适用 |
||
索引缓存 |
2 TB |
8 TB |
200多个 |
||
DDB |
2 TB |
8 TB |
200-80000 K |
在测试环境中、VMware上的NetApp E系列E2812存储阵列上部署了一个虚拟主管理节点和一个虚拟网关节点。每个节点都位于一台单独的服务器上、具有表6中所述的最低生产环境要求:
表6) StorageGRID虚拟管理节点和网关节点的要求。
节点类型 | 数量 | vCPU | RAM | 存储 |
---|---|---|---|---|
网关节点 |
1. |
8. |
24 GB |
100 GB LUN、用于操作系统 |
管理节点 |
1. |
8. |
24 GB |
100 GB LUN、用于操作系统 200 GB LUN、用于管理节点表 200 GB LUN、用于管理节点审核日志 |
使用Commvault完 整备份和恢复以及NetApp StorageGRID运行数据保护作业
要为NetApp StorageGRID配置适用于NetApp的Commvault完 整备份和恢复、请执行以下步骤、以便在Commvault软件 中将StorageGRID添加为云库。
使用NetApp StorageGRID配置Commvault
-
登录到CommvaultCommand Center。在左侧面板上、单击"存储">"云">"添加"以查看并响应"添加云"对话框:
-
对于类型、选择NetApp StorageGRID。
-
对于MediaAgent、选择与云库关联的所有。
-
对于服务器主机、输入StorageGRID端点的IP地址或主机名以及端口号。
按照上的StorageGRID文档中的步骤进行操作 "如何配置负载平衡器端点(端口)"。确保您有一个HTTPS端口、其中包含自签名证书以及StorageGRID端点的IP地址或域名。
-
如果要使用重复数据删除、请启用此选项并提供指向重复数据删除数据库位置的路径。
-
单击保存。
创建以NetApp StorageGRID为主要目标的备份计划
-
在左侧面板上、选择Manage > Plans以查看并响应Create Server Backup Plan对话框。
-
输入计划名称。
-
选择先前创建的StorageGRID简单存储服务(S3)存储备份目标。
-
输入所需的备份保留期限和恢复点目标(RPO)。
-
单击保存。
启动备份作业以使用CommvaultSoftware和StorageGRID保护工作负载
要启动从CommvaultComplete Backup and Recovery到StorageGRID的备份作业、请执行以下步骤:
-
在CommVault Command Center上、导航到"Protect">"Virtualization (保护>虚拟化)"。
-
添加VMware vCenter Server虚拟机管理程序。
-
单击刚刚添加的虚拟机管理程序。
-
单击添加VM组以响应添加VM组对话框、以便您可以查看计划保护的vCenter环境。
-
选择一个数据存储库、一个VM或一组VM、然后为其输入一个名称。
-
选择您在上一任务中创建的备份计划。
-
单击保存以查看您创建的VM组。
-
在虚拟机组窗口的右上角、选择备份:
-
选择完整作为备份级别、(可选)备份完成后请求电子邮件、然后单击确定启动备份作业:
-
导航到作业摘要页面以查看作业指标:
基线性能测试
表7显示了基线性能测试的结果。在辅助副本操作中、四个CommvaultMediaAgent将数据备份到NetApp AFF A300系统、并在NetApp StorageGRID上创建了一个辅助副本。有关测试设置环境的详细信息、请阅读中的解决方案设计和最佳实践一节 "借助Commvault,实现NetApp横向扩展数据保护" 技术报告。
测试涉及100个VM和1000个VM、这两个测试都包含50/50的Windows和CentOS VM。
表7)基线性能测试。
操作 | 备份速度 | 恢复速度 |
---|---|---|
辅助复印 |
2 TB/小时 |
1.27 TB/小时 |
直接与对象连接和从对象连接(启用重复数据删除) |
2.2 TB/小时 |
1.22 TB/小时 |
为了测试过期性能、删除了250万个对象。如图2和图3所示、删除操作在3小时内完成、并释放了80 TB以上的空间。删除运行于上午10:30开始。
图1)在3小时内删除250万(80 TB)个对象。
图2)在3小时内释放80 TB的存储。
存储分段一致性级别建议
通过NetApp StorageGRID、最终用户可以为对简单存储服务(S3)分段中的对象执行的操作选择一致性级别。
CommVault MediaAgent是CommVault环境中的数据迁移程序。大多数情况下,MediaAgent配置为在本地写入主StorageGRID站点。因此、建议在本地主站点中使用高一致性级别。在StorageGRID中创建的Commvault"分段上设置一致性级别时、请遵循以下准则。
|
If you have a Commvault version earlier than 11.0.0 - Service Pack 16, consider upgrading Commvault to the newest version. If that is not an option, be sure to follow the guidelines for your version. |
-
Commvault11.0.0之前的版本- Service Pack 16.*在11.0.0之前的版本- Service Pack 16中,Commvault"会在还原和删减过程中对不存在的对象执行S3 head和GET操作。将存储分段一致性级别设置为强站点、以便为Commvaultvault"备份到StorageGRID实现最佳一致性级别。
-
Commvault11.0.0版- Service Pack 16及更高版本。*在11.0.0版- Service Pack 16及更高版本中、对不存在的对象执行S3机头和GET操作的数量将降至最低。将默认分段一致性级别设置为read-after-new-write、以确保StorageGRID环境中的高一致性级别。
从何处查找追加信息
要了解有关本文档中所述信息的更多信息,请查看以下文档和 / 或网站:
-
StorageGRID 1.18文档中心+
https://docs.netapp.com/us-en/storagegrid-118/ -
NetApp产品文档+
https://docs.netapp.com -
CommVault文档+
https://documentation.commvault.com/2024/essential/index.html