将数据迁移到 StorageGRID
您可以将大量数据迁移到 StorageGRID 系统,同时使用 StorageGRID 系统执行日常操作。
在计划将大量数据迁移到StorageGRID 系统时、请使用本指南。本指南不是数据迁移的通用指南,也不包括执行迁移的详细步骤。请遵循本节中的准则和说明,确保在不影响日常操作的情况下将数据高效迁移到 StorageGRID 系统中,并确保 StorageGRID 系统能够正确处理迁移的数据。
确认 StorageGRID 系统的容量
在将大量数据迁移到 StorageGRID 系统之前,请确认 StorageGRID 系统具有处理预期卷所需的磁盘容量。
如果StorageGRID 系统包含一个归档节点、并且已将迁移对象的副本保存到近线存储(例如磁带)、请确保归档节点的存储具有足够的容量来容纳预期的已迁移数据卷。
在容量评估过程中,请查看计划迁移的对象的数据配置文件,并计算所需的磁盘容量。有关监控 StorageGRID 系统磁盘容量的详细信息,请参见 "管理存储节点" 以及的说明 "监控StorageGRID"。
确定已迁移数据的 ILM 策略
StorageGRID 系统的 ILM 策略可确定创建的副本数,副本存储到的位置以及这些副本的保留时间。ILM 策略由一组 ILM 规则组成,这些规则介绍如何筛选对象以及如何随着时间的推移管理对象数据。
根据迁移数据的使用方式以及迁移数据的要求,您可能需要为迁移的数据定义与日常操作所使用的 ILM 规则不同的唯一 ILM 规则。例如,如果日常数据管理的法规要求与迁移中包含的数据的法规要求不同,则您可能需要在不同级别的存储上为迁移的数据创建不同数量的副本。
如果可以唯一区分已迁移数据和通过日常操作保存的对象数据,则可以配置专用于已迁移数据的规则。
如果您可以使用元数据条件之一可靠地区分数据类型,则可以使用此条件定义仅适用于已迁移数据的 ILM 规则。
在开始数据迁移之前,请确保您了解 StorageGRID 系统的 ILM 策略及其如何应用于迁移的数据,并且已对 ILM 策略进行了更改并进行了测试。请参见 "使用 ILM 管理对象"。
如果未正确指定 ILM 策略发生原因 ,则可能会导致无法恢复的数据丢失。在激活 ILM 策略之前,请仔细查看对该策略所做的所有更改,以确保该策略按预期运行。 |
评估迁移对操作的影响
StorageGRID 系统旨在为对象存储和检索提供高效操作,并通过无缝创建对象数据和元数据的冗余副本提供出色的数据保护,防止数据丢失。
但是、必须按照本指南中的说明仔细管理数据迁移、以避免影响日常系统操作、或者在极端情况下、避免在StorageGRID 系统发生故障时使数据面临丢失的风险。
迁移大量数据会给系统带来额外的负载。当 StorageGRID 系统负载过重时,它对存储和检索对象的请求响应速度较慢。这可能会干扰日常操作不可或缺的存储和检索请求。迁移还可以发生原因 解决其他操作问题。例如,当存储节点接近容量时,由于批量载入而产生的大量间歇性负载可以对存储节点进行发生原因 ,使其在只读和读写之间循环,从而生成通知。
如果负载仍然繁重,则可以为 StorageGRID 系统必须执行的各种操作开发队列,以确保对象数据和元数据完全冗余。
必须按照本文档中的准则仔细管理数据迁移,以确保 StorageGRID 系统在迁移期间安全高效地运行。迁移数据时,请批量载入对象或持续限制载入。然后、持续监控StorageGRID 系统以确保不会超过各种属性值。
计划和监控数据迁移
必须根据需要计划和监控数据迁移,以确保在所需时间内根据 ILM 策略放置数据。
计划数据迁移
避免在核心运行时间迁移数据。将数据迁移限制为晚上,周末以及系统使用率较低的其他时间。
如果可能、请勿在活动频繁期间计划数据迁移。但是,如果完全避免高活动期限不可行,只要您密切监控相关属性并在其超过可接受值时采取措施,就可以安全地继续操作。
监控数据迁移
此表列出了在数据迁移期间必须监控的属性及其所代表的问题。
如果您使用具有速率限制的流量分类策略来限制载入,则可以结合下表所述的统计信息来监控观察到的速率,并根据需要降低这些限制。
监控 | Description |
---|---|
等待 ILM 评估的对象数量 |
|
目标归档系统的存储容量 |
如果 ILM 策略将已迁移数据的副本保存到目标归档存储系统(磁带或云),请监控目标归档存储系统的容量,以确保已迁移数据具有足够的容量。 |
|
如果触发了针对 * 存储故障( ARVF ) * 属性的警报,则目标归档存储系统可能已达到容量。检查目标归档存储系统并解决触发警报的任何问题。 |