NetApp复制和同步技术常见问题解答
如果您只是想快速找到问题的答案,此常见问题解答可以为您提供帮助。
入门
以下问题与开始使用NetApp Copy and Sync 有关。
NetApp复制和同步如何工作?
复制和同步使用NetApp数据代理软件将数据从源同步到目标(这称为_同步关系_)。
数据代理组控制源和目标之间的同步关系。设置同步关系后,复制和同步会分析您的源系统并将其分解为多个复制流以推送到您选择的目标数据。
初始复制后,“复制和同步”会根据您设置的计划同步任何更改的数据。
14 天免费试用如何进行?
当您注册 Copy and Sync 时,14 天的免费试用期就开始了。您无需为 14 天内创建的复制和同步关系支付NetApp费用。但是,您部署的任何数据代理的所有资源费用仍然适用。
复制和同步的费用是多少?
使用复制和同步有两种类型的成本:服务费和资源费。
服务费
对于按使用量付费的定价,复制和同步服务费用按小时计算,取决于您创建的同步关系的数量。
您还可以通过NetApp代表获得复制和同步许可证。每个许可证可启用 12 个月的 20 个同步关系。
|
对于Azure NetApp Files来说,复制和同步关系是免费的。 |
资源费用
资源费用与在云中运行数据代理的计算和存储成本有关。
复制和同步如何计费以及如何管理我的订阅?
14 天免费试用期结束后,有两种方式可以支付同步关系的费用。第一个选项是从 AWS 或 Azure 订阅,这样您就可以按使用量付费或按年付费。第二种选择是直接从NetApp购买许可证。在每种情况下,您的订阅都将通过您的提供商市场进行管理,而不是通过复制和同步用户界面进行管理。
我可以在云外使用复制和同步吗?
是的,您可以在非云架构中使用复制和同步。源和目标可以驻留在本地,数据代理软件也可以驻留在本地。
请注意有关在云外使用复制和同步的以下要点:
-
数据经纪人团体需要互联网连接才能与复制和同步进行通信。
-
如果您不直接从NetApp购买许可证,则需要一个 AWS 或 Azure 帐户来进行 PAYGO Copy and Sync 计费。
如何访问复制和同步?
可从NetApp控制台进行复制和同步。从控制台左侧导航中,选择*移动性*>*复制和同步*。
什么是数据经纪人团体?
每个数据经纪人都属于一个数据经纪人组。将数据代理分组在一起有助于提高同步关系的性能。
支持的源和目标
以下问题与同步关系中支持的源和目标有关。
复制和同步支持哪些源和目标?
复制和同步支持多种不同类型的同步关系。"查看完整列表" 。
当以 Amazon S3 为目标时,数据可以分层到特定的 S3 存储类吗?
是的,当 AWS S3 是目标时,您可以选择特定的 S3 存储类:
-
标准(这是默认类)
-
智能分层
-
标准-不频繁访问
-
单区-不频繁访问
-
冰川深度档案
-
冰川灵活检索
-
冰川即时检索
Azure Blob 存储的存储层怎么样?
当 Blob 容器是目标时,您可以选择特定的 Azure Blob 存储层:
-
热存储
-
冷藏
您是否支持 Google Cloud 存储层?
是的,当 Google Cloud Storage 存储桶是目标时,您可以选择特定的存储类别:
-
标准
-
近线
-
冷线
-
归档
网络连接
以下问题与复制和同步的网络要求有关。
复制和同步的网络要求是什么?
复制和同步环境要求数据代理组通过所选协议或对象存储 API(Amazon S3、Azure Blob、IBM Cloud Object Storage)与源和目标连接。
此外,数据代理组需要通过端口 443 建立出站互联网连接,以便与复制和同步进行通信并联系其他一些服务和存储库。
欲了解更多详情,"审查网络要求" 。
我可以将代理服务器与数据代理一起使用吗?
是
复制和同步支持带有或不带有基本身份验证的代理服务器。如果在部署数据代理时指定代理服务器,则来自数据代理的所有 HTTP 和 HTTPS 流量都将通过代理路由。请注意,非 HTTP 流量(例如 NFS 或 SMB)不能通过代理服务器路由。
唯一的代理服务器限制是使用具有 NFS 或Azure NetApp Files同步关系的动态数据加密时。加密数据通过 HTTPS 发送,无法通过代理服务器路由。
数据同步
以下问题与数据同步的工作原理有关。
同步发生的频率是多少?
默认计划设置为每日同步。初始同步后,您可以:
-
将同步计划修改为所需的天数、小时数或分钟数
-
禁用同步计划
-
删除同步计划(不会丢失任何数据;只会删除同步关系)
最小同步计划是多少?
您可以安排每 1 分钟同步一次数据。
当文件同步失败时,数据代理组是否会重试?或者它超时了吗?
当单个文件传输失败时,数据代理组不会超时。相反,数据代理组在跳过该文件之前会重试 3 次。重试值可以在同步关系的设置中配置。
如果我有一个非常大的数据集怎么办?
如果单个目录包含 600,000 个或更多文件,"联系我们"以便我们可以帮助您配置数据代理组来处理有效负载。我们可能需要向数据代理组添加额外的内存。
请注意,挂载点中的文件总数没有限制。对于包含 600,000 个或更多文件的大型目录,无论其在层次结构中的级别(顶级目录或子目录)如何,都需要额外的内存。
安全性
以下问题与安全有关。
复制和同步安全吗?
是所有复制和同步网络连接均使用 "亚马逊简单队列服务 (SQS)"。
数据代理组与 Amazon S3、Azure Blob、Google Cloud Storage 和 IBM Cloud Object Storage 之间的所有通信均通过 HTTPS 协议完成。
如果您将复制和同步功能与本地(源或目标)系统一起使用,则建议使用以下几个连接选项:
-
AWS Direct Connect、Azure ExpressRoute 或 Google Cloud Interconnect 连接,非互联网路由(并且只能与您指定的云网络通信)
-
本地网关设备与云网络之间的 VPN 连接
-
为了使用 S3 存储桶、Azure Blob 存储或 Google Cloud Storage 进行额外的安全数据传输,可以建立 Amazon Private S3 Endpoint、Azure Virtual Network 服务端点或 Private Google Access。
这些方法中的任何一种都会在您的本地 NAS 服务器和复制和同步数据代理组之间建立安全连接。
复制和同步是否加密数据?
-
复制和同步支持源和目标 NFS 服务器之间的数据传输加密。"了解更多" 。
-
对于 SMB,复制和同步支持您在服务器端加密的 SMB 3.0 和 3.11 数据。复制和同步将加密数据从源复制到目标,数据在目标中保持加密状态。
复制和同步本身无法加密 SMB 数据。
-
当 Amazon S3 存储桶是同步关系中的目标时,您可以选择使用 AWS KMS 加密还是 AES-256 加密来启用数据加密。
-
当 Google 存储桶是同步关系中的目标时,您可以选择使用默认的 Google 管理的加密密钥还是您自己的 KMS 密钥。
权限
以下问题与数据权限有关。
SMB 数据权限是否同步到目标位置?
您可以设置复制和同步以保留源 SMB 共享和目标 SMB 共享之间以及从源 SMB 共享到对象存储( ONTAP S3 除外)的访问控制列表 (ACL)。
|
复制和同步不支持将 ACL 从对象存储复制到 SMB 共享。 |
NFS 数据权限是否同步到目标位置?
复制和同步会自动在 NFS 服务器之间复制 NFS 权限,如下所示:
-
NFS 版本 3:复制和同步复制权限和用户组所有者。
-
NFS 版本 4:复制和同步复制 ACL。
对象存储元数据
哪些类型的同步关系可以保留对象存储元数据?
复制和同步将对象存储元数据从源复制到目标,以实现以下类型的同步关系:
-
亚马逊 S3 → 亚马逊 S3 1
-
亚马逊 S3 → StorageGRID
-
StorageGRID→ Amazon S3
-
StorageGRID→StorageGRID
-
StorageGRID → Google 云存储
-
Google 云端存储 → StorageGRID 1
-
Google 云存储 → IBM 云对象存储 1
-
Google 云存储 → Amazon S3 1
-
亚马逊 S3 → 谷歌云存储
-
IBM 云对象存储 → Google 云存储
-
StorageGRID → IBM 云对象存储
-
IBM 云对象存储 → StorageGRID
-
IBM 云对象存储 → IBM 云对象存储
1 对于这些同步关系,您需要"创建同步关系时启用“对象复制”设置"。
在以 NFS 或 SMB 为源的同步过程中,会复制哪些类型的元数据?
默认情况下会复制用户 ID、修改时间、访问时间和 GID 等元数据。用户可以在创建同步关系时将其标记为必需,从而选择从 CIF 复制 ACL。
性能
以下问题与复制和同步性能有关。
同步关系的进度指示器代表什么?
同步关系显示数据代理组网络适配器的吞吐量。如果您使用多个数据代理来加速同步性能,那么吞吐量就是所有流量的总和。此吞吐量每 20 秒刷新一次。
我遇到了性能问题。我们可以限制并发传输的数量吗?
如果您有非常大的文件(每个文件有多个 TiB),则完成传输过程可能需要很长时间,并且性能可能会受到影响。
限制并发传输的数量可能会有所帮助。"联系我们寻求帮助" 。
为什么我的Azure NetApp Files性能低下?
当您将数据同步到Azure NetApp Files或从 Azure NetApp Files 同步数据时,如果磁盘服务级别为标准,则可能会遇到故障和性能问题。
将服务级别更改为 Premium 或 Ultra 以增强同步性能。
一个集团需要多少个数据经纪人?
当您创建新的关系时,您从组中的单个数据代理开始(除非您选择了属于加速同步关系的现有数据代理)。在许多情况下,单个数据代理可以满足同步关系的性能要求。如果没有,您可以通过向组中添加额外的数据代理来加速同步性能。但您应该首先检查可能影响同步性能的其他因素。
多种因素会影响数据传输性能。整体同步性能可能会受到网络带宽、延迟和网络拓扑以及数据代理 VM 规格和存储系统性能的影响。例如,一个组中的单个数据代理可以达到 100 MB/s,而目标上的磁盘吞吐量可能只允许 64 MB/s。结果,数据经纪商集团不断尝试复制数据,但目标无法满足数据经纪商集团的表现。
因此,请务必检查网络性能和目标磁盘吞吐量。
然后,您可以考虑通过向组中添加额外的数据代理来分担该关系的负载,从而加速同步性能。"了解如何加速同步性能" 。
删除内容
以下问题与从源和目标删除同步关系和数据有关。
如果我删除复制和同步关系会发生什么?
删除关系将停止所有未来的数据同步并终止付款。同步到目标的任何数据均保持原样。
如果我从源服务器中删除某些内容会发生什么?它也从目标中移除了吗?
默认情况下,如果您具有活动的同步关系,则在源服务器上删除的项目不会在下次同步期间从目标服务器上删除。但是每个关系的同步设置中都有一个选项,您可以在其中定义如果从源中删除了文件,则复制和同步将删除目标位置中的文件。
如果我从目标中删除某些内容会发生什么?它也从我的来源中删除了吗?
如果从目标中删除某个项目,则它不会从源中删除。这种关系是单向的——从源到目标。在下一个同步周期中,“复制和同步”会将源与目标进行比较,识别出该项目缺失,然后“复制和同步”会再次将其从源复制到目标。
数据经纪人深度探究
以下问题与数据经纪人有关。
您能解释一下数据代理的架构吗?
当然。以下是最重要的几点:
-
数据代理是在 Linux 主机上运行的 node.js 应用程序。
-
Copy and Sync 按如下方式部署数据代理:
-
AWS:来自 AWS CloudFormation 模板
-
Azure:来自 Azure 资源管理器
-
谷歌:来自 Google Cloud Deployment Manager
-
如果使用自己的Linux主机,则需要手动安装软件
-
-
数据代理软件会自动升级到最新版本。
-
数据代理使用 AWS SQS 作为可靠、安全的通信渠道并用于控制和监控。 SQS 还提供了持久层。
-
您可以向组中添加额外的数据代理以提高传输速度并增加高可用性。如果一个数据代理发生故障,则服务具有弹性。