将数据从内部 ONTAP 集群分层到 Amazon S3
建议更改
PDF
通过将非活动数据分层到 Amazon S3 来释放本地ONTAP集群上的空间。
快速入门
按照以下步骤快速入门。本主题的以下各节提供了每个步骤的详细信息。
确定要使用的配置方法选择是通过公有 Internet将内部ONTAP 集群直接连接到AWS S3、还是使用VPN或AWS Direct Connect并通过专用VPC端点接口将流量路由到AWS S3。
准备您的BlueXP Connector如果您已在AWS VPC或内部部署了Connector、则可以随时完成所有操作。如果没有、则需要创建一个连接器、将ONTAP 数据分层到AWS S3存储。您还需要自定义 Connector 的网络设置，以便它可以连接到 AWS S3 。
准备内部ONTAP 集群在BlueXP中发现您的ONTAP 集群、验证集群是否满足最低要求、并自定义网络设置、以便集群可以连接到AWS S3。
准备将Amazon S3作为分层目标为Connector设置创建和管理S3存储分段的权限。您还需要为内部ONTAP 集群设置权限、以便其可以向S3存储分段读取和写入数据。
在系统上启用BlueXP分层选择本地工作环境，为分层服务选择“启用”，然后按照提示将数据分层到 Amazon S3。
设置许可免费试用结束后、通过按需购买订阅、ONTAP BlueXP分层BYOL许可证或两者的组合为BlueXP分层付费：
-
要从 AWS Marketplace 订阅， "转到BlueXP Marketplace产品" ，选择*订阅*，然后按照提示进行操作。
-
要使用BlueXP 分层BYOL许可证支付费用，请发送电子邮件至：ng-cloud-tiering@netapp.com？Subject = Licensing[如果您需要购买许可证，请与我们联系]，然后"从BlueXP电子钱包中将其添加到您的帐户"。
连接选项的网络图
在配置从内部ONTAP 系统到AWS S3的分层时、您可以使用两种连接方法。
-
公有 连接—使用公有 S3 端点将 ONTAP 系统直接连接到 AWS S3 。
-
专用连接—使用 VPN 或 AWS Direct Connect ，并通过使用专用 IP 地址的 VPC 端点接口路由流量。
下图显示了*公有 connection*方法以及组件之间需要准备的连接。您可以使用内部安装的Connector或AWS VPC中部署的Connector。
下图显示了*专用连接*方法以及组件之间需要准备的连接。您可以使用内部安装的Connector或AWS VPC中部署的Connector。
|
Connector 和 S3 之间的通信仅用于对象存储设置。 |
准备您的连接器
BlueXP Connector是BlueXP功能的主要软件。需要使用连接器对非活动ONTAP 数据进行分层。
创建或切换连接器
如果您已在AWS VPC或内部部署了Connector、则可以随时完成所有操作。如果没有、则需要在其中任一位置创建一个连接器、以便将ONTAP 数据分层到AWS S3存储。您不能使用部署在其他云提供商中的Connector。
连接器网络连接要求
-
确保安装 Connector 的网络启用以下连接：
-
通过端口443与BlueXP分层服务和S3对象存储建立HTTPS连接 ("请参见端点列表"）
-
通过端口 443 与 ONTAP 集群管理 LIF 建立 HTTPS 连接
-
-
如果从ONTAP 集群到VPC具有直接连接或VPN连接、并且您希望连接器和S3之间的通信保持在AWS内部网络中(*专用*连接)、则需要启用连接到S3的VPC端点接口。 请参见如何设置 VPC 端点接口。
准备 ONTAP 集群
将数据分层到 Amazon S3 时， ONTAP 集群必须满足以下要求。
ONTAP 要求
- 支持的 ONTAP 平台
-
-
使用 ONTAP 9.8 及更高版本时：您可以对 AFF 系统或采用纯 SSD 聚合或全 HDD 聚合的 FAS 系统中的数据进行分层。
-
使用 ONTAP 9.7 及更早版本时：您可以对 AFF 系统或采用纯 SSD 聚合的 FAS 系统中的数据进行分层。
-
- 支持的 ONTAP 版本
-
-
ONTAP 9.2 或更高版本
-
如果您计划使用AWS PrivateLink连接到对象存储、则需要ONTAP 9.7或更高版本
-
- 支持的卷和聚合
-
BlueXP分层可分层的卷总数可能小于ONTAP 系统上的卷数。这是因为无法从某些聚合对卷进行分层。请参见ONTAP 文档 "FabricPool 不支持的功能"。
|
|
从ONTAP 9.5开始、BlueXP分层支持FlexGroup 卷。安装程序的工作方式与任何其他卷相同。 |
集群网络连接要求
-
集群需要从 Connector 到集群管理 LIF 的入站 HTTPS 连接。
集群与BlueXP分层服务之间不需要建立连接。
-
托管要分层的卷的每个 ONTAP 节点都需要一个集群间 LIF 。这些集群间 LIF 必须能够访问对象存储。
集群通过端口443从集群间LIF启动出站HTTPS连接到Amazon S3存储、以执行分层操作。ONTAP 在对象存储中读取和写入数据—对象存储从不启动，它只是响应。
-
集群间 LIF 必须与 _IP 空间 _ 关联， ONTAP 应使用此 _IP 空间 _ 连接到对象存储。 "了解有关 IP 空间的更多信息"。
设置BlueXP分层时、系统会提示您使用IP空间。您应选择与这些 LIF 关联的 IP 空间。这可能是您创建的 " 默认 "IP 空间或自定义 IP 空间。
如果您使用的 IP 空间与 " 默认 " 不同，则可能需要创建静态路由才能访问对象存储。
IP空间中的所有集群间LIF都必须能够访问对象存储。如果无法为当前IP空间配置此空间、则需要创建一个专用IP空间、其中所有集群间LIF都可以访问对象存储。
-
如果在AWS中使用专用VPC接口端点进行S3连接、则要使用HTTPS/443、您需要将S3端点证书加载到ONTAP 集群中。 请参见如何设置 VPC 端点接口并加载 S3 证书。
在BlueXP中发现您的ONTAP 集群
您需要先在BlueXP中发现内部ONTAP 集群、然后才能开始将冷数据分层到对象存储。要添加集群，您需要知道集群管理 IP 地址和管理员用户帐户的密码。
准备 AWS 环境
在为新集群设置数据分层时、系统会提示您是希望服务创建S3存储分段、还是希望在设置了Connector的AWS帐户中选择现有S3存储分段。AWS帐户必须具有可在BlueXP分层中输入的权限和访问密钥。ONTAP 集群使用访问密钥对 S3 中的数据进行分层。
默认情况下、分层服务会为您创建存储分段。如果要使用自己的存储分段、可以在启动分层激活向导之前创建一个存储分段、然后在向导中选择该存储分段。 "了解如何从BlueXP创建S3存储分段"。存储分段必须专用于存储卷中的非活动数据、不能用于任何其他用途。S3 存储分段必须位于中 "支持BlueXP分层的区域"。
|
|
如果您计划将BlueXP分层配置为使用成本较低的存储类、在该存储类中、分层数据将在特定天数后过渡到、则在AWS帐户中设置存储分段时、不能选择任何生命周期规则。BlueXP层管理生命周期过渡。 |
设置 S3 权限
您需要配置两组权限：
-
连接器的权限、以便它可以创建和管理S3存储分段。
-
内部 ONTAP 集群的权限，以便可以将数据读写到 S3 存储分段。
-
连接器权限：
-
确认 "这些S3权限" 属于IAM角色的一部分、此角色为Connector提供了权限。在首次部署Connector时、默认情况下应包括这些接口。如果没有、您需要添加任何缺少的权限。请参见 "AWS 文档：编辑 IAM 策略" 有关说明，请参见。
-
BlueXP分层创建的默认分段的前缀为"光纤 池"。如果要为存储分段使用其他前缀、则需要使用要使用的名称自定义权限。在S3权限中、您将看到一行
"Resource": ["arn:aws:s3:::fabric-pool*"]。您需要将"Fabric Pool"更改为要使用的前缀。例如、如果要使用"tiering 1 "作为分段的前缀、则应将此行更改为"Resource": ["arn:aws:s3:::tiering-1*"]。如果您希望对要用于同一BlueXP 组织中其他集群的分段使用不同的前缀、则可以为其他分段添加另一行前缀。例如：
"Resource": ["arn:aws:s3:::tiering-1*"]
"Resource": ["arn:aws:s3:::tiering-2*"]
如果您正在创建自己的存储分段、并且不使用标准前缀、则应将此行更改为
"Resource": ["arn:aws:s3:::*"]以便识别任何存储分段。但是、这可能会公开您的所有分段、而不是您为存放卷中的非活动数据而设计的分段。 -
-
集群权限：
-
激活此服务时、分层向导将提示您输入访问密钥和机密密钥。这些凭据将传递到ONTAP 集群、以便ONTAP 可以将数据分层到S3存储分段。为此，您需要创建具有以下权限的 IAM 用户：
"s3:ListAllMyBuckets", "s3:ListBucket", "s3:GetBucketLocation", "s3:GetObject", "s3:PutObject", "s3:DeleteObject"请参见 "AWS 文档：创建角色以向 IAM 用户委派权限" 了解详细信息。
-
-
创建或找到访问密钥。
BlueXP分层会将访问密钥传递到ONTAP 集群。这些凭据不会存储在BlueXP分层服务中。
使用VPC端点接口为系统配置专用连接
如果您计划使用标准公有 Internet连接、则所有权限均由Connector设置、您无需执行任何其他操作。此类型的连接如中所示 上图。
如果您希望通过互联网建立从本地数据中心到 VPC 的更安全的连接，您可以在分层激活向导中选择 AWS PrivateLink 连接。如果您计划使用VPN或AWS Direct Connect通过使用专用IP地址的VPC端点接口连接内部系统、则必须使用此功能。此连接类型显示在上述第二张图 。
-
使用 Amazon VPC 控制台或命令行创建接口端点配置。 "请参见有关使用适用于 Amazon S3 的 AWS PrivateLink 的详细信息"。
-
修改与BlueXP Connector关联的安全组配置。您必须将此策略更改为 "Custom" （自定义）（从 "Full Access" ），并且必须将其更改为 "Custom" （自定义） 添加所需的S3 Connector权限 如前面所示。
如果您使用端口80 (HTTP)与专用端点进行通信、则已设置完毕。您现在可以在集群上启用BlueXP分层。
如果您使用端口443 (HTTPS)与专用端点进行通信、则必须从VPC S3端点复制证书并将其添加到ONTAP 集群中、如接下来的4个步骤所示。
-
从 AWS 控制台获取端点的 DNS 名称。
-
从 VPC S3 端点获取证书。您可以通过执行此操作 "登录到托管BlueXP Connector的虚拟机" 并运行以下命令。输入端点的 DNS 名称时，在开头添加 " 分段 " ，替换 "* " ：
[ec2-user@ip-10-160-4-68 ~]$ openssl s_client -connect bucket.vpce-0ff5c15df7e00fbab-yxs7lt8v.s3.us-west-2.vpce.amazonaws.com:443 -showcerts -
从此命令的输出中，复制 S3 证书的数据（包括开始 / 结束证书标记之间的所有数据）：
Certificate chain 0 s:/CN=s3.us-west-2.amazonaws.com` i:/C=US/O=Amazon/OU=Server CA 1B/CN=Amazon -----BEGIN CERTIFICATE----- MIIM6zCCC9OgAwIBAgIQA7MGJ4FaDBR8uL0KR3oltTANBgkqhkiG9w0BAQsFADBG … … GqvbOz/oO2NWLLFCqI+xmkLcMiPrZy+/6Af+HH2mLCM4EsI2b+IpBmPkriWnnxo= -----END CERTIFICATE----- -
登录到 ONTAP 集群命令行界面并使用以下命令应用您复制的证书（替换您自己的 Storage VM 名称）：
cluster1::> security certificate install -vserver <svm_name> -type server-ca Please enter Certificate: Press <Enter> when done
将第一个集群中的非活动数据分层到Amazon S3
准备好 AWS 环境后，开始对第一个集群中的非活动数据进行分层。
-
IAM 用户的 AWS 访问密钥，该用户具有所需的 S3 权限。
-
选择本地ONTAP工作环境。
-
从右侧面板中单击分层服务的*启用*。
如果Amazon S3分层目标作为工作环境存在于Canvas上、则可以将集群拖动到工作环境中以启动设置向导。
-
定义对象存储名称：输入此对象存储的名称。它必须与此集群上的聚合可能使用的任何其他对象存储唯一。
-
选择提供商：选择*Amazon Web Services*并选择*继续*。
-
完成*分层设置*页面中的部分：
-
S3 存储桶：添加一个新的 S3 存储桶或选择一个现有的 S3 存储桶，选择存储桶区域，然后选择*继续*。
使用本地连接器时，您必须输入可访问现有 S3 存储桶或将要创建的新 S3 存储桶的 AWS 帐户 ID。
默认情况下会使用_光纤 池_前缀、因为连接器的IAM策略允许实例对使用该前缀命名的分段执行S3操作。例如，您可以将 S3 存储分段命名为 fabric-pool-AFF1 ，其中 AFF1 是集群的名称。您也可以为用于分层的分段定义前缀。请参见 设置S3权限 以确保您拥有识别您计划使用的任何自定义前缀的AWS权限。
-
存储类：BlueXP分层管理分层数据的生命周期过渡。数据从_Standard"类开始、但您可以创建一个规则、以便在特定天数后将其他存储类应用于数据。
选择要将分层数据转换到的 S3 存储类以及将数据分配到该类之前的天数，然后选择*继续*。例如、下面的屏幕截图显示、在对象存储中运行45天后、分层数据会从_Standard"类分配给_Standard" iA_类。
如果选择 * 将数据保留在此存储类中 * ，则数据将保留在 Standard 存储类中，不会应用任何规则。 "请参见支持的存储类"。
请注意、此生命周期规则将应用于选定存储分段中的所有对象。
-
凭证：输入具有所需 S3 权限的 IAM 用户的访问密钥 ID 和密钥，然后选择*继续*。
IAM 用户必须与您在 * S3 Bucket* 页面上选择或创建的存储分段位于同一 AWS 帐户中。
-
网络：输入网络详细信息并选择*继续*。
在ONTAP 集群中选择要分层的卷所在的IP空间。此IP空间的集群间LIF必须具有出站Internet访问权限、才能连接到云提供商的对象存储。
或者，选择是否使用先前配置的 AWS PrivateLink 。 请参见上述设置信息。 此时将显示一个对话框、帮助您完成端点配置。
您还可以通过定义"最大传输速率"来设置可用于将非活动数据上传到对象存储的网络带宽。选择*受限*单选按钮并输入可使用的最大带宽、或者选择*无限制*以指示没有限制。
-
-
在 Tier Volumes 页面上，选择要为其配置分层的卷，然后启动分层策略页面：
-
要选择所有卷，请选中标题行中的框 (
) 并选择 配置卷。 -
要选择多个卷，请选中每个卷对应的复选框 (
) 并选择 配置卷。 -
要选择单个卷，请选择行（或
图标）来表示音量。
-
-
在“分层策略”对话框中，选择分层策略，可选择调整所选卷的冷却天数，然后选择“应用”。
您已成功设置从集群上的卷到 S3 对象存储的数据分层。
您可以查看有关集群上的活动和非活动数据的信息。 "了解有关管理分层设置的更多信息"。
如果您可能希望将集群上的某些聚合中的数据分层到不同的对象存储、也可以创建额外的对象存储。或者、如果您计划使用FabricPool 镜像将分层数据复制到其他对象存储。 "了解有关管理对象存储的更多信息"。