將內部部署 ONTAP 的資料叢集分層至 Amazon S3
建議變更
PDF
將非作用中的資料分層至Amazon S3、以釋放內部ONTAP 資源的功能。
快速入門
請依照下列步驟快速入門。每個步驟的詳細資料請參閱本主題的下列各節。
找出您要使用的組態方法您可以選擇將內部部署ONTAP 的更新叢集直接連接至AWS S3（透過公用網際網路）、或是使用VPN或AWS Direct Connect、然後透過私有VPC端點介面將流量路由傳送至AWS S3。
準備您的BlueXP Connector如果您已在AWS VPC或內部部署部署了Connector、您就能輕鬆完成所有設定。如果沒有、則您需要建立連接器、將ONTAP 資訊分層保存至AWS S3儲存設備。您也需要自訂Connector的網路設定、以便連接至AWS S3。
準備內部部署ONTAP 的叢集在ONTAP BlueXP中探索您的叢集、確認叢集符合最低需求、並自訂網路設定、讓叢集可以連線至AWS S3。
準備Amazon S3做為分層目標設定Connector的權限、以建立及管理S3儲存區。您也需要設定內部部署ONTAP 的叢集權限、以便能夠讀取及寫入S3儲存區的資料。
在系統上啟用 BlueXP 分層選取內部工作環境、按一下「啟用」以使用分層服務、然後依照提示將資料分層至Amazon S3。
設定授權免費試用結束後、請透過隨用隨付訂閱、 ONTAP BlueXP 分層 BYOL 授權、或兩者的組合、支付 BlueXP 分層分層的費用：
-
若要從AWS Marketplace訂閱、 "前往BlueXP Marketplace產品"，單擊*訂購*，然後按照提示進行操作。
-
若要使用 BlueXP 分層 BYOL 授權付款、請寄送 mailto ： ng-cloud-tiering@netapp.com ？ subject=Licensing[ 如果您需要購買一項授權、請聯絡我們 ] 、然後寄送給我們 "將其從 BlueXP 數位錢包新增至您的帳戶"。
連線選項的網路圖表
從內部部署ONTAP 的支援系統將分層配置為AWS S3時、您可以使用兩種連線方法。
-
公共連線：使用ONTAP 公共S3端點、直接將整個系統連接至AWS S3。
-
私有連線：使用VPN或AWS Direct Connect、並透過使用私有IP位址的VPC端點介面路由流量。
下圖顯示*公用連線*方法、以及元件之間需要準備的連線。您可以使用內部部署安裝的Connector、或是部署在AWS VPC中的Connector。
下圖顯示*私有連線*方法、以及元件之間需要準備的連線。您可以使用內部部署安裝的Connector、或是部署在AWS VPC中的Connector。
|
連接器與 S3 之間的通訊僅供物件儲存設定使用。 |
準備好連接器
BlueXP Connector是用於BlueXP功能的主要軟體。需要連接器來分層處理您的非使用中ONTAP 的資訊。
建立或切換連接器
如果您已在AWS VPC或內部部署部署了Connector、您就能輕鬆完成所有設定。如果沒有、您需要在上述任一位置建立連接器、以便將ONTAP 資訊分層保存至AWS S3儲存設備。您無法使用部署於其他雲端供應商的Connector。
連接器網路需求
-
確保安裝 Connector 的網路啟用下列連線：
-
透過連接埠 443 連接到 BlueXP 分層服務和 S3 物件儲存設備的 HTTPS 連線 ("請參閱端點清單"）
-
透過連接埠443連線至ONTAP 您的SURF叢 集管理LIF的HTTPS連線
-
-
如果ONTAP 您有從您的叢集到VPC的直接連線或VPN連線、而且您想要連接器和S3之間的通訊保持在AWS內部網路（*私有*連線）中、您就必須啟用連接到S3的VPC端點介面。 瞭解如何設定VPC端點介面。
準備ONTAP 您的叢集
將資料分層至 Amazon S3 時、您的叢集必須符合下列需求。 ONTAP
需求 ONTAP
- 支援 ONTAP 的支援功能平台
-
-
使用ONTAP 更新版本的時：您可以將資料從AFF 包含FAS All SSD Aggregate或All HDD Aggregate的各種系統、或是包含All SSD Aggregate或All HDD Aggregate的系統進行分層。
-
使用ONTAP NetApp 9.7及更早版本時：您可以將AFF 資料從包含FAS All SSD Aggregate的各種系統、或是用整合式全SSD的系統進行分層。
-
- 支援 ONTAP 的支援版本
-
-
0 ： 2 或更新版本 ONTAP
-
如果您計畫使用AWS Private Link連線至物件儲存設備、則需要使用物件9.7或更新版本ONTAP
-
- 支援的磁碟區和集合體
-
BlueXP 分層可分層的磁碟區總數可能少於 ONTAP 系統上的磁碟區數量。這是因為磁碟區無法從某些集合體分層。請參閱ONTAP 的《》文件 "功能或功能不受 FabricPool 支援"。
|
|
BlueXP 分層支援從 ONTAP 9.5 開始的 FlexGroup 磁碟區。安裝程式的運作方式與任何其他 Volume 相同。 |
叢集網路連線需求
-
叢集需要連接器與叢集管理LIF之間的傳入HTTPS連線。
叢集與 BlueXP 分層服務之間不需要連線。
-
每個裝載您要分層的磁碟區的節點都需要叢集間LIF ONTAP 。這些叢集間生命體必須能夠存取物件存放區。
叢集會透過連接埠443、從叢集間的LIF連線到Amazon S3儲存設備、以進行分層作業。從物件儲存設備中讀取和寫入資料、物件儲存設備永遠不會啟動、只是回應而已。ONTAP
-
叢集間生命體必須與_IPspacer_建立關聯、ONTAP 以便連接物件儲存設備。 "深入瞭解 IPspaces"。
當您設定 BlueXP 分層時、系統會提示您輸入要使用的 IPspace 。您應該選擇這些生命區相關的IPspace。這可能是您建立的「預設」 IPspace 或自訂 IPspace 。
如果您使用的IPspace與「預設」不同、則可能需要建立靜態路由才能存取物件儲存設備。
IPspace內的所有叢集間生命體都必須擁有物件存放區的存取權。如果您無法針對目前的IPspace進行設定、則必須建立專屬的IPspace、讓所有叢集間生命週期都能存取物件存放區。
-
如果您使用AWS中的私有VPC介面端點進行S3連線、則為了使用https/443、您必須將S3端點憑證載入ONTAP 到叢集。 瞭解如何設定VPC端點介面並載入S3憑證。
在ONTAP BlueXP中探索您的叢集
您必須先在ONTAP BlueXP中探索內部部署的叢集、才能開始將冷資料分層儲存至物件儲存設備。您必須知道叢集管理IP位址和管理使用者帳戶的密碼、才能新增叢集。
準備AWS環境
當您為新叢集設定資料分層時、系統會提示您是要服務建立 S3 儲存區、還是要在設定 Connector 的 AWS 帳戶中選取現有的 S3 儲存區。AWS 帳戶必須具有權限和存取金鑰、才能在 BlueXP 分層中輸入。這個支援功能叢集使用存取金鑰來將資料分層進出 S3 。 ONTAP
根據預設、分層服務會為您建立貯體。如果您想要使用自己的貯體、可以在啟動分層啟動精靈之前先建立一個貯體、然後在精靈中選取該貯體。 "瞭解如何從 BlueXP 建立 S3 儲存區"。貯體必須專門用於儲存來自您 Volume 的非使用中資料、不得用於任何其他用途。S3儲存區必須位於 "支援 BlueXP 分層的區域"。
|
|
如果您計畫設定 BlueXP 分層以使用較低成本的儲存類別、讓階層式資料在一定天數後轉換至、則在 AWS 帳戶中設定儲存區時、您不得選擇任何生命週期規則。BlueXP 分層管理生命週期轉換。 |
設定S3權限
您需要設定兩組權限：
-
連接器的權限、以便建立和管理 S3 儲存區。
-
內部部署ONTAP 的內部資源集區的權限、讓IT能夠讀取資料並將資料寫入S3儲存區。
-
* 連接器權限 * ：
-
請確認 "這些S3權限" 是為Connector提供權限的IAM角色的一部分。在您第一次部署Connector時、預設會包含這些連接器。否則、您將需要新增任何遺失的權限。請參閱 "AWS文件：編輯IAM原則" 以取得相關指示。
-
BlueXP 分層建立的預設貯體具有「 Fabric Pool 」的前置詞。如果您想要為貯體使用不同的前置詞、則必須使用您要使用的名稱自訂權限。在 S3 權限中、您會看到一行
"Resource": ["arn:aws:s3:::fabric-pool*"]。您需要將「 Fabric Pool 」變更為您要使用的首碼。例如、如果您想要使用「分層 1 」做為貯體的首碼、請將此行變更為"Resource": ["arn:aws:s3:::tiering-1*"]。如果您想要為此同一個 BlueXP 組織中的其他叢集使用不同的貯體前置詞、您可以新增另一行、其前置詞為其他貯體的前置詞。例如：
"Resource": ["arn:aws:s3:::tiering-1*"]
"Resource": ["arn:aws:s3:::tiering-2*"]
如果您要建立自己的貯體、但不使用標準首碼、則應將此行變更為
"Resource": ["arn:aws:s3:::*"]因此任何貯體都能被辨識。不過、這可能會揭露您所有的儲存區、而非您設計用來儲存來自磁碟區的非使用中資料的儲存區。 -
-
* 叢集權限 * ：
-
啟動服務時、分層精靈會提示您輸入存取金鑰和秘密金鑰。這些認證資料會傳遞ONTAP 到S庫 叢集、ONTAP 以便讓S庫 將資料分層傳送到S3儲存庫。因此、您需要建立具有下列權限的IAM使用者：
"s3:ListAllMyBuckets", "s3:ListBucket", "s3:GetBucketLocation", "s3:GetObject", "s3:PutObject", "s3:DeleteObject"請參閱 "AWS 文件：建立角色、將權限委派給 IAM 使用者" 以取得詳細資料。
-
-
建立或找出存取金鑰。
BlueXP 分層會將存取金鑰傳給 ONTAP 叢集。這些認證不會儲存在 BlueXP 分層服務中。
使用VPC端點介面設定系統的私有連線
如果您打算使用標準的公用網際網路連線、則所有權限都是由Connector設定、您無需再做任何操作。這種連線類型顯示於 上圖第一。
如果您想要透過網際網路從內部資料中心連線至VPC、可以在分層啟動精靈中選取AWS Private Link連線。如果您打算使用VPN或AWS Direct Connect、透過使用私有IP位址的VPC端點介面來連接內部部署系統、就必須使用此功能。這種連線類型顯示於 上圖第二。
-
使用Amazon VPC主控台或命令列建立介面端點組態。 "如需使用AWS Private Link for Amazon S3的詳細資訊、請參閱"。
-
修改與BlueXP Connector相關的安全性群組組態。您必須將原則變更為「Custom（自訂）」（從「Full Access（完整存取）」）、而且您必須如此 新增所需的S3 Connector權限 如前所示。
如果您使用連接埠80（HTTP）來與私有端點通訊、您就能輕鬆完成所有設定。您現在可以在叢集上啟用 BlueXP 分層功能。
如果您使用連接埠443（HTTPS）來與私有端點通訊、則必須從VPC S3端點複製憑證、並將其新增ONTAP 至您的故障叢集、如接下來的4個步驟所示。
-
從AWS主控台取得端點的DNS名稱。
-
從VPC S3端點取得憑證。您的做法是 "登入裝載BlueXP Connector的VM" 並執行下列命令。輸入端點的DNS名稱時、請在開頭加入「pucket」、取代「*」：
[ec2-user@ip-10-160-4-68 ~]$ openssl s_client -connect bucket.vpce-0ff5c15df7e00fbab-yxs7lt8v.s3.us-west-2.vpce.amazonaws.com:443 -showcerts -
從這個命令的輸出中、複製S3憑證的資料（包括BEGIN / END憑證標記之間的所有資料）：
Certificate chain 0 s:/CN=s3.us-west-2.amazonaws.com` i:/C=US/O=Amazon/OU=Server CA 1B/CN=Amazon -----BEGIN CERTIFICATE----- MIIM6zCCC9OgAwIBAgIQA7MGJ4FaDBR8uL0KR3oltTANBgkqhkiG9w0BAQsFADBG … … GqvbOz/oO2NWLLFCqI+xmkLcMiPrZy+/6Af+HH2mLCM4EsI2b+IpBmPkriWnnxo= -----END CERTIFICATE----- -
登入ONTAP 叢集式CLI、然後套用您使用下列命令複製的憑證（替代您自己的儲存VM名稱）：
cluster1::> security certificate install -vserver <svm_name> -type server-ca Please enter Certificate: Press <Enter> when done
將非作用中資料從第一個叢集分層至Amazon S3
準備好 AWS 環境之後、請從第一個叢集開始分層處理非作用中資料。
-
具備所需 S3 權限的 IAM 使用者的 AWS 存取金鑰。
-
選擇內部ONTAP 環境的不正常運作環境。
-
從右側面板按一下「啟用」以取得分層服務。
如果Amazon S3分層目的地是以工作環境形式存在於Canvas上、您可以將叢集拖曳至工作環境、以啟動設定精靈。
-
定義物件儲存名稱：輸入此物件儲存設備的名稱。它必須與此叢集上的Aggregate所使用的任何其他物件儲存設備都是獨一無二的。
-
選擇供應商：選取* Amazon Web Services*、然後按一下*繼續*。
-
完成 * 階層設定 * 頁面中的各節：
-
* S3 Bucket * ：新增 S3 儲存貯體或選取現有的 S3 儲存貯體、選取儲存貯體區域、然後按一下 * 繼續 * 。
使用內部連接器時、您必須輸入AWS帳戶ID、以便存取現有的S3儲存區或將要建立的新S3儲存區。
根據預設、會使用 Fabric Pool 前置詞、因為 Connector 的 IAM 原則可讓執行個體對使用該確切前置詞命名的貯體執行 S3 動作。例如、您可以命名S3儲存區_Fabric集區-AFF1、其中AFF1是叢集的名稱。您也可以為用於分層的貯體定義前置詞。請參閱 設定 S3 權限 確保您擁有 AWS 權限、能夠辨識您打算使用的任何自訂首碼。
-
* 儲存類別 * ： BlueXP 分層管理階層資料的生命週期轉換。資料從 Standard 類別開始、但您可以建立規則、在特定天數後將不同的儲存類別套用至資料。
選取您要將階層式資料轉換至的 S3 儲存類別、以及資料指派至該類別之前的天數、然後按一下 * 繼續 * 。例如、下方的螢幕擷取畫面顯示、在物件儲存設備中 45 天之後、階層式資料會從 Standard 類別指派給 Standard-IA 類別。
如果您選擇*保留此儲存類別中的資料*、則資料會保留在_Standard_儲存類別中、而且不會套用任何規則。 "請參閱支援的儲存類別"。
請注意、生命週期規則會套用至所選貯體中的所有物件。
-
認證：輸入具有所需S3權限之IAM使用者的存取金鑰ID和秘密金鑰、然後按一下*繼續*。
IAM 使用者必須與您在「 * S3 Bucket * 」頁面上選取或建立的儲存區位於相同的 AWS 帳戶中。
-
網路：輸入網路詳細資料、然後按一下*繼續*。
在ONTAP 您要分層存放磁碟區的資訊區叢集中選取IPspace。此IPspace的叢集間生命體必須具有傳出網際網路存取、才能連線至雲端供應商的物件儲存設備。
您也可以選擇是否要使用先前設定的AWS Private Link。 請參閱上述設定資訊。 此時會顯示一個對話方塊、協助您完成端點組態。
您也可以定義「最大傳輸率」、設定可將非使用中資料上傳至物件儲存的網路頻寬。選取*受限*選項按鈕、然後輸入可使用的最大頻寬、或選取*無限*表示沒有限制。
-
-
在「層級磁碟區」頁面上、選取您要設定分層的磁碟區、然後啟動「層級原則」頁面：
-
若要選取所有Volume、請勾選標題列中的方塊（
），然後單擊* Configure Volume*（配置卷*）。 -
若要選取多個磁碟區、請勾選每個磁碟區的方塊（
），然後單擊* Configure Volume*（配置卷*）。 -
若要選取單一Volume、請按一下該列（或
圖示）。
-
-
在_分層原則_對話方塊中、選取分層原則、選擇性地調整所選磁碟區的冷卻天數、然後按一下*套用*。
您已成功設定從叢集上的磁碟區到 S3 物件儲存區的資料分層。
您可以檢閱叢集上作用中和非作用中資料的相關資訊。 "深入瞭解如何管理分層設定"。
您也可以建立額外的物件儲存設備、以便在叢集上的特定集合體將資料分層至不同的物件存放區。或者、如果您打算使用FabricPool 「支援物件鏡射」、將階層式資料複寫到其他物件存放區。 "深入瞭解物件存放區的管理"。