Skip to main content
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

將內部部署 ONTAP 的資料叢集分層至 Amazon S3

貢獻者

將非作用中的資料分層至Amazon S3、以釋放內部ONTAP 資源的功能。

快速入門

請依照下列步驟快速入門。每個步驟的詳細資料請參閱本主題的下列各節。

一 找出您要使用的組態方法

您可以選擇將內部部署ONTAP 的更新叢集直接連接至AWS S3(透過公用網際網路)、或是使用VPN或AWS Direct Connect、然後透過私有VPC端點介面將流量路由傳送至AWS S3。

二 準備您的BlueXP Connector

如果您已在AWS VPC或內部部署部署了Connector、您就能輕鬆完成所有設定。如果沒有、則您需要建立連接器、將ONTAP 資訊分層保存至AWS S3儲存設備。您也需要自訂Connector的網路設定、以便連接至AWS S3。

三 準備內部部署ONTAP 的叢集

在ONTAP BlueXP中探索您的叢集、確認叢集符合最低需求、並自訂網路設定、讓叢集可以連線至AWS S3。

四 準備Amazon S3做為分層目標

設定Connector的權限、以建立及管理S3儲存區。您也需要設定內部部署ONTAP 的叢集權限、以便能夠讀取及寫入S3儲存區的資料。

五 在系統上啟用 BlueXP 分層

選取內部工作環境、按一下「啟用」以使用分層服務、然後依照提示將資料分層至Amazon S3。

六 設定授權

免費試用結束後、請透過隨用隨付訂閱、 ONTAP BlueXP 分層 BYOL 授權、或兩者的組合、支付 BlueXP 分層分層的費用:

連線選項的網路圖表

從內部部署ONTAP 的支援系統將分層配置為AWS S3時、您可以使用兩種連線方法。

  • 公共連線:使用ONTAP 公共S3端點、直接將整個系統連接至AWS S3。

  • 私有連線:使用VPN或AWS Direct Connect、並透過使用私有IP位址的VPC端點介面路由流量。

下圖顯示*公用連線*方法、以及元件之間需要準備的連線。您可以使用內部部署安裝的Connector、或是部署在AWS VPC中的Connector。

顯示 BlueXP 分層如何透過公共連線與叢集上的磁碟區和非作用中資料所在的 AWS S3 儲存區進行通訊的圖表。

下圖顯示*私有連線*方法、以及元件之間需要準備的連線。您可以使用內部部署安裝的Connector、或是部署在AWS VPC中的Connector。

顯示 BlueXP 分層如何透過私有連線與叢集上的磁碟區和非使用中資料所在的 AWS S3 儲存區進行通訊的圖表。

註 連接器與 S3 之間的通訊僅供物件儲存設定使用。

準備好連接器

BlueXP Connector是用於BlueXP功能的主要軟體。需要連接器來分層處理您的非使用中ONTAP 的資訊。

建立或切換連接器

如果您已在AWS VPC或內部部署部署了Connector、您就能輕鬆完成所有設定。如果沒有、您需要在上述任一位置建立連接器、以便將ONTAP 資訊分層保存至AWS S3儲存設備。您無法使用部署於其他雲端供應商的Connector。

連接器網路需求

  • 確保安裝 Connector 的網路啟用下列連線:

    • 透過連接埠 443 連接到 BlueXP 分層服務和 S3 物件儲存設備的 HTTPS 連線 ("請參閱端點清單"

    • 透過連接埠443連線至ONTAP 您的SURF叢 集管理LIF的HTTPS連線

  • "確認Connector具有管理S3儲存區的權限"

  • 如果ONTAP 您有從您的叢集到VPC的直接連線或VPN連線、而且您想要連接器和S3之間的通訊保持在AWS內部網路(*私有*連線)中、您就必須啟用連接到S3的VPC端點介面。 瞭解如何設定VPC端點介面。

準備ONTAP 您的叢集

將資料分層至 Amazon S3 時、您的叢集必須符合下列需求。 ONTAP

需求 ONTAP

支援 ONTAP 的支援功能平台
  • 使用ONTAP 更新版本的時:您可以將資料從AFF 包含FAS All SSD Aggregate或All HDD Aggregate的各種系統、或是包含All SSD Aggregate或All HDD Aggregate的系統進行分層。

  • 使用ONTAP NetApp 9.7及更早版本時:您可以將AFF 資料從包含FAS All SSD Aggregate的各種系統、或是用整合式全SSD的系統進行分層。

支援 ONTAP 的支援版本
  • 0 : 2 或更新版本 ONTAP

  • 如果您計畫使用AWS Private Link連線至物件儲存設備、則需要使用物件9.7或更新版本ONTAP

支援的磁碟區和集合體

BlueXP 分層可分層的磁碟區總數可能少於 ONTAP 系統上的磁碟區數量。這是因為磁碟區無法從某些集合體分層。請參閱ONTAP 的《》文件 "功能或功能不受 FabricPool 支援"

註 BlueXP 分層支援從 ONTAP 9.5 開始的 FlexGroup 磁碟區。安裝程式的運作方式與任何其他 Volume 相同。

叢集網路連線需求

  • 叢集需要連接器與叢集管理LIF之間的傳入HTTPS連線。

    叢集與 BlueXP 分層服務之間不需要連線。

  • 每個裝載您要分層的磁碟區的節點都需要叢集間LIF ONTAP 。這些叢集間生命體必須能夠存取物件存放區。

    叢集會透過連接埠443、從叢集間的LIF連線到Amazon S3儲存設備、以進行分層作業。從物件儲存設備中讀取和寫入資料、物件儲存設備永遠不會啟動、只是回應而已。ONTAP

  • 叢集間生命體必須與_IPspacer_建立關聯、ONTAP 以便連接物件儲存設備。 "深入瞭解 IPspaces"

    當您設定 BlueXP 分層時、系統會提示您輸入要使用的 IPspace 。您應該選擇這些生命區相關的IPspace。這可能是您建立的「預設」 IPspace 或自訂 IPspace 。

    如果您使用的IPspace與「預設」不同、則可能需要建立靜態路由才能存取物件儲存設備。

    IPspace內的所有叢集間生命體都必須擁有物件存放區的存取權。如果您無法針對目前的IPspace進行設定、則必須建立專屬的IPspace、讓所有叢集間生命週期都能存取物件存放區。

  • 如果您使用AWS中的私有VPC介面端點進行S3連線、則為了使用https/443、您必須將S3端點憑證載入ONTAP 到叢集。 瞭解如何設定VPC端點介面並載入S3憑證。

  • 確保ONTAP 您的叢集擁有存取S3儲存區的權限。

在ONTAP BlueXP中探索您的叢集

您必須先在ONTAP BlueXP中探索內部部署的叢集、才能開始將冷資料分層儲存至物件儲存設備。您必須知道叢集管理IP位址和管理使用者帳戶的密碼、才能新增叢集。

準備AWS環境

當您為新叢集設定資料分層時、系統會提示您是要服務建立 S3 儲存區、還是要在設定 Connector 的 AWS 帳戶中選取現有的 S3 儲存區。AWS 帳戶必須具有權限和存取金鑰、才能在 BlueXP 分層中輸入。這個支援功能叢集使用存取金鑰來將資料分層進出 S3 。 ONTAP

根據預設、分層服務會為您建立貯體。如果您想要使用自己的貯體、可以在啟動分層啟動精靈之前先建立一個貯體、然後在精靈中選取該貯體。 "瞭解如何從 BlueXP 建立 S3 儲存區"。貯體必須專門用於儲存來自您 Volume 的非使用中資料、不得用於任何其他用途。S3儲存區必須位於 "支援 BlueXP 分層的區域"

註 如果您計畫設定 BlueXP 分層以使用較低成本的儲存類別、讓階層式資料在一定天數後轉換至、則在 AWS 帳戶中設定儲存區時、您不得選擇任何生命週期規則。BlueXP 分層管理生命週期轉換。

設定S3權限

您需要設定兩組權限:

  • 連接器的權限、以便建立和管理 S3 儲存區。

  • 內部部署ONTAP 的內部資源集區的權限、讓IT能夠讀取資料並將資料寫入S3儲存區。

步驟
  1. * 連接器權限 * :

    • 請確認 "這些S3權限" 是為Connector提供權限的IAM角色的一部分。在您第一次部署Connector時、預設會包含這些連接器。否則、您將需要新增任何遺失的權限。請參閱 "AWS文件:編輯IAM原則" 以取得相關指示。

    • BlueXP 分層建立的預設貯體具有「 Fabric Pool 」的前置詞。如果您想要為貯體使用不同的前置詞、則必須使用您要使用的名稱自訂權限。在 S3 權限中、您會看到一行 "Resource": ["arn:aws:s3:::fabric-pool*"]。您需要將「 Fabric Pool 」變更為您要使用的首碼。例如、如果您想要使用「分層 1 」做為貯體的首碼、請將此行變更為 "Resource": ["arn:aws:s3:::tiering-1*"]

      如果您想在這個相同 BlueXP 帳戶中使用其他叢集的貯體使用不同的前置詞、您可以為其他貯體新增另一行前置詞。例如:

      "Resource": ["arn:aws:s3:::tiering-1*"]
      "Resource": ["arn:aws:s3:::tiering-2*"]

    如果您要建立自己的貯體、但不使用標準首碼、則應將此行變更為 "Resource": ["arn:aws:s3:::*"] 因此任何貯體都能被辨識。不過、這可能會揭露您所有的儲存區、而非您設計用來儲存來自磁碟區的非使用中資料的儲存區。

  2. * 叢集權限 * :

    • 啟動服務時、分層精靈會提示您輸入存取金鑰和秘密金鑰。這些認證資料會傳遞ONTAP 到S庫 叢集、ONTAP 以便讓S庫 將資料分層傳送到S3儲存庫。因此、您需要建立具有下列權限的IAM使用者:

      "s3:ListAllMyBuckets",
      "s3:ListBucket",
      "s3:GetBucketLocation",
      "s3:GetObject",
      "s3:PutObject",
      "s3:DeleteObject"
  3. 建立或找出存取金鑰。

    BlueXP 分層會將存取金鑰傳給 ONTAP 叢集。這些認證不會儲存在 BlueXP 分層服務中。

使用VPC端點介面設定系統的私有連線

如果您打算使用標準的公用網際網路連線、則所有權限都是由Connector設定、您無需再做任何操作。這種連線類型顯示於 上圖第一

如果您想要透過網際網路從內部資料中心連線至VPC、可以在分層啟動精靈中選取AWS Private Link連線。如果您打算使用VPN或AWS Direct Connect、透過使用私有IP位址的VPC端點介面來連接內部部署系統、就必須使用此功能。這種連線類型顯示於 上圖第二

  1. 使用Amazon VPC主控台或命令列建立介面端點組態。 "如需使用AWS Private Link for Amazon S3的詳細資訊、請參閱"

  2. 修改與BlueXP Connector相關的安全性群組組態。您必須將原則變更為「Custom(自訂)」(從「Full Access(完整存取)」)、而且您必須如此 新增所需的S3 Connector權限 如前所示。

    與Connector相關聯的AWS安全性群組快照。

    如果您使用連接埠80(HTTP)來與私有端點通訊、您就能輕鬆完成所有設定。您現在可以在叢集上啟用 BlueXP 分層功能。

    如果您使用連接埠443(HTTPS)來與私有端點通訊、則必須從VPC S3端點複製憑證、並將其新增ONTAP 至您的故障叢集、如接下來的4個步驟所示。

  3. 從AWS主控台取得端點的DNS名稱。

    AWS主控台VPC端點的DNS名稱快照。

  4. 從VPC S3端點取得憑證。您的做法是 "登入裝載BlueXP Connector的VM" 並執行下列命令。輸入端點的DNS名稱時、請在開頭加入「pucket」、取代「*」:

    [ec2-user@ip-10-160-4-68 ~]$ openssl s_client -connect bucket.vpce-0ff5c15df7e00fbab-yxs7lt8v.s3.us-west-2.vpce.amazonaws.com:443 -showcerts
  5. 從這個命令的輸出中、複製S3憑證的資料(包括BEGIN / END憑證標記之間的所有資料):

    Certificate chain
    0 s:/CN=s3.us-west-2.amazonaws.com`
       i:/C=US/O=Amazon/OU=Server CA 1B/CN=Amazon
    -----BEGIN CERTIFICATE-----
    MIIM6zCCC9OgAwIBAgIQA7MGJ4FaDBR8uL0KR3oltTANBgkqhkiG9w0BAQsFADBG
    …
    …
    GqvbOz/oO2NWLLFCqI+xmkLcMiPrZy+/6Af+HH2mLCM4EsI2b+IpBmPkriWnnxo=
    -----END CERTIFICATE-----
  6. 登入ONTAP 叢集式CLI、然後套用您使用下列命令複製的憑證(替代您自己的儲存VM名稱):

    cluster1::> security certificate install -vserver <svm_name> -type server-ca
    Please enter Certificate: Press <Enter> when done

將非作用中資料從第一個叢集分層至Amazon S3

準備好 AWS 環境之後、請從第一個叢集開始分層處理非作用中資料。

您需要的產品
步驟
  1. 選擇內部ONTAP 環境的不正常運作環境。

  2. 從右側面板按一下「啟用」以取得分層服務。

    如果Amazon S3分層目的地是以工作環境形式存在於Canvas上、您可以將叢集拖曳至工作環境、以啟動設定精靈。

    螢幕擷取畫面顯示當您選取內部ONTAP 環境時、畫面右側會出現「Enable(啟用)」選項。

  3. 定義物件儲存名稱:輸入此物件儲存設備的名稱。它必須與此叢集上的Aggregate所使用的任何其他物件儲存設備都是獨一無二的。

  4. 選擇供應商:選取* Amazon Web Services*、然後按一下*繼續*。

    螢幕快照顯示必須提供的資料、才能設定S3儲存區的分層。

  5. 完成 * 階層設定 * 頁面中的各節:

    1. * S3 Bucket * :新增 S3 儲存貯體或選取現有的 S3 儲存貯體、選取儲存貯體區域、然後按一下 * 繼續 * 。

      使用內部連接器時、您必須輸入AWS帳戶ID、以便存取現有的S3儲存區或將要建立的新S3儲存區。

      根據預設、會使用 Fabric Pool 前置詞、因為 Connector 的 IAM 原則可讓執行個體對使用該確切前置詞命名的貯體執行 S3 動作。例如、您可以命名S3儲存區_Fabric集區-AFF1、其中AFF1是叢集的名稱。您也可以為用於分層的貯體定義前置詞。請參閱 設定 S3 權限 確保您擁有 AWS 權限、能夠辨識您打算使用的任何自訂首碼。

    2. * 儲存類別 * : BlueXP 分層管理階層資料的生命週期轉換。資料從 Standard 類別開始、但您可以建立規則、在特定天數後將不同的儲存類別套用至資料。

      選取您要將階層式資料轉換至的 S3 儲存類別、以及資料指派至該類別之前的天數、然後按一下 * 繼續 * 。例如、下方的螢幕擷取畫面顯示、在物件儲存設備中 45 天之後、階層式資料會從 Standard 類別指派給 Standard-IA 類別。

      如果您選擇*保留此儲存類別中的資料*、則資料會保留在_Standard_儲存類別中、而且不會套用任何規則。 "請參閱支援的儲存類別"

      螢幕擷取畫面顯示如何選取在特定天數後指派給資料的另一個儲存類別。

      請注意、生命週期規則會套用至所選貯體中的所有物件。

    3. 認證:輸入具有所需S3權限之IAM使用者的存取金鑰ID和秘密金鑰、然後按一下*繼續*。

      IAM 使用者必須與您在「 * S3 Bucket * 」頁面上選取或建立的儲存區位於相同的 AWS 帳戶中。

    4. 網路:輸入網路詳細資料、然後按一下*繼續*。

      在ONTAP 您要分層存放磁碟區的資訊區叢集中選取IPspace。此IPspace的叢集間生命體必須具有傳出網際網路存取、才能連線至雲端供應商的物件儲存設備。

      您也可以選擇是否要使用先前設定的AWS Private Link。 請參閱上述設定資訊。 此時會顯示一個對話方塊、協助您完成端點組態。

    您也可以定義「最大傳輸率」、設定可將非使用中資料上傳至物件儲存的網路頻寬。選取*受限*選項按鈕、然後輸入可使用的最大頻寬、或選取*無限*表示沒有限制。

  6. 在「層級磁碟區」頁面上、選取您要設定分層的磁碟區、然後啟動「層級原則」頁面:

    • 若要選取所有Volume、請勾選標題列中的方塊(),然後單擊* Configure Volume*(配置卷*)。

    • 若要選取多個磁碟區、請勾選每個磁碟區的方塊(),然後單擊* Configure Volume*(配置卷*)。

    • 若要選取單一Volume、請按一下該列(或 編輯鉛筆圖示 圖示)。

      螢幕擷取畫面顯示如何選取單一Volume、多個Volume或所有Volume、以及「修改選取的Volume」按鈕。

  7. 在_分層原則_對話方塊中、選取分層原則、選擇性地調整所選磁碟區的冷卻天數、然後按一下*套用*。

    顯示可設定分層原則設定的快照。

結果

您已成功設定從叢集上的磁碟區到 S3 物件儲存區的資料分層。

您可以檢閱叢集上作用中和非作用中資料的相關資訊。 "深入瞭解如何管理分層設定"

您也可以建立額外的物件儲存設備、以便在叢集上的特定集合體將資料分層至不同的物件存放區。或者、如果您打算使用FabricPool 「支援物件鏡射」、將階層式資料複寫到其他物件存放區。 "深入瞭解物件存放區的管理"