在NetApp Copy and Sync 中建立同步關係
當您建立同步關係時, NetApp Copy and Sync 會將檔案從來源複製到目標。初始複製後,複製和同步每 24 小時同步一次任何更改的資料。
在建立某些類型的同步關係之前,您首先需要在NetApp控制台中建立一個系統。
為特定類型的系統建立同步關係
如果您想要為以下任何一項建立同步關係,那麼您首先需要建立或發現系統:
-
適用於ONTAP 的Amazon FSx
-
Azure NetApp Files
-
Cloud Volumes ONTAP
-
本地ONTAP集群
-
創建或發現系統。
-
選擇*系統頁面*。
-
選擇與上面列出的任何類型相符的系統。
-
選擇同步旁邊的操作選單。
-
選擇*從此位置同步資料*或*同步資料到此位置*,然後依照指示設定同步關係。
建立其他類型的同步關係
使用這些步驟將資料同步至或同步自除Amazon FSx for ONTAP、 Azure NetApp Files、 Cloud Volumes ONTAP或本機ONTAP叢集之外的支援的儲存類型。以下步驟提供了一個範例,展示如何設定從 NFS 伺服器到 S3 儲存桶的同步關係。
-
在NetApp控制台中,選擇 同步。
-
在*定義同步關係*頁面上,選擇來源和目標。
以下步驟提供如何建立從 NFS 伺服器到 S3 儲存桶的同步關係的範例。
-
在 NFS 伺服器 頁面上,輸入要同步到 AWS 的 NFS 伺服器的 IP 位址或完全限定網域名稱。
-
在*資料代理群組*頁面上,依照指示在 AWS、Azure 或 Google Cloud Platform 中建立資料代理虛擬機,或在現有的 Linux 主機上安裝資料代理軟體。
欲了解更多詳情,請參閱以下頁面:
-
安裝資料代理程式後,選擇*繼續*。
-
如果複製和同步無法擷取匯出,請選擇*手動新增導出*並輸入 NFS 導出的名稱。
如果您想要同步 NFS 伺服器上的多個目錄,則必須在完成後建立額外的同步關係。 -
在 AWS S3 Bucket 頁面上,選擇一個儲存桶:
-
向下鑽取以選擇儲存桶內的現有資料夾或選擇您在儲存桶內建立的新資料夾。
-
選擇「新增至清單」以選擇與您的 AWS 帳戶不關聯的 S3 儲存桶。"必須對 S3 儲存桶應用特定權限" 。
-
-
在*Bucket Setup*頁面上,設定儲存桶:
-
選擇是否啟用 S3 儲存桶加密,然後選擇 AWS KMS 金鑰、輸入 KMS 金鑰的 ARN 或選擇 AES-256 加密。
-
選擇 S3 儲存類別。"查看支援的儲存類別" 。
-
-
在「設定」頁面上,定義如何在目標位置同步和維護來源檔案和資料夾:
- 行程
-
選擇未來同步的重複計畫或關閉同步計畫。您可以安排每 1 分鐘同步一次資料。
- 同步逾時
-
定義如果同步在指定的分鐘數、小時數或天數內未完成,複製和同步是否應取消資料同步。
- 通知
-
使您能夠選擇是否在NetApp控制台的通知中心接收複製和同步通知。您可以啟用資料同步成功、資料同步失敗和資料同步取消的通知。
- 重試
-
定義複製和同步在跳過檔案之前應重試同步檔案的次數。
- 連續同步
-
初始資料同步後,複製和同步會監聽來源 S3 儲存桶或 Google Cloud Storage 儲存桶上的變化,並在發生任何變更時持續同步到目標。無需按照預定的時間間隔重新掃描來源。
此設定僅在建立同步關係時以及將資料從 S3 儲存桶或 Google Cloud Storage 同步至 Azure Blob 儲存體、CIFS、Google Cloud Storage、IBM Cloud Object Storage、NFS、S3 和StorageGRID *或*從 Azure Blob 儲存體同步到 Azure Blob 儲存體、CIFS、Google Cloud Storage、 StorageGRID
如果啟用此設置,它將影響以下其他功能:
-
同步計劃已停用。
-
以下設定恢復為其預設值:同步逾時、最近修改的檔案和修改日期。
-
如果 S3 是來源,則按大小過濾將僅在複製事件(而不是刪除事件)時有效。
-
關係創建後,只能加速或刪除關係。您不能中止同步、修改設定或查看報告。
可以與外部儲存桶建立連續同步關係。為此,請按照下列步驟操作:
-
前往外部儲存桶專案的 Google Cloud 控制台。
-
前往*雲端儲存>設定>雲端儲存服務帳戶*。
-
更新 local.json 檔案:
{ "protocols": { "gcp": { "storage-account-email": <storage account email> } } }
-
重新啟動資料代理:
-
sudo pm2 停止所有
-
sudo pm2 啟動所有
-
-
與相關外部儲存桶建立持續同步關係。
用於與外部儲存桶建立連續同步關係的資料代理程式將無法與其專案中的儲存桶建立另一個連續同步關係。
-
-
- 比較依據
-
選擇在確定檔案或目錄是否已變更並應再次同步時,複製和同步是否應比較某些屬性。
即使您取消選取這些屬性,「複製和同步」仍會透過檢查路徑、檔案大小和檔案名稱將來源與目標進行比較。如果有任何變化,那麼它會同步這些檔案和目錄。
您可以透過比較以下屬性來選擇啟用或停用複製和同步:
-
mtime:檔案的最後修改時間。此屬性對於目錄無效。
-
uid、gid 和 mode:Linux 的權限標誌。
-
- 物件複製
-
啟用此選項可複製物件儲存元資料和標籤。如果使用者變更了來源上的元數據,則「複製和同步」會在下一次同步中複製該對象,但如果使用者變更了來源上的標籤(而不是資料本身),則「複製和同步」不會在下一次同步中複製該物件。
建立關係後,您無法編輯此選項。
以 Azure Blob 或 S3 相容端點(S3、 StorageGRID或 IBM Cloud Object Storage)為目標的同步關係支援複製標籤。
以下任意端點之間的「雲端到雲端」關係支援複製元資料:
-
AWS S3
-
Azure Blob
-
Google 雲端儲存
-
IBM 雲端物件儲存
-
StorageGRID
-
- 最近修改的文件
-
選擇排除在預定同步之前最近修改的檔案。
- 刪除來源文件
-
在「複製和同步」將檔案複製到目標位置後,選擇從來源位置刪除檔案。此選項存在資料遺失的風險,因為來源檔案在複製後會被刪除。
如果啟用此選項,您還需要變更資料代理程式上的 local.json 檔案中的參數。開啟檔案並進行以下更新:
{ "workers":{ "transferrer":{ "delete-on-source": true } } }
更新 local.json 檔案後,您應該重新啟動:
pm2 restart all
。 - 刪除目標文件
-
如果檔案已從來源位置刪除,則選擇從目標位置刪除檔案。預設設定是從不從目標位置刪除檔案。
- 文件類型
-
定義每次同步中要包含的檔案類型:檔案、目錄、符號連結和硬連結。
硬連結僅適用於不安全的 NFS 到 NFS 關係。使用者將被限制為一個掃描器進程和一個掃描器並發,並且掃描必須從根目錄運行。 - 排除檔案副檔名
-
透過輸入檔案副檔名並按下 Enter 來指定要從同步中排除的正規表示式或檔案副檔名。例如,鍵入 log 或 .log 來排除 *.log 檔案。多個擴展名不需要分隔符號。以下影片提供了一個簡短的演示:
排除同步關係的檔案副檔名Regex 或正規表示式與通配符或 glob 表達式不同。此功能*僅*適用於正規表示式。 - 排除目錄
-
透過輸入其名稱或目錄完整路徑並按 Enter,指定最多 15 個要從同步中排除的正規表示式或目錄。預設情況下,.copy-offload、.snapshot、~snapshot 目錄被排除。
Regex 或正規表示式與通配符或 glob 表達式不同。此功能*僅*適用於正規表示式。 - 文件大小
-
選擇同步所有文件,無論其大小,或僅同步特定大小範圍內的文件。
- 修改日期
-
選擇所有文件,無論其最後修改日期為何,選擇在特定日期之後、特定日期之前或某個時間範圍內修改的文件。
- 建立日期
-
當 SMB 伺服器作為來源時,此設定可讓您同步在特定日期之後、特定日期之前或特定時間範圍之間建立的檔案。
- ACL——存取控制列表
-
透過在建立關係時或建立關係後啟用設置,從 SMB 伺服器僅複製 ACL、僅複製檔案或複製 ACL 和檔案。
-
在「標籤/元資料」頁面上,選擇是否將鍵值對儲存為傳輸到 S3 儲存桶的所有檔案的標籤,或是否為所有檔案指派元資料鍵值對。
將資料同步至StorageGRID和 IBM Cloud Object Storage 時,此功能同樣可用。對於 Azure 和 Google Cloud Storage,只有元資料選項可用。 -
查看同步關係的詳細信息,然後選擇*建立關係*。
結果
複製和同步開始在來源和目標之間同步資料。同步統計資料包括同步所花費的時間、是否停止以及複製、掃描或刪除的檔案數量。然後您可以管理您的 "同步關係", "管理您的數據經紀人" , 或者 "建立報告以優化您的效能和配置"。
從NetApp資料分類建立同步關係
複製和同步與NetApp資料分類整合。在NetApp資料分類中,您可以選擇要使用複製和同步同步到目標位置的來源檔案。
從NetApp資料分類啟動資料同步後,所有來源資訊都包含在一個步驟中,只需要您輸入一些關鍵詳細資料。然後,選擇新同步關係的目標位置。