Skip to main content
NetApp Solutions
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

AI的資料移動機解決方案

貢獻者
PDF

AI的資料移轉解決方案是根據客戶處理AI作業Hadoop資料的需求而打造。NetApp使用NIPAM將資料從HDFS移至NFS。在其中一種使用案例中，客戶需要將內部部署的資料移至 NFS ，而另一位客戶則需要將資料從 Windows Azure Storage Blob 移至 Google Cloud NetApp Volumes ，以便處理雲端 GPU 雲端執行個體的資料。

下圖說明資料移動機解決方案的詳細資料。

此圖顯示輸入 / 輸出對話方塊或表示寫入內容

建置資料移轉器解決方案需要執行下列步驟：

  1. 支援HDFS的SAN、NAS則透過NIPAM將NFS磁碟區提供給正式作業資料湖叢集。ONTAP

  2. 客戶的資料位於HDFS和NFS中。NFS資料可以是用於Big Data分析和AI作業的其他應用程式的正式作業資料。

  3. NetApp FlexClone技術會建立正式作業NFS磁碟區的複本、並將其配置至內部部署的AI叢集。

  4. 使用NIPAM和「Hadoop distcp」命令、將HDFS SAN LUN的資料複製到NFS磁碟區。NIPAM使用多個網路介面的頻寬來傳輸資料。此程序可縮短資料複製時間、以便傳輸更多資料。

  5. 這兩個NFS磁碟區都會配置至AI叢集、以供AI作業。

  6. 若要使用雲端中的GPU來處理內部部署NFS資料、NFS磁碟區會使用NetApp SnapMirror技術鏡射至NetApp私有儲存設備（NPS）、並掛載至GPU的雲端服務供應商。

  7. 客戶想要處理來自雲端服務供應商之GPU中EC2/EMR、HDInsight或DataProc服務中的資料。Hadoop 資料移動器使用 NIPAM 和命令，將資料從 Hadoop 服務移至 Google Cloud NetApp Volumes hadoop distcp 。

  8. Google Cloud NetApp Volumes 資料是透過 NFS 傳輸協定配置至 AI 。透過 AI 處理的資料，除了透過 NIPAM ， SnapMirror 和 NPS 傳送至 NVIDIA 叢集之外，也可在內部部署位置傳送，以進行巨量資料分析。

在此案例中、客戶在NAS系統的遠端位置擁有大量的檔案數資料、而在內部部署的NetApp儲存控制器上進行AI處理時、則需要這些資料。在此案例中、最好使用XCP移轉工具以更快的速度移轉資料。

混合使用案例客戶可使用 BlueXP 複製與同步功能、將內部部署資料從 NFS 、 CIFS 和 S3 資料移轉至雲端、反之亦然、可使用 GPU （例如 NVIDIA 叢集中的 GPU ）進行 AI 處理。BlueXP 複製與同步和 XCP 移轉工具都是用於將 NFS 資料移轉至 NetApp ONTAP NFS 。