Skip to main content
NetApp Solutions
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

AI的資料移動機解決方案

貢獻者
PDF

AI的資料移轉解決方案是根據客戶處理AI作業Hadoop資料的需求而打造。NetApp使用NIPAM將資料從HDFS移至NFS。在一種使用案例中、客戶需要將資料移至內部部署的NFS、而另一位客戶則需要將資料從Windows Azure Storage Blob移至Cloud Volumes Service Suse、才能處理來自雲端GPU雲端執行個體的資料。

下圖說明資料移動機解決方案的詳細資料。

錯誤：缺少圖形影像

建置資料移轉器解決方案需要執行下列步驟：

  1. 支援HDFS的SAN、NAS則透過NIPAM將NFS磁碟區提供給正式作業資料湖叢集。ONTAP

  2. 客戶的資料位於HDFS和NFS中。NFS資料可以是用於Big Data分析和AI作業的其他應用程式的正式作業資料。

  3. NetApp FlexClone技術會建立正式作業NFS磁碟區的複本、並將其配置至內部部署的AI叢集。

  4. 使用NIPAM和「Hadoop distcp」命令、將HDFS SAN LUN的資料複製到NFS磁碟區。NIPAM使用多個網路介面的頻寬來傳輸資料。此程序可縮短資料複製時間、以便傳輸更多資料。

  5. 這兩個NFS磁碟區都會配置至AI叢集、以供AI作業。

  6. 若要使用雲端中的GPU來處理內部部署NFS資料、NFS磁碟區會使用NetApp SnapMirror技術鏡射至NetApp私有儲存設備（NPS）、並掛載至GPU的雲端服務供應商。

  7. 客戶想要處理來自雲端服務供應商之GPU中EC2/EMR、HDInsight或DataProc服務中的資料。Hadoop資料移轉器可利用NIPAM和「Hadoop distcp」命令、將資料從Hadoop服務移至Cloud Volumes Services。

  8. 透過NFS傳輸協定將支援的資料配置給AI。透過AI處理的資料、除了可透過NIPAM、SnapMirror和NPS傳送NVIDIA叢集之外、也可傳送到內部部署位置進行巨量資料分析。Cloud Volumes Service

在此案例中、客戶在NAS系統的遠端位置擁有大量的檔案數資料、而在內部部署的NetApp儲存控制器上進行AI處理時、則需要這些資料。在此案例中、最好使用XCP移轉工具以更快的速度移轉資料。

混合使用案例客戶可使用 BlueXP 複製與同步功能、將內部部署資料從 NFS 、 CIFS 和 S3 資料移轉至雲端、反之亦然、可使用 GPU （例如 NVIDIA 叢集中的 GPU ）進行 AI 處理。BlueXP 複製與同步和 XCP 移轉工具都是用於將 NFS 資料移轉至 NetApp ONTAP NFS 。