Skip to main content
NetApp Solutions
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

資料移動機解決方案

貢獻者
PDF

在巨量資料叢集中、資料會儲存在HDFS或HCFS中、例如MapR-FS、Windows Azure Storage Blob、S3或Google檔案系統。我們使用ONTAP 來自來源的「Hadoop distcp」命令、利用NIPAM的協助、使用HDFS、MapR-FS和S3作為將資料複製到NetApp支援NFS匯出的來源、進行測試。

下圖說明一般資料從執行HDFS儲存設備的Spark叢集移至NetApp ONTAP 支援NFS磁碟區、以便NVIDIA處理AI作業。

錯誤：缺少圖形影像

「Hadoop distcp」命令會使用MapReduce程式來複製資料。NIPAM與MapReduce搭配使用、可在複製資料時做為Hadoop叢集的驅動程式。NIPAM可在多個網路介面之間分散負載、以利單一匯出。當您將資料從HDFS或HCFS複製到NFS時、此程序會將資料分散到多個網路介面、藉此將網路處理量最大化。

註 不支援NIPAM、也不通過MapR認證。