本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。
資料移動機解決方案
貢獻者
建議變更
PDF
在巨量資料叢集中、資料會儲存在HDFS或HCFS中、例如MapR-FS、Windows Azure Storage Blob、S3或Google檔案系統。我們使用ONTAP 來自來源的「Hadoop distcp」命令、利用NIPAM的協助、使用HDFS、MapR-FS和S3作為將資料複製到NetApp支援NFS匯出的來源、進行測試。
下圖說明一般資料從執行HDFS儲存設備的Spark叢集移至NetApp ONTAP 支援NFS磁碟區、以便NVIDIA處理AI作業。
「Hadoop distcp」命令會使用MapReduce程式來複製資料。NIPAM與MapReduce搭配使用、可在複製資料時做為Hadoop叢集的驅動程式。NIPAM可在多個網路介面之間分散負載、以利單一匯出。當您將資料從HDFS或HCFS複製到NFS時、此程序會將資料分散到多個網路介面、藉此將網路處理量最大化。
|
不支援NIPAM、也不通過MapR認證。 |