Skip to main content
NetApp Solutions
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

HDFS與MapR-FS移轉ONTAP 至不適用NFS

貢獻者

對於此解決方案、NetApp已驗證資料從資料湖(HDFS)和MapR叢集資料移轉至ONTAP 不含NFS的情形。資料存放在MapR-FS和HDFS中。NetApp XCP推出一項新功能、可直接將資料從HDFS和MapR-FS等分散式檔案系統移轉至ONTAP 支援NFS。XCP使用非同步執行緒和HDFS C API呼叫來通訊和傳輸MapR-FS和HDFS的資料。

下圖顯示資料從資料湖(HDFS)和MapR-FS移轉到ONTAP SNFS的資料。有了這項新功能、您不需要將來源匯出為NFS共用區。

錯誤:缺少圖形影像

為何客戶會從HDFS和MapR-FS移轉至NFS?

大部分的Hadoop發佈(例如Cloudera和Hortonworks)都使用HDFS、而MapR發佈則使用自己的檔案系統(稱為MapR-FS)來儲存資料。HDFS與MapR-FS資料可為資料科學家提供寶貴的見解、並可用於機器學習(ML)和深度學習(DL)。HDFS和MapR-FS中的資料不會共用、這表示其他應用程式無法使用該資料。客戶正在尋找共享資料、尤其是在銀行部門、客戶的敏感資料會被多個應用程式使用。最新版本的Hadoop(3.x或更新版本)支援NFS資料來源、無需其他協力廠商軟體即可存取。有了全新的NetApp XCP功能、資料可以直接從HDFS和MapR-FS移至NetApp NFS、以便存取多個應用程式

在Amazon Web Services(AWS)中進行測試、將資料從MapR-FS傳輸到NFS、以進行12個MapR節點和4個NFS伺服器的初始效能測試。

數量 尺寸 VCPU 記憶體 儲存設備 網路

NFS 伺服器

4.

i3en.24xLarge

96

488GiB

8個7500 NVMe SSD

100

MapR節點

12.

I3en.12xllarge

48

384GiB

4個7500 NVMe SSD

50

根據初始測試結果、我們獲得20Gbps的處理量、而且能夠每天傳輸2PB的資料。

如需不將HDFS匯出至NFS的HDFS資料移轉詳細資訊、請參閱中的「部署步驟- NAS」一節 "TR-4863:TR-4863:NetApp XCP最佳實務準則:資料移轉、檔案移轉及分析"