Skip to main content
NetApp Solutions
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

数据移动者解决方案

贡献者
PDF

在大数据集群中，数据存储在 HDFS 或 HCFS 中，例如 MapR-FS ， Windows Azure Storage Blob ， S3 或 Google 文件系统。我们使用 HDFS ， MapR-FS 和 S3 作为源执行了测试，以便在 NIPAM 的帮助下，使用源中的 Hadoop distcp 命令将数据复制到 NetApp ONTAP NFS 导出。

下图显示了从运行 HDFS 存储的 Spark 集群到 NetApp ONTAP NFS 卷的典型数据移动，以便 NVIDIA 可以处理 AI 操作。

hadoop distcp 命令使用 MapReduce 程序复制数据。NIPAM 可与 MapReduce 结合使用，在复制数据时充当 Hadoop 集群的驱动程序。NIPAM 可以在多个网络接口之间分布负载，以便进行一次导出。在将数据从 HDFS 或 HCFS 复制到 NFS 时，此过程会通过在多个网络接口之间分布数据来最大程度地提高网络吞吐量。

备注 不支持 NIPAM ，也不会通过 MapR 认证。