Skip to main content
NetApp artificial intelligence solutions
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

数据移动器解决方案

PDF

在大数据集群中，数据存储在 HDFS 或 HCFS 中，例如 MapR-FS、Windows Azure Storage Blob、S3 或 Google 文件系统。我们以 HDFS、MapR-FS 和 S3 作为源，在 NIPAM 的帮助下将数据复制到NetApp ONTAP NFS 导出，使用 `hadoop distcp`来自源的命令。

下图说明了从使用 HDFS 存储运行的 Spark 集群到NetApp ONTAP NFS 卷的典型数据移动，以便NVIDIA可以处理 AI 操作。

该图显示输入/输出对话框或表示书面内容

这 `hadoop distcp`命令使用 MapReduce 程序复制数据。 NIPAM 与 MapReduce 协同工作，在复制数据时充当 Hadoop 集群的驱动程序。 NIPAM 可以将负载分布到单个导出的多个网络接口上。当您将数据从 HDFS 或 HCFS 复制到 NFS 时，此过程通过将数据分布在多个网络接口上来最大化网络吞吐量。

备注 MapR 不支持或认证 NIPAM。