Skip to main content
NetApp artificial intelligence solutions
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

人工智能数据移动解决方案

贡献者 kevin-hoke
PDF

人工智能数据移动器解决方案基于客户处理来自人工智能操作的 Hadoop 数据的需求。 NetApp使用 NIPAM 将数据从 HDFS 移动到 NFS。在一个用例中，客户需要将数据移动到本地的 NFS，而另一个客户需要将数据从 Windows Azure Storage Blob 移动到Google Cloud NetApp Volumes ，以便处理来自云中的 GPU 云实例的数据。

下图说明了数据移动器解决方案的详细信息。

该图显示输入/输出对话框或表示书面内容

构建数据移动器解决方案需要以下步骤：

  1. ONTAP SAN 提供 HDFS，NAS 通过 NIPAM 将 NFS 卷提供给生产数据湖集群。

  2. 客户的数据在HDFS和NFS中。 NFS 数据可以是来自其他应用程序的生产数据，用于大数据分析和 AI 操作。

  3. NetApp FlexClone技术创建生产 NFS 卷的克隆并将其配置到内部的 AI 集群。

  4. 使用 NIPAM 将 HDFS SAN LUN 中的数据复制到 NFS 卷中，并且 `hadoop distcp`命令。 NIPAM 使用多个网络接口的带宽来传输数据。此过程减少了数据复制时间，从而可以传输更多数据。

  5. 两个 NFS 卷均已配置给 AI 集群以进行 AI 操作。

  6. 为了使用云中的 GPU 处理本地 NFS 数据，NFS 卷通过NetApp SnapMirror技术镜像到NetApp私有存储 (NPS)，并安装到 GPU 的云服务提供商。

  7. 客户希望使用云服务提供商的 GPU 来处理 EC2/EMR、HDInsight 或 DataProc 服务中的数据。 Hadoop 数据移动器使用 NIPAM 将数据从 Hadoop 服务移动到Google Cloud NetApp Volumes，并且 `hadoop distcp`命令。

  8. Google Cloud NetApp Volumes数据通过 NFS 协议配置给 AI。通过 AI 处理的数据除了可以通过 NIPAM、 SnapMirror和 NPS 发送到NVIDIA集群之外，还可以发送到本地位置进行大数据分析。

在这种情况下，客户在远程位置的 NAS 系统中拥有大量文件数数据，这些数据是内部NetApp存储控制器上进行 AI 处理所必需的。在这种情况下，最好使用XCP迁移工具来以更快的速度迁移数据。

混合用例客户可以使用BlueXP Copy and Sync 将本地数据从 NFS、CIFS 和 S3 数据迁移到云端，反之亦然，以便使用NVIDIA集群等中的 GPU 进行 AI 处理。 BlueXP Copy and Sync 和 XCP Migration Tool 均用于将 NFS 数据迁移到NetApp ONTAP NFS。