简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

数据湖到 ONTAP NFS

提供者

此用例基于我们所做的最大的财务客户概念验证( CPOC )。过去,我们使用 NetApp 原位分析模块( NIPAM )将分析数据迁移到 NetApp ONTAP AI 。但是,由于 NetApp XCP 的最新增强功能和性能的提高,以及 NetApp 独特的数据移动工具解决方案方法,我们使用 NetApp XCP 重新注册数据迁移。

客户面临的挑战和要求

值得注意的客户挑战和要求包括:

  • 客户拥有不同类型的数据,包括结构化数据,非结构化数据和半结构化数据,日志, 以及数据湖中的机器到机器数据。AI 系统需要处理所有这些类型的数据,才能执行预测操作。如果数据位于数据湖本机文件系统中,则很难处理。

  • 客户的 AI 架构无法从 Hadoop 分布式文件系统( Hadoop Distributed File System , HDFS )和 Hadoop 兼容文件系统( Hadoop Compatible File System , HCFS )访问数据,因此 AI 操作无法使用这些数据。AI 要求数据采用可理解的文件系统格式,例如 NFS 。

  • 由于数据量大,吞吐量大,因此需要采用一些特殊的流程从数据湖中移动数据,并且需要采用经济高效的方法将数据移动到 AI 系统。

数据移动者解决方案

在此解决方案中, MapR 文件系统( MapR-FS )是从 MapR 集群中的本地磁盘创建的。MapR NFS 网关在每个数据节点上使用虚拟 IP 进行配置。文件服务器服务用于存储和管理 MapR-FS 数据。NFS 网关使 Map-FS 数据可通过虚拟 IP 从 NFS 客户端访问。每个 MapR 数据节点上都运行一个 XCP 实例,用于将数据从映射 NFS 网关传输到 NetApp ONTAP NFS 。每个 XCP 实例都会将一组特定的源文件夹传输到目标位置。

下图显示了使用 XCP 的 MapR 集群的 NetApp 数据移动工具解决方案。

错误:缺少图形映像

有关详细的客户使用情形,录制的演示以及测试结果,请参见 "使用 XCP 将数据从数据湖和高性能计算迁移到 ONTAP NFS" 博客

有关使用 NetApp XCP 将 MapR-FS 数据移动到 ONTAP NFS 中的详细步骤,请参见中的附录 B "TR-4732 :从大数据分析数据到人工智能"