Skip to main content
AI Data Engine
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

NetApp AI Data Engine 常见问题解答

贡献者 netapp-dbagwell
PDF

本常见问题解答涵盖了有关 NetApp AI Data Engine (AIDE) 的常见问题，包括其架构、部署、用户类型、技术功能、集成和许可。

AIDE 基础知识

什么是 NetApp AI Data Engine (AIDE)？

NetApp AI Data Engine (AIDE) 是一种存储集成的 AI 数据服务，涵盖从发现和准备原始数据到为生成式 AI (GenAI)、Retrieval-Augmented Generation (RAG)、代理 AI 和 AI 工厂提供检索端点的整个 AI 生命周期。AIDE 自动同步和更改检测，为数据发现和管理提供所选数据的统一、最新视图。

AIDE 的工作原理是什么？

AIDE 直接与 NetApp ONTAP 存储系统集成，通过自动更改检测和同步，创建整个 NetApp 数据集的全局结构化视图。AIDE 通过压缩和重复数据删除、策略驱动的 Data Guardrails 以及与 AI 工具的集成提供实时矢量化。

用户和角色

谁在使用 AI Data Engine？

AIDE 的主要用户包括：

  1. ONTAP 存储管理员：管理基础设施、AI 特定的存储需求、安全性和合规性。

  2. 数据工程师：管理跨环境的数据移动、准备和集成。

  3. 数据科学家：准备和转换相关数据以供 AI 使用。

要求和部署

需要哪些硬件？

AIDE 需要 AFX 系统进行部署（包括 AFX 控制器、磁盘架和网络交换机），但可以使用 SnapMirror 和集群对等从运行 ONTAP 9 的集群中使用集群数据。AIDE 部署至少需要四个 AFX 控制器节点，以确保高可用性和性能。

AIDE 在 NetApp 数据计算节点 (DCN) 上运行。需要三个 DCN。DCN 托管 AIDE 软件，其中包括 Metadata Engine、Data Sync、Data Curator 和 Data Guardrails。

我可以使用自己的 DCN 吗？

否。DCN 是 NetApp 提供的数据计算硬件节点，是 AI Data Engine 的唯一部署机制。

最少需要多少个 DCN？

需要恰好三个 DCN。

哪些操作系统在 DCN 上运行？

DCN 运行一个由 NetApp 提供的带有 AIDE 的软件堆栈。

可以在没有 AFX 的情况下部署 AIDE 吗？

不需要。AIDE 需要 AFX 才能部署。AIDE 使用 Trident 消耗 AFX 卷用于内部存储（持久卷）。为 AIDE 提供存储的 AFX 集群可以与 ONTAP 9 系统或集群对等。它使用集群对等和 SnapMirror 将数据从远程 ONTAP 集群同步到 AFX 系统。

管理和接口

AIDE Console 是 NetApp Console 的一部分还是单独的界面？

AIDE Console 是在 DCN 上运行的独立管理界面。您可以使用 AIDE Console 管理 AIDE 服务，例如 Data Guardrails 和 Data Curator。您还可以使用 ONTAP System Manager 来监控 AIDE 集群。

特性和功能

AIDE 的主要功能是什么？

AIDE 有四个主要功能：

Metadata Engine

  • 自动生成数据的结构化、最新的交互式视图。

  • 适用于存储在 ONTAP 上的数据。

  • 使数据从业人员能够与存储管理员协作以查找和理解数据。

  • API 查询元数据以提供功能，同时减少存储系统上的 NFS 流量负载。

  • 元数据提取和编目功能专为 AIDE 构建，可连续工作，并利用快照等 ONTAP 功能。

数据同步

  • 无需人工干预，即可在源数据更改时自动维护数据更新。

  • 管理员以天或小时为单位定义数据刷新间隔。

  • 提供增量数据移动和跨数据同步，以消除 AI 数据的冗余副本。

Data Guardrails

  • 在整个 AI 生命周期中自动识别和保护敏感数据。可通过 AI Data Engine Console 访问。

  • 持续扫描、分类和归类数据。

  • 识别敏感数据（如 PII）和风险。

  • 促进根据公司和监管标准制定自动处理敏感数据的策略。

  • 提供自动敏感信息编辑以实现数据保护。

  • 根据需要限制对敏感文件的访问。

Data Curator

  • 允许数据科学家跨存储搜索相关数据。

  • 使用 AFX 卷上的现有数据创建精选数据集。

  • 在存储层生成矢量嵌入，以减少数据膨胀并提高性能。

  • 通过矢量语义搜索和重新排名为 AI 应用程序提供检索端点。

集成和互操作性

AIDE 是否支持跨多个 ONTAP 集群的联合元数据？

AIDE 可以使用 SnapMirror 和集群对等连接到多个 ONTAP 集群，从而实现集中式元数据可见性。

元数据存储在哪里？

AIDE 使用 AFX 提供的持久卷在连接的 AFX 集群上存储元数据。DCN 使用本地存储进行内部操作。

AIDE Metadata Engine 对数据进行分类吗？

否。Metadata Engine 对文件系统元数据进行编目，并提供查询此编目元数据的 API。

支持哪些数据源？

AIDE 支持 ONTAP 卷（本地或远程）作为数据源。远程 ONTAP 集群必须运行 ONTAP 9 并通过集群对等和 SnapMirror 连接。

AIDE 9.18.1 中不支持 ONTAP S3 存储桶和 StorageGRID 对象作为数据源。

AIDE 可以处理哪些类型的文件进行分类、矢量化和语义搜索？

AIDE 支持多种文件类型，包括 PDF、DOCX、PPTX、TXT 和具有 OCR 功能的图像文件。

AIDE 支持非英语数据的分类吗？

AIDE 仅支持英语数据。

AIDE 支持哪些集成？

AIDE 提供可通过直接 API 调用或通过 Model Context Protocol (MCP) 服务器访问的 RAG API 端点。这支持与代理 AI 框架和工具的集成。

部署和许可

有哪些部署选项？

AIDE 在具有 DCN 的 AFX 基础设施上本地部署。它直接与 NetApp ONTAP AFX 安装集成。

AIDE 如何获得许可？

AIDE 需要软件许可证才能运行 Data Guardrails 和 Data Curator。

如果您只需要 Metadata Engine，则所有 AFX 系统都包含的 ONTAP One 许可证提供仅 Metadata Engine 功能的权限。

相关信息