AI Data Engine 的新增功能
了解 AI Data Engine (AIDE) 版本中可用于 AI 数据管理的最新功能,包括元数据编目、工作区管理和灵活的部署选项。
AIDE 1.0.0 中的新增功能
AIDE 1.0.0(2026 年 4 月 30 日发布)引入了 AIDE 作为第三方服务器上的纯软件部署。此部署选项允许您在自己的 RHEL 9.7 服务器上运行 AIDE 软件,而无需 NetApp Data Compute Nodes (DCN)。对于此版本,第三方服务器上的 AIDE 软件支持以元数据为中心的功能。
第三方服务器上的 AIDE 软件部署选项为您提供了灵活性,让您可以使用自己的硬件以及 AIDE 的元数据管理功能,同时自己管理底层硬件和操作系统。此部署模型的主要特征包括:
-
需要三节点同构集群
-
您安装 OS 并管理 OS 安全修补程序
-
NetApp 提供 AIDE 软件堆栈和支持
-
需要 ONTAP 9.18.1 或更高版本
-
需要 ONTAP AFX 存储系统
第三方服务器上的 AIDE 软件支持 AIDE 的核心 Metadata Engine 功能,使您能够为 AI 工作负载编目和组织元数据。
对于此版本,第三方服务器上的 AIDE 软件不支持依赖 GPU 的服务,如矢量化、OCR 和增强,并且不支持用于语义搜索的数据收集、矢量嵌入或 RAG 端点。当完全 AIDE 功能可用时,支持这些功能的升级路径。
第三方服务器上的 AIDE 软件提供以下元数据功能:
-
工作区创建和管理
-
自动化元数据提取和编目
-
使用 REST API 进行元数据搜索和筛选
-
用于自动数据时效性的 Data Sync
-
元数据导出功能
在 AIDE 1.0.0 中,Metadata Engine 功能在 AI Data Engine Console 中可用。您可以在所有工作区的集中视图中搜索、浏览、过滤和导出元数据。您可以在 AIDE Console 的新页面中浏览元数据,该页面包含在第三方服务器部署的所有 AIDE 软件中。此页面可以在工作区创建和元数据提取完成后使用。
AIDE 9.18.1U0/U1 初始版本中的新增功能
AI Data Engine (AIDE) 9.18.1 U0/U1 是 NetApp 的 AI 数据管理平台的初始版本。此版本引入了元数据引擎和管理工作流程,使组织能够为 AI 工作负载编目和组织非结构化数据,为高级治理和矢量化功能提供基础。拥有适当 AI Data Engine 许可证的客户可以使用高级治理(护栏)和矢量化。
AIDE 9.18.1U0 引入了以下基础功能:
初始版本包括一个 Metadata Engine,用于跨 ONTAP 集群对文件和对象进行编目。
主要功能包括:
-
从对等集群上的本地和远程 ONTAP 卷自动提取元数据(核心和扩展属性、对象标签)。
-
为需要企业数据全局视图的应用程序提供集中查询和筛选 REST API。
-
可扩展的元数据存储。
-
在工作区创建期间触发的自动元数据提取。
工作区为 AI 项目提供数据源(卷)的逻辑分组。
初始版本支持:
-
创建跨越本地和远程 ONTAP 卷的工作区(使用集群对等)。
-
为工作区分配访问控制,支持多用户和多租户环境。
-
创建工作区时自动元数据提取和目录填充。
Data Sync 可使元数据目录和数据集在源数据更改时保持最新,无需手动干预。
主要功能包括:
-
使用策略驱动的 SnapMirror 复制自动同步来自远程或本地 ONTAP 集群的数据。
-
仅传播已修改数据的增量更新,从而降低开销。
-
每个工作区可配置的刷新间隔。
-
工作区级别的同步状态和活动监控。
初始版本包括以下工作流:
-
在集群设置期间发现和添加数据计算节点 (DCN)。
-
为 Metadata Engine 创建专用元数据存储虚拟机。
-
用于集群范围元数据访问的 Data Engine 服务接口配置。
-
与其他 ONTAP 集群对等,以将元数据编目扩展到整个数据资产。
-
基于 OIDC/OAuth 的身份验证,用于使用 Microsoft Entra ID 和 Active Directory Federation Services (ADFS) 安全访问 ONTAP System Manager 和 Data Engine Console。
-
用于工作区和元数据管理的基于角色的访问控制。
对于拥有相应 AIDE 许可证的客户,AIDE 9.18.1U1 更新提供以下功能:
-
矢量化和 RAG:使用 AIDE 工作区的元数据,在 AI Data Engine Console 中创建数据集合、嵌入和检索端点。
-
基于护栏的治理:在 AI Data Engine Console 中定义护栏策略,并将这些策略与 ONTAP System Manager 中的工作区关联。
支持的硬件和平台
AIDE 9.18.1 U0 和 U1 运行在结合了以下内容的 ONTAP AI 数据平台集群上:
-
AFX 1K 存储节点
-
NetApp 数据计算节点