Skip to main content
AI Data Engine
简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

AI Data Engine 的新增功能

贡献者 netapp-dbagwell RSS

AI Data Engine (AIDE) 9.18.1 是 NetApp 的 AI 数据管理平台的初始版本。此版本引入了 Metadata Engine 和管理工作流程,使组织能够为 AI 工作负载编目和组织非结构化数据,为高级治理和矢量化功能提供基础。拥有适当 AI Data Engine 许可证的客户可以使用高级治理(护栏)和矢量化。

AIDE 9.18.1 初始版本中的新增功能

AIDE 9.18.1 引入了以下基础功能:

初始版本包括一个 Metadata Engine,用于跨 ONTAP 集群对文件和对象进行编目。

主要功能包括:

  • 从对等集群上的本地和远程 ONTAP 卷自动提取元数据(核心和扩展属性、对象标签)。

  • 为需要企业数据全局视图的应用程序提供集中查询和筛选 REST API。

  • 可扩展的元数据存储。

  • 在工作区创建期间触发的自动元数据提取。

工作区为 AI 项目提供数据源(卷)的逻辑分组。

初始版本支持:

  • 创建跨越本地和远程 ONTAP 卷的工作区(使用集群对等)。

  • 为工作区分配访问控制,支持多用户和多租户环境。

  • 创建工作区时自动元数据提取和目录填充。

Data Sync 可使元数据目录和数据集在源数据更改时保持最新,无需手动干预。

主要功能包括:

  • 使用策略驱动的 SnapMirror 复制自动同步来自远程或本地 ONTAP 集群的数据。

  • 仅传播已修改数据的增量更新,从而降低开销。

  • 每个工作区可配置的刷新间隔。

  • 工作区级别的同步状态和活动监控。

初始版本包括以下工作流:

  • 在集群设置期间发现和添加数据计算节点 (DCN)。

  • 为 Metadata Engine 创建专用元数据存储虚拟机。

  • 用于集群范围元数据访问的 Data Engine 服务接口配置。

  • 与其他 ONTAP 集群对等,以将元数据编目扩展到整个数据资产。

  • 基于 OIDC/OAuth 的身份验证,用于使用 Microsoft Entra ID 和 Active Directory Federation Services (ADFS) 安全访问 ONTAP System Manager 和 Data Engine Console。

  • 用于工作区和元数据管理的基于角色的访问控制。

以下功能适用于拥有相应 AI Data Engine 许可证的客户:

  • 矢量化和 RAG:使用 AIDE 工作区的元数据,在 AI Data Engine Console 中创建数据集合、嵌入和检索端点。

  • 基于护栏的治理:在 AI Data Engine Console 中定义护栏策略,并将这些策略与 ONTAP System Manager 中的工作区关联。

支持的硬件和平台

AI Data Engine 9.18.1 运行在结合了以下内容的 ONTAP AI 数据平台集群上:

  • AFX 1K 存储节点

  • NetApp 数据计算节点