AI Data Engine 的新功能
AI Data Engine(AIDE)9.18.1 是 NetApp 人工智慧資料管理平台的首個版本。此版本引入了 Metadata Engine 和管理工作流程,使組織能夠對用於人工智慧工作負載的非結構化資料進行編目和組織,從而為進階治理和向量化功能奠定基礎。擁有相應 AI Data Engine 授權的客戶可以使用進階治理(防護措施)和向量化功能。
AIDE 9.18.1 初始版本的新增功能
AI Data Engine 9.18.1 引進了以下基礎功能:
初始版本包含一個 Metadata Engine,用於對 ONTAP 叢集中的檔案和物件進行編目。
主要特點包括:
-
從對等叢集上的本機和遠端 ONTAP 磁碟區自動擷取中繼資料(核心和擴充屬性、物件標籤)。
-
為需要全域檢視企業資料的應用程式提供集中式查詢和篩選 REST API 。
-
可擴充的中繼資料儲存。
-
在工作區建立期間觸發自動中繼資料擷取。
工作區為 AI 專案提供資料來源(磁碟區)的邏輯分組。
初始版本支援:
-
建立跨越本機和遠端 ONTAP 磁碟區的工作區(使用叢集對等)。
-
為工作區分配存取控制,支援多使用者和多租戶環境。
-
建立工作區時自動擷取中繼資料並填入目錄。
Data Sync 可在來源資料變更時自動更新中繼資料目錄和資料集,無需人工介入。
主要特點包括:
-
使用政策驅動 SnapMirror 複製,自動同步來自遠端或本機 ONTAP 叢集的資料。
-
僅傳播已修改資料的增量更新,從而減少開銷。
-
每個工作區可設定的重新整理間隔。
-
工作區層級的同步狀態和活動監控。
初始版本包含以下工作流程:
-
在叢集設定過程中發現並新增 Data Compute Node (DCN)。
-
為 Metadata Engine 建立專用的中繼資料儲存 VM 。
-
配置 Data Engine 服務介面,以實現叢集範圍內的中繼資料存取。
-
與其他 ONTAP 叢集對等連接,以擴展整個資料環境中的 Metadata Engine 編目。
-
使用 Microsoft Entra ID 和 Active Directory Federation Services(ADFS)進行基於 OIDC/OAuth 的驗證,以安全存取 ONTAP System Manager 和 Data Engine Console。
-
基於角色的工作區和 Metadata 管理存取控制。
擁有相應 AI Data Engine 授權的客戶可以使用以下功能:
-
向量化和 RAG:在 AI Data Engine Console 中建立資料集合、嵌入和檢索端點,使用來自 AIDE 工作區的中繼資料。
-
基於護欄的治理:在 AI Data Engine Console 中定義護欄原則,並將這些原則與 ONTAP System Manager 中的工作區建立關聯。
支援的硬體和平台
AI Data Engine 9.18.1 在 ONTAP AI 資料平台叢集上執行,該叢集結合了:
-
AFX 1K 儲存節點
-
NetApp 資料計算節點