AI Data Engine 元件和基於角色的互動
建議變更
PDF
AI Data Engine（AIDE）由多個核心元件組成，這些元件協同工作，為 AI 工作負載提供全面的資料管理和處理平台。這些元件包括工作區、資料集、向量資料庫、安全防護機制、元資料目錄、檢索端點和分類器。每個元件都在實現高效的資料發現、管理、治理以及與 AI/ML 應用的整合方面發揮特定作用。
每個 AIDE 使用者根據其角色與 AIDE 元件的互動方式都不同。
儲存和資料相關的使用者角色
AIDE 引進了新的使用者角色，同時仍支援傳統的 ONTAP 系統管理角色：
儲存使用者
-
儲存管理員：管理 AFX 和 AIDE 叢集設定、網路、儲存資源配置和使用者存取。
資料使用者
-
資料工程師：建立和最佳化 AI/ML 管道、管理資料收集，並整合 AI 模型。
-
資料科學家：探索、整理和分析資料集，建立資料集合，並運用擷取端點來開發 GenAI 應用程式。
| 角色 (RBAC 名稱) | 說明 |
|---|---|
儲存管理員 ( |
管理 AFX 和 AIDE 叢集設定、網路、儲存配置和使用者存取。為使用者指派 RBAC 角色，以決定其對 AIDE 介面和功能的存取層級。此管理員角色可使用 ONTAP System Manager 和 AI Data Engine Console 進行完整管理存取。 |
資料工程師 ( |
建構並優化 AI/ML 管道、管理資料集合並整合 AI 模型。此角色可存取 AI Data Engine Console 以進行資料工程工作流程。 |
資料科學家 ( |
負責發現、整理和分析資料集，創建資料集合，並利用檢索端點支援 GenAI 應用程式。該職位擁有存取 AI Data Engine Console 的權限，用於資料科學工作流程。 |
AIDE 系統元件
每個 AIDE 使用者（儲存管理員、資料工程師和資料科學家）都會根據自己的角色與 AIDE 元件進行互動。
工作區
工作區是叢集內的資料邏輯分區，它將特定專案、團隊或工作流程的資料卷分組在一起。工作區定義了 AIDE 中資料可見性、存取和治理的範圍。
中繼資料目錄
一個集中式、可擴展的資料庫，用於儲存本地叢集中所有檔案和物件的元資料記錄，包括透過 ONTAP SnapMirror 或叢集對等互連從遠端 ONTAP 叢集同步的資料。它支援豐富的互動式搜尋和篩選功能。
分類器
分類器是（內建或自訂的）工具，用於掃描文件並標記特定類型的敏感資料（例如 PII、財務、醫療保健），或按類型對文件進行分類（例如法律、人力資源、銷售）。
資料收集
資料集是指從工作空間中選取的一組相關檔案或物件，這些檔案或物件由使用者指定的查詢定義，用於 GenAI 工作流程。資料集中的檔案內容在發布後，可透過 GenAI 應用程式的 API 進行語意搜尋。
向量資料庫
向量資料庫儲存從資料集中產生的嵌入，從而為 AI 和 GenAI 應用程式實現高效能的語義搜尋和檢索。
護欄
防護措施是策略驅動的機制，用於在 AI 資料的整個生命週期中強制執行資料治理、分類和保護（例如編輯或存取限制）。
檢索端點（RAG 端點）
檢索端點（有時稱為 Retrieval-Augmented Generation 或「RAG」端點）是一個安全的 API，它使 AI 和 GenAI 應用程式能夠從精選集合和向量資料庫中存取相關資料、上下文或嵌入。
RAG 端點旨在支援進階 AI 工作流程，例如生成式 AI 模型中的語意搜尋和內容感知回應。透過將您的 AI 應用程式連接到擷取端點，您可以即時存取由 AIDE 管理的精選 AI 就緒資料集，進而提升模型準確度和相關性。