AI Data Engine 架構
建議變更
PDF
AIDE 建構於可擴展、容錯的架構之上，將儲存和運算分離，從而為 AI 工作負載實現高效能和靈活性。
實體元件
AFX 控制器節點
AFX 控制器節點運行專為滿足 AFX 環境需求而設計的 ONTAP 軟體的客製化版本。用戶端可透過多種協定（包括 NFS 和 SMB）存取這些節點。每個節點都擁有完整的儲存視圖，並可根據用戶端請求進行存取。這些節點具有狀態訊息，並配備非揮發性記憶體以持久保存關鍵狀態訊息，同時還包含針對目標工作負載的增強功能。
AIDE 部署至少需要四個 AFX 控制器節點，以確保高可用性和效能。
資料運算節點
資料運算節點（DCN）是基於 Linux 的伺服器，擁有強大的 CPU、記憶體和 GPU 資源，專用於 AI 資料處理任務。它們託管著 AI 專用服務，例如 Metadata 編目、向量搜尋和嵌入管道。
AIDE 部署需要剛好 三個 DCN。
叢集 / 儲存交換器
冗餘的高速（100GbE 或更高）交換器連接 ONTAP 和 DCN，以實現低延遲資料傳輸和高可用性。
儲存櫃
採用高密度 SSD 的 NVMe-oF 儲存架可提供超低延遲和備援，支援 PB 級儲存。
網路
所有 DCN 和 ONTAP 儲存節點均透過冗餘的高速叢集交換器（最低 100GbE）連接。這種架構將運算資源和儲存資源分離，使二者能夠獨立擴展，從而優化效能和資源利用率。
DCN 和 ONTAP 節點之間的網路連線透過叢集交換器上的專用 VLAN 和 IPspace 進行隔離。這確保了所有通訊（例如資料存取、管理 API 和內部服務流量）的安全性和高效性，並且不會幹擾其他網路操作。
AI Data Engine 主要功能
AI Data Engine（AIDE）的主要功能協同工作，旨在自動化、保護和加速 AI 資料生命週期。每個功能都以一組運行在 DCN 上的微服務形式實現，與 ONTAP 儲存整合，並透過 REST API 和管理介面對外開放。
Metadata Engine
Metadata Engine 會自動產生結構化、最新且互動式的 NetApp 資料資產視圖。
Metadata Engine 包含在 ONTAP One 基本授權中，並且在安裝 AIDE 後即可使用。
您可以透過 ONTAP System Manager 存取它。
-
對所有資料來源進行中繼資料編目，包括儲存在 AFX 叢集本機的磁碟區和從遠端 ONTAP 叢集同步的磁碟區。
-
自動提取中繼資料，並在資料被擷取或變更時填入目錄。
-
提供 REST API 存取權以查詢中繼資料，使資料從業人員和儲存管理員能夠探索、分類和瞭解資料。
-
將中繼資料查詢從資料路徑卸載，從而降低儲存系統上的 NFS 流量負載。
-
支援大型 Metadata 記錄，並具備索引和搜尋功能。
-
與工作區和資料收集抽象化整合，以強制執行存取控制和治理。
資料同步
Data Sync 是一項自動化的後台服務，即使來源資料發生變化，也能確保中繼資料目錄和資料集合保持最新狀態並與底層資料來源保持一致。
資料同步功能包含在 ONTAP One 基本許可證中，並且在安裝 AIDE 後即可使用。
-
使用策略驅動的 SnapMirror 複製功能，同步來自遠端或本機 ONTAP 叢集的資料。遠端叢集中的資料將複製到本機 AFX 叢集以進行 AIDE 處理。
-
根據偵測到的變更進行遞增更新，僅傳播已修改的資料。
-
在整個資料環境中提供安全、增量式的資料遷移和同步。
-
規劃和監控同步間隔，每個工作區的重新整理率可設定。
-
與工作區建立工作流程整合，以便在新增資料來源時擷取和更新 Metadata。
Data Guardrails
Data Guardrails 服務為 AI 生命週期中的敏感資料提供持續、自動化的治理和保護。
Data Guardrails 功能不包含在 ONTAP One 基本授權中，需要單獨的 AIDE 授權。
您可以透過 AI Data Engine Console 存取護欄功能。
-
持續掃描、分類和歸類資料。
-
利用內建和可自訂的分類器識別敏感資料和風險，用於諸如 PII 偵測之類的任務。
-
透過策略驅動的編輯、遮罩和存取限制，自動處理敏感資料。
-
透過附加至工作區的護欄政策來執行公司和法規標準。
-
限制對敏感檔案或磁碟區的存取（按配置），並進行稽核記錄和法規遵循報告。
-
與工作區和資料收集管理整合，以在 AI 資料工作流程中一致地應用防護措施。
Data Curator
Data Curator 服務能夠為 AI 和 GenAI 應用程式實現快速的資料探索、搜尋、向量化和擷取。
Data Curator 功能不包含在 ONTAP One 基本授權中，需要單獨的 AIDE 授權。
您可以透過 AI Data Engine Console 存取 Data Curator。
-
使用集中式元資料目錄在儲存體中搜尋相關資料。
-
為資料科學家提供工具，以建立精選的資料集合。
-
在儲存層自動產生向量嵌入。
-
為 AI 應用程式提供安全的擷取端點，支援向量語意搜尋和重新排名。
-
與 AI 工具和技術整合，包括 Retrieval-Augmented Generation（RAG）管道和 agentic AI 框架。
-
提供 REST API，用於以程式設計方式存取資料集合、向量搜尋和擷取端點。
安全性和多租戶
該平台同時實施基於角色的存取控制（RBAC）和資源級存取控制清單（ACL）。所有 API 和使用者操作均經過審計，所有資料在靜態儲存和傳輸過程中均進行加密。各個租戶的資料和元資料相互隔離。