Skip to main content
AI Data Engine
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

NetApp AI Data Engine 常見問題

貢獻者 netapp-dbagwell
PDF

本常見問題涵蓋了有關 NetApp AI Data Engine （AIDE） 的常見問題，包括其架構、部署、使用者類型、技術特性、整合和授權。

AIDE 基礎知識

什麼是 NetApp AI Data Engine（AIDE）？

NetApp AI Data Engine （AIDE）是一款與儲存整合的 AI 資料服務，涵蓋 AI 的整個生命週期，從發現和準備原始資料到提供檢索端點，為生成式 AI （GenAI）、檢索增強生成 （RAG）、智能體 AI 和 AI 工廠提供支援。AIDE 可自動執行同步和變更偵測，為資料發現和管理提供統一、最新的選取資料視圖。

AIDE 如何運作？

AIDE 可與 NetApp ONTAP 儲存系統直接集成，建立整個 NetApp 資料環境的全域結構化視圖，並實現自動變更偵測與同步。AIDE 提供即時向量化、壓縮和去重功能、策略驅動的安全防護措施，以及與 AI 工具的整合。

使用者和角色

誰在使用 AI Data Engine？

AIDE 的主要使用者包括：

  1. ONTAP 儲存管理員：管理基礎架構、AI 特定儲存需求、安全性和合規性。

  2. 資料工程師：管理跨環境的資料移動、準備和整合。

  3. 資料科學家：準備和轉換 AI 可以使用的相關數據。

需求和部署

需要哪些硬體？

AIDE 的部署需要 AFX 系統（包括 AFX 控制器、磁碟機櫃和網路交換器），但可以透過 SnapMirror 和叢集對等連接使用來自運行 ONTAP 9 的叢集的叢集資料。AIDE 部署至少需要四個 AFX 控制器節點，以確保高可用性和效能。

AIDE 運行在 NetApp 資料計算節點（DCN）上。需要三個 DCN。DCN 託管 AIDE 軟體，其中包括 Metadata Engine、Data Sync、Data Curator 和 Data Guardrails。

我可以使用自己的 DCN 嗎？

不。DCN 是 NetApp 提供的資料運算硬體節點，也是 AI Data Engine 唯一的部署機制。

最少需要多少個 DCN？

正好需要三個 DCN。

DCN 上運行的是什麼作業系統？

DCN 運行 NetApp 提供的軟體堆疊與 AIDE。

AIDE 是否可以在不部署 AFX 的情況下部署？

否。AIDE 的部署需要 AFX。AIDE 使用 Trident 來存取 AFX 磁碟區作為內部儲存（持久性磁碟區）。為 AIDE 提供儲存的 AFX 叢集可以與 ONTAP 9 系統或叢集建立對等連線。它使用叢集對等連線和 SnapMirror 將資料從遠端 ONTAP 叢集同步到 AFX 系統。

管理和介面

AIDE Console 是 NetApp Console 的一部分還是一個獨立的介面？

AI Data Engine Console 是獨立的管理介面，運作在 DCN 上。您可以使用 AI Data Engine Console 來管理 AIDE 服務，例如 Data Guardrails 和 Data Curator。您也可以使用 ONTAP System Manager 來監控 AIDE 叢集。

功能與特性

AIDE 的主要功能有哪些？

AIDE 有四個主要功能：

Metadata Engine

  • 自動產生結構化、最新、互動式的資料檢視。

  • 可處理儲存在 ONTAP 上的資料。

  • 使資料從業人員能夠與儲存管理員協作，尋找並理解資料。

  • API 查詢中繼資料以提供各種功能，同時減少儲存系統上的 NFS 流量負載。

  • 中繼資料擷取和編目功能是專門為 AIDE 建置的，並且持續運作，利用 ONTAP 快照等功能。

資料同步

  • 當來源資料變更時，無需人工幹預即可自動保持資料的時效性。

  • 管理員可以天或小時為單位定義資料重新整理間隔。

  • 提供增量資料遷移和資料同步，以消除 AI 資料的冗餘副本。

Data Guardrails

  • 在人工智慧生命週期內自動識別並保護敏感資料。可透過 AI Data Engine Console 存取。

  • 持續掃描、分類和歸類資料。

  • 識別敏感資料（例如 PII）和風險。

  • 有助於制定符合公司和監管標準的敏感資料自動處理原則。

  • 提供自動敏感資訊脫敏功能，以保護資料安全。

  • 根據需要限制對敏感檔案的存取。

Data Curator

  • 允許資料科學家在儲存媒體中搜尋相關資料。

  • 利用 AFX 磁碟區上已有的資料建立精選資料集。

  • 在儲存層產生向量嵌入，以減少資料膨脹並提高效能。

  • 為 AI 應用程式提供具有向量語意搜尋和重新排序的擷取端點。

整合與互通性

AIDE 是否支援跨多個 ONTAP 叢集的聯合中繼資料？

AIDE 可以使用 SnapMirror 和叢集對等連接到多個 ONTAP 叢集，從而實現集中式中繼資料可見性。

中繼資料儲存在哪裡？

AIDE 使用 AFX 提供的持久性磁碟區將元資料儲存在連接的 AFX 叢集上。DCN 使用本地儲存進行內部操作。

AIDE Metadata Engine 是否會將資料分類？

否。Metadata Engine 會對檔案系統中繼資料進行編目，並提供 API 來查詢這些已編目的中繼資料。

支援哪些資料來源？

AIDE 支援 ONTAP 磁碟區（本機或遠端）作為資料來源。遠端 ONTAP 叢集必須執行 ONTAP 9 並透過叢集對等和 SnapMirror 進行連線。

AIDE 9.18.1 不支援將 ONTAP S3 儲存桶和 StorageGRID 物件作為資料來源。

AIDE 可以處理哪些類型的檔案以進行分類、向量化和語意搜尋？

AI Data Engine 支援多種文件類型，包括 PDF、DOCX、PPTX、TXT 和影像文件，並具備 OCR 功能。

AIDE 是否支援對非英語資料進行分類？

AIDE 僅支援英文資料。

AIDE 支援哪些整合？

AIDE 提供了一個 RAG API 端點，可透過直接 API 呼叫或 Model Context Protocol (MCP) 伺服器存取。這支援與智能體 AI 框架和工具的整合。

部署與授權

有哪些部署選項？

AIDE 部署在本地 AFX 基礎架構上，並附有 DCN。它可直接與 NetApp ONTAP AFX 安裝整合。

AIDE 如何獲得授權？

AIDE 需要軟體授權才能執行 Data Guardrails 和 Data Curator。

如果您只需要 Metadata Engine，則所有 AFX 系統都包含的 ONTAP One 授權可提供僅 Metadata Engine 的功能。

相關資訊