AI Data Engine 需求
建議變更
PDF
在部署 AI Data Engine （AIDE） 之前，請審查您環境的連網、Kubernetes、規模和作業系統需求。對於單節點部署，您只需提供一台 Linux VM，AI Data Engine 就會自動配置其他所有元件。對於多節點部署，您需要自備 Kubernetes 叢集。
網路需求
必須開啟以下網路連線：
| 連線 | 連接埠 | 傳輸協定 | 方向 | 目的 |
|---|---|---|---|---|
控制台代理程式至 NetApp Console |
443 |
TCP |
傳出 |
HTTPS：與 NetApp Console 的連線 |
Console 代理程式至 ONTAP |
443 |
TCP |
傳出 |
HTTPS：ONTAP 叢集探索 |
控制台代理程式到 AI Data Engine |
80、443、8080、9000 |
TCP |
雙向 |
主控台代理程式與 AI Data Engine 之間的通訊 |
AI 用戶端到 MCP 伺服器 |
443 |
TCP |
傳入 |
HTTPS：AI 用戶端從您的企業網路或 VPN 存取 AIDE 叢集主機名稱。AI 用戶端透過連接埠 443 連接到主機名稱。它們不會連接到內部服務連接埠。 |
AI Data Engine 到 ONTAP（NFS） |
111 、 2049 |
TCP/UDP |
至儲存設備 |
NFS 資料來源存取 |
AI Data Engine 到 ONTAP（SMB） |
139 、 445 |
TCP/UDP |
至儲存設備 |
SMB 資料來源存取 |
叢集節點到 NFS 伺服器（多節點組態 Volume） |
2049 |
TCP |
傳出 |
透過 NFS 存取包含 AI Data Engine 組態的匯出。僅適用於多節點部署。如果使用 Kerberos，管理主機也會掛載此匯出。 |
AI Data Engine 到 Active Directory |
389、636、3268、3269 |
TCP（UDP 也適用於 389） |
傳出 |
LDAP（389）、LDAPS（636）和全域編錄（3268、3269）用於使用者身分驗證、SMB/CIFS 掃描，以及將 NFS 使用者和群組 ID 對應到 Active Directory 名稱。連接埠 389 同時使用 TCP 和 UDP；所有其他連接埠僅使用 TCP。 |
AI Data Engine 到 Kerberos KDC（Active Directory 網域控制器） |
88 |
TCP/UDP |
傳出 |
用於 SMB/CIFS 資料來源的 Kerberos 驗證。僅在您使用 Kerberos 時才需要。請參閱 Kerberos 和 Active Directory 的要求。 |
AI Data Engine 到 DNS 伺服器 |
53 |
TCP/UDP |
傳出 |
使用 Kerberos 時，檔案伺服器和 KDC 的名稱解析 |
AI Data Engine 到 NetApp 服務、Container 登錄和 CDN |
443 |
TCP |
傳出 |
HTTPS：安裝指令碼從 CDN 下載，Container 映像和 Helm chart 從 ECR 拉取，元件目錄從 S3 下載 |
傳出網際網路存取
對於線上安裝，以下端點必須可存取。如果某行說明了條件，則僅在該條件下才需要該端點。
| 端點 | 目的 | 由……發起 | 部署類型 |
|---|---|---|---|
|
NetApp Container 登錄（AIDE Container 映像與 Helm chart） |
Container 執行階段和安裝程式 |
兩者 |
|
NetApp Container 註冊表（雙堆疊/虛擬私有雲（VPC）端點存取） |
Container 執行階段和安裝程式 |
兩者 |
|
AWS ECR API（驗證與映像清單擷取） |
Container 執行階段和安裝程式 |
兩者 |
|
AWS ECR 登錄認證資料重新整理 |
AI Data Engine |
兩者 |
|
AWS S3（ECR Container 映像階層儲存設備） |
Container 執行階段 |
兩者 |
|
AWS S3（ECR Container 映像階層儲存設備） |
Container 執行階段 |
兩者 |
|
AWS S3（元件版本目錄） |
安裝程式和 AI Data Engine |
兩者 |
|
AWS S3（元件版本目錄） |
安裝程式和 AI Data Engine |
兩者 |
|
AWS STS（登錄與 S3 存取的臨時認證資料交換） |
AI Data Engine |
兩者 |
|
AI Data Engine 營運者：版本原則 |
AI Data Engine |
兩者 |
|
NetApp Console 註冊 |
安裝程式 |
兩者 |
|
NetApp Console 驗證 |
AI Data Engine |
兩者 |
|
FSx 和 NetApp 工作負載探索 |
AI Data Engine |
兩者 |
|
Google Cloud NetApp Volumes 探索 |
AI Data Engine |
兩者 |
|
健全狀況監視器使用它在健全狀況儀表板顯示公共 IP 位址。AI Data Engine 無需它即可正常運作。 |
AI Data Engine |
兩者 |
|
這是取得健全狀況儀表板顯示的公用 IP 位址的備用方案。即使沒有此方案，AI Data Engine 也能正常運作。 |
AI Data Engine |
兩者 |
|
這是取得健全狀況儀表板顯示的公用 IP 位址的備用方案。即使沒有此方案，AI Data Engine 也能正常運作。 |
AI Data Engine |
兩者 |
|
這是取得健全狀況儀表板顯示的公用 IP 位址的備用方案。即使沒有此方案，AI Data Engine 也能正常運作。 |
AI Data Engine |
兩者 |
|
Proxy 連線測試，僅在您使用傳出 Proxy 時使用。測試失敗不會阻擋安裝或執行階段。此端點與提供 k3s 系統映像的 Docker Hub 端點分隔。 |
AI Data Engine |
兩者 |
|
Proxy 連線測試，僅在您使用傳出 Proxy 時使用。測試失敗不會區塊安裝或運作。 |
AI Data Engine |
兩者 |
|
AWS Cognito 存取，用於將產品使用計量從 AI Data Engine 個體傳送至 NetApp。也用於 Proxy 連接性測試。 |
AI Data Engine |
兩者 |
|
日誌和計量串流 |
AI Data Engine |
兩者 |
|
僅當您使用受控 AI 存取（MCP）時才需要。Microsoft Entra ID 租戶探索和簽署金鑰擷取。 |
AI Data Engine |
兩者 |
|
適用於安裝指令碼的 CloudFront CDN |
安裝程式 |
兩者 |
|
Helm 下載 |
安裝程式 |
兩者 |
|
kubectl 下載 |
安裝程式 |
兩者 |
|
jq 下載，以及單節點部署上的 k3s 二進位檔案下載 |
安裝程式 |
兩者 |
|
GitHub 下載重新導向 |
安裝程式 |
兩者 |
|
k3s 執行階段下載 |
安裝程式 |
僅限單節點 |
|
k3s SELinux 原則套件 ( |
安裝程式 |
僅限單節點（RHEL 系列） |
|
用於 k3s 系統映像的 Docker Hub 驗證 |
Container 執行階段 |
僅限單節點 |
|
用於 k3s 系統映像的 Docker Hub 註冊表 |
Container 執行階段 |
僅限單節點 |
|
用於 k3s 系統映像的 Docker Hub 映像階層儲存設備 |
Container 執行階段 |
僅限單節點 |
無論您是直接連線至網際網路還是透過 Proxy，此表格中的端點都是相同的。
如果您使用 Proxy，請允許連接埠 443 上 HTTPS (CONNECT）的每個端點使用所列出的確切主機名稱，不使用萬用字元或領先業界的點。
透過主機名稱允許託管安裝程式下載的 d13jb5dapseb36.cloudfront.net。其 IP 位址與其他網站是共享的，且經常變更，因此基於 IP 位址的規則不再有效。
對於多節點部署，叢集節點會建立 Container 執行時間連線。如果從 NetApp Console 執行的多節點安裝命令指定了不同的 `--registry`值，請允許該登錄主機名稱，而不是表格中的登錄主機名稱。
請參閱 "了解 AI Data Engine 的 Proxy"。若要使用 Proxy 部署，請參閱 "將 AI Data Engine 部署為具有 Proxy 的單節點部署" 或 "將 AI Data Engine 部署為具有 Proxy 的多節點部署"。
|
如果您的環境需要，請確認您的套件管理員具有適當的 Proxy 組態。 |
AI Data Engine 也依賴 NetApp Console 進行集中式驗證和控制台服務。諸如 https://api.bluexp.netapp.com 和 https://netapp-cloud-account.auth0.com 等端點列於 "NetApp Console 的網路存取要求" 中。
在開始部署之前，請先從 AI Data Engine 主機驗證這些端點的 DNS 解析是否正常運作。
支援的 Kubernetes 版本
AI Data Engine 僅支援此表中列出的經銷和版本。
| 部署 | Kubernetes 經銷 | 支援的版本 | 由……提供 |
|---|---|---|---|
AIDE 單節點 |
k3s |
v1.35 |
安裝程式會自動資源配置 k3s。無需任何行動。 |
AIDE 多節點 |
RKE2 |
v1.34 至 v1.36（建議 v1.36.x） |
您提供叢集，可以是共享的，也可以是專用。 |
AIDE 多節點 |
OpenShift |
OpenShift 4.22.16 （Kubernetes v1.35.8） |
您提供叢集，可以是共享的，也可以是專用。 |
AIDE 多節點 |
Azure Kubernetes Service （AKS） |
v1.34 至 v1.36 |
您提供叢集，可以是共享的，也可以是專用。 |
AIDE 單節點部署需求
您只需提供一台 Linux 虛擬機，AI Data Engine 就會自動資源配置其他所有元件，包括 k3s。您無需設定或管理 Kubernetes。有關主機準備、磁碟空間和防火牆要求，請參閱 "AIDE 單節點部署先決條件"。
VM 規模
這些大小是建議的基準組態，針對三到四天的初始掃描時間範圍最佳化的，並非硬性限制。請參閱 靈活的規模指南 以了解這些數字的依據以及如何進一步擴充。
| 大小 | vCPU | RAM | 磁碟 | 儲存 IOPS | 儲存處理量 | 網路 | 近似檔案 |
|---|---|---|---|---|---|---|---|
小型 |
16 |
64 GB |
500 GB |
8,000 |
1,000 MB/s |
1 GbE |
2億 |
中 |
32 |
128 GB |
2 TB |
12,000 |
1,500 MB/s |
1 GbE |
10 億 |
大型 |
96 |
192 GB |
6 TB |
16,000 |
2,000 MB/s |
10 GbE |
30 億 |
|
|
對於所有部署規模，建議使用 NVMe SSD 或其他固態儲存設備。此表中的磁碟容量值僅反映 AIDE 資料 Volume 的儲存設備。如果作業系統、k3s 執行時間和 AIDE 資料都共享單一磁碟，則在所選規模的磁碟容量值上增加約 65 GB。例如，單一磁碟上的小型部署總共需要約 565 GB 的空間。 |
|
|
在單節點部署中，AIDE 資料 Volume 應使用區塊儲存設備，而非 NFS。NFS 支援的儲存設備可能會導致效能下降。 |
靈活的規模指南
小型、中型和大型組態這些是建議的三到四天初始掃描視窗的基準值，而不是軟體強制執行的硬性限制。
- 規模建議的依據是什麼
-
-
檔案和目錄總數：要建立目錄的物件總數是運算和儲存設備需求的主要驅動因素。物件數量越多，所需的記憶體容量、CPU 和儲存設備就相對越多。
-
目錄結構：資源使用會隨著目錄嵌套深度以及檔案在共享和磁碟區中的分佈而改變。深度嵌套或高度分散的結構可能比扁平層級結構中相同數量的檔案需要更多資源。
-
所需掃描處理量：初始目錄完成速度直接取決於 CPU 和記憶體容量分配。配置低於建議大小會降低處理量並延長初始掃描視窗。
-
儲存效能：強烈建議使用高效能儲存設備。中繼資料索引和事件處理需要與部署規模成正比的持續 IOPS 和處理量。
-
- 如果部署規模太小或超出部署規模，會發生什麼情況
-
每種組態都針對特定的檔案數量和掃描速率進行了最佳化。如果您的環境超出組態支援的範圍，則可能會出現以下情況：
-
初始目錄時間延長：運算減少會降低每日掃描的物件數。例如，目標為 30 億個物件但配置規模較小的部署，所需時間可能遠超過三到四天的目標。
-
後續擷取處理量降低：在持續負載下，新檔案事件和遞增掃描更新的處理速度會變慢。
-
掃描停滯：AI Data Engine 元件是根據您部署的規模進行設定。當環境顯著超出該規模時，掃描可能會停滯，而不僅僅是速度減慢。若要檢查不正常的工作負載與資源限制，請參閱 "監控部署健全狀況並調查問題"。
-
儲存容量風險：相對於物件總數而言，儲存設備不足可能會導致中繼資料索引接近容量閾值。請聯絡 NetApp 支援以規劃儲存擴充。
-
- 擴充超出建議規模
-
AI Data Engine 元件是針對您部署的規模而設定，因此在主機 VM 中新增 vCPU、記憶體容量或儲存設備並不會自動增加容量。如果您需要的檔案數量或效能超過您部署的規模，請聯絡 NetApp 支援部門以重新調整規模。
單節點部署不支援高可用度或橫向擴充。如果您的環境檔案數量持續超過 30 億，或者您需要高可用度和容錯能力，請改為部署 "AIDE 多節點部署"。
作業系統
| 作業系統 | 支援的版本 |
|---|---|
Ubuntu |
22.04 LTS，24.04 LTS（建議使用 24.04 LTS） |
Red Hat Enterprise Linux（RHEL） |
8.x、9.x |
AIDE 多節點部署需求
您可以自備 Kubernetes 叢集，該叢集可以是與其他工作負載共享的，或是專用於 AI Data Engine。安裝程式會將 AI Data Engine 部署到您現有的 Kubernetes 叢集上，且不會對其進行資源配置或管理。有關叢集、儲存設備和安裝程式主機的要求，請參閱 "AIDE 多節點部署的先決條件"。
|
|
對於所有多節點部署，建議使用 NVMe 或高效能 SSD 儲存設備。 |
Linux 核心和 NFS nconnect 支援
建議使用 Linux 核心 5.3 或更高版本來實現 nconnect NFS 裝載選項，該選項可提供共享的 AIDE 組態 Volume 所需的處理量。以下經銷版本支援 nconnect 並滿足核心建議；RHEL 和 CentOS 8.3 使用的是 Red Hat 核心的向後移植。
| 散佈傳遞 | 核心版本 | `nconnect`支援 |
|---|---|---|
RHEL / CentOS 8.3+ |
4.18（向後移植） |
是的 |
RHEL / CentOS 9.x |
5.14 |
是的 |
Ubuntu 20.04 |
5.4 |
是的 |
Ubuntu 22.04 |
5.15 |
是的 |
節點規模
這些大小是建議的基準叢集組態，針對三到四天的初始掃描時段最佳化的，並非硬性容量限制。超過 60 億個檔案的環境需要與 NetApp 進行自訂規模。如需詳細資訊，請參閱 靈活的規模指南。
| 大小 | 節點 | 每個節點的 vCPU | 每個節點的 RAM | 每個節點的磁碟 | 每個節點的儲存設備 IOPS | 每個節點的儲存處理量 | 每個節點的網路 | 近似檔案 |
|---|---|---|---|---|---|---|---|---|
小型 |
3 |
32 |
128 GB |
約 1.3TB |
8,000 |
1,000 MB/s |
1 GbE |
10 億 |
中 |
6 |
48 |
192 GB |
約 2TB |
12,000 |
1,500 MB/s |
10 GbE |
30 億 |
大型 |
9 |
64 |
256 GB |
約 2.7TB |
16,000 |
2,000 MB/s |
10 GbE |
60 億 |
靈活的規模指南
小型、中型和大型組態 是建議的基準叢集組態，適用於三到四天的初始掃描期間，而非軟體強制執行的硬性容量上限。超過 60 億個檔案的環境需要與 NetApp 進行自訂規模。
- 規模建議的依據是什麼
-
-
檔案和目錄總數：物件總數是儲存設備和運算需求的主要驅動因素。規模較大的環境需要額外的叢集節點來分散處理負載並維持效能。
-
高可用度複寫：多節點部署預設啟用跨節點資料複寫以提供容錯能力。與同等的單節點部署相比，複寫會增加總儲存設備和記憶體容量需求。
-
節點數量與工作負載經銷：處理處理量和總目錄容量隨叢集中節點數量的增加而擴展。增加節點可以將索引工作負載和儲存容量分配到整個叢集。
-
所需掃描處理量：叢集範圍內的 CPU 和記憶體容量分配決定了每日掃描速率以及初始目錄的完成速度。
-
每個節點的儲存效能：強烈建議在每個節點上使用高效能儲存設備，叢集總容量與節點數量成正比擴充。
-
- 如果部署規模太小或超出部署規模，會發生什麼情況
-
每種組態都針對特定的檔案數量和掃描速率進行了最佳化。如果您的環境超出組態支援的範圍，則可能會出現以下情況：
-
初始目錄持續時間延長：節點較少或每個節點的資源減少會降低處理量，進而按比例延長初始目錄的時間範圍。
-
峰值負載下處理延遲增加：叢集記憶體容量不足會導致高容量擷取期間處理延遲升高。
-
掃描停滯：AI Data Engine 元件是根據您部署的規模進行設定。當環境顯著超出該規模時，掃描可能會停滯，而不僅僅是速度減慢。若要檢查不正常的工作負載與資源限制，請參閱 "監控部署健全狀況並調查問題"。
-
儲存容量風險：叢集儲存設備不足以容納目標物件數量，可能會導致中繼資料索引接近容量閾值。請聯絡 NetApp 支援以規劃儲存擴充。
-
- 擴充超出建議規模
-
不支援對現有多節點叢集進行水平擴充。新增工作節點或專用儲存設備節點不會自動增加掃描處理能力、事件接收能力或目錄容量。如果您的環境規模超過已部署的規模，或者您需要更多掃描處理能力或事件接收能力，請聯絡 NetApp 支援團隊或您的 NetApp 代表，以便規劃變更。
若要擴充超過 60 億個檔案，請聯絡您的 NetApp 代表，以取得節點規模指引與自訂擴充。
Kerberos 和 Active Directory 的要求
在使用 Kerberos 驗證掃描 SMB/CIFS 共用區，或將 NFS 使用者和群組 ID 對應至 Active Directory 名稱之前，請先檢閱這些需求。時間同步、DNS 和主機套件需求僅適用於 Kerberos。AIDE 是 Kerberos 用戶端：它會向您現有的 Kerberos 金鑰經銷中心（KDC）進行驗證，且不會充當 Kerberos 伺服器。
時間同步
當 AIDE 節點和 KDC 上的時鐘差異超過允許的時鐘偏差時，Kerberos 驗證將會失敗。Active Directory 預設允許的最大差異為五分鐘。
請核實以下內容：
-
網路時間協定（NTP）在所有 AIDE 節點上均處於作用中。
-
AIDE 節點使用與網域控制器同步的時間來源。
DNS
請符合以下 DNS 要求：
-
每個 AIDE 節點都可以透過完整網域名稱（FQDN）解析檔案伺服器和 KDC。
-
如果將節點設定為使用 Active Directory DNS 伺服器，則該伺服器也必須能夠解析外部名稱。否則，AIDE 將無法存取 傳出網際網路存取 中所列的端點。
-
如果在多節點部署中變更 DNS 設定，請將 Active Directory DNS 伺服器設定為每個節點上唯一的名稱伺服器。叢集中的名稱解析會隨機選擇列出的名稱伺服器之一，因此無法解析 Active Directory 名稱的名稱伺服器會導致間歇性故障。
若要變更 DNS 設定，請參閱 "在單節點部署中為 SMB/CIFS 共用區設定 Kerberos" 或 "在多節點部署中為 SMB/CIFS 共用區設定 Kerberos" 中的「修復名稱解析」。
主機套件
| 部署 | 所需套件 |
|---|---|
單節點 |
Kerberos 用戶端工具： |
多節點 |
|
只有在進行以 Kerberos 為基礎的 SMB/CIFS 掃描時，每個 AIDE 節點才需要 cifs-utils。單節點安裝程式會安裝它。在多節點部署中，您必須在每個節點上安裝它。如果節點上遺失 cifs-utils，則 SMB/CIFS 共用區的 Kerberos 掃描將會失敗。
NFS 的 Active Directory 屬性
若要將 NFS 使用者和群組 ID 解析為 Active Directory 名稱，必須填入 uidNumber 和 gidNumber 屬性，並且在 AIDE 查詢全域編錄時，必須將這些屬性複製到全域編錄。請參閱 "設定 NFS 的 Active Directory 身分對應"。
作用中版本和支援聯絡方式
若要尋找 AI Data Engine 的作用中版本和 NetApp 支援聯絡資訊，請前往 組態 > 關於 AIDE。