NetApp AIPod Mini - 利用NetApp和 Intel 進行企業 RAG 推理
建議變更
PDF
本文介紹了NetApp AIPod for Enterprise RAG 的經過驗證的參考設計，該設計採用了 Intel Xeon 6 處理器和NetApp資料管理解決方案的技術和組合功能。該解決方案演示了下游 ChatQnA 應用程式利用大型語言模型，為並髮用戶提供準確、上下文相關的回應。這些回應是透過隔離的 RAG 推理管道從組織的內部知識庫中檢索的。
Sathish Thyagarajan、Michael Oglesby、 NetApp
執行摘要
越來越多的組織正在利用檢索增強生成 (RAG) 應用程式和大型語言模型 (LLM) 來解釋使用者提示並產生回應，以提高生產力和商業價值。這些提示和回應可以包括從組織內部知識庫、資料湖、程式碼儲存庫和文件儲存庫檢索到的文字、程式碼、圖像，甚至治療蛋白質結構。本文介紹了NetApp AIPod Mini 解決方案的參考設計，包括NetApp AFF儲存和搭載 Intel Xeon 6 處理器的伺服器。它包括與英特爾高級矩陣擴展 (Intel AMX) 結合的NetApp ONTAP資料管理軟體，以及基於企業 AI 開放平台 (OPEA) 構建的英特爾企業檢索增強生成 (RAG) 軟體。適用於企業 RAG 的NetApp AIPod Mini 使組織能夠將公用 LLM 增強為私有生成式 AI (GenAI) 推理解決方案。此解決方案展示了企業規模的高效且經濟的 RAG 推理，旨在提高可靠性並讓您更好地控制您的專有資訊。
英特爾儲存合作夥伴驗證
搭載英特爾至強 6 處理器的伺服器專為處理要求苛刻的 AI 推理工作負載而設計，並使用英特爾 AMX 實現最佳效能。為了實現最佳的儲存效能和可擴展性，該解決方案已使用NetApp ONTAP成功驗證，使企業能夠滿足 RAG 應用程式的需求。該驗證是在配備 Intel Xeon 6 處理器的伺服器上進行的。英特爾和NetApp建立了強大的合作夥伴關係，致力於提供最佳化、可擴展且符合客戶業務需求的 AI 解決方案。
使用NetApp運行 RAG 系統的優勢
RAG 應用程式涉及從公司各種類型的文件儲存庫中檢索知識，例如 PDF、文字、CSV、Excel 或知識圖。這些資料通常儲存在諸如 S3 物件儲存或 NFS 本地解決方案中作為資料來源。 NetApp一直是邊緣、資料中心和雲端生態系統中資料管理、資料移動性、資料治理和資料安全技術的領導者。 NetApp ONTAP資料管理提供企業級存儲，以支援各種類型的 AI 工作負載，包括批次和即時推理，並提供以下一些優勢：
-
速度和可擴展性。您可以高速處理大型資料集以進行版本控制，並能夠獨立擴展效能和容量。
-
數據存取。多協定支援允許客戶端應用程式使用 S3、NFS 和 SMB 檔案共用協定讀取資料。 ONTAP S3 NAS 儲存桶可以促進多模式 LLM 推理場景中的資料存取。
-
可靠性和保密性。 ONTAP提供資料保護、內建NetApp自主勒索軟體保護 (ARP) 和動態儲存配置，並提供基於軟體和硬體的加密以增強機密性和安全性。 ONTAP 的所有 SSL 連線均符合 FIPS 140-2 標準。
目標受眾
本文檔適用於希望利用為提供企業 RAG 和 GenAI 解決方案而建構的基礎設施的 AI 決策者、資料工程師、業務領導者和部門主管。對 AI 推理、LLM、Kubernetes 以及網路及其元件的先前了解將有助於實施階段。
技術要求
硬體
英特爾人工智慧技術
使用 Xeon 6 作為主機 CPU，加速系統可受益於高單執行緒效能；更高的記憶體頻寬；更高的可靠性、可用性和可服務性 (RAS)；以及更多的 I/O 通道。英特爾 AMX 加速了 INT8 和 BF16 的推理，並支援 FP16 訓練模型，INT8 每核每週期最多可進行 2,048 次浮點運算，BF16/FP16 每核每週期最多可進行 1,024 次浮點運算。要使用 Xeon 6 處理器部署 RAG 解決方案，通常建議至少使用 250GB 的 RAM 和 500GB 的磁碟空間。然而，這在很大程度上取決於 LLM 模型的大小。欲了解更多信息，請參閱英特爾 "Xeon 6處理器"產品簡介。
圖 1 - 搭載 Intel Xeon 6 處理器的運算伺服器
NetApp AFF存儲
入門級和中級NetApp AFF A 系列系統提供更強大的效能、密度和更高的效率。 NetApp AFF A20、 AFF A30 和AFF A50 系統提供真正的統一存儲，支援區塊、檔案和對象，基於單一作業系統，可以以最低的成本在混合雲中無縫管理、保護和調動 RAG 應用程式的資料。
圖 2 - NetApp AFF A 系列系統。
| 硬體 | 數量 | 評論 |
|---|---|---|
基於 Intel Xeon 6 的伺服器 |
2 |
RAG 推理節點 - 配備雙插槽 Intel Xeon 6900 系列或 Intel Xeon 6700 系列處理器以及 250GB 至 3TB RAM，配備 DDR5 (6400MHz) 或 MRDIMM (8800MHz)。 2U伺服器。 |
帶有英特爾處理器的控制平面伺服器 |
1 |
Kubernetes 控制平面/1U 伺服器。 |
100Gb 乙太網路交換器的選擇 |
1 |
資料中心交換器。 |
NetApp AFF A20（或AFF A30； AFF A50） |
1 |
最大儲存容量：9.3PB。注意：網路：10/25/100 GbE 連接埠。 |
為了驗證此參考設計，我們使用了 Supermicro 的 Intel Xeon 6 處理器伺服器（222HA-TN-OTO-37）和 Arista 的 100GbE 交換器（7280R3A）。
軟體
企業AI開放平台
企業 AI 開放平台 (OPEA) 是由英特爾與生態系統合作夥伴共同主導的開源計畫。它提供了一個可組合構建塊的模組化平台，旨在加速尖端生成 AI 系統的開發，並專注於 RAG。 OPEA 包括一個綜合框架，該框架具有 LLM、資料儲存、提示引擎、RAG 架構藍圖以及基於效能、特性、可信度和企業準備度評估生成式 AI 系統的四步驟評估方法。
OPEA 的核心包括兩個關鍵部分：
-
GenAIComps：由微服務元件組成的基於服務的工具包
-
GenAIExamples：可立即部署的解決方案，例如 ChatQnA，可展示實際用例
有關詳細信息，請參閱 "OPEA專案文檔"
由 OPEA 提供支援的英特爾企業人工智慧推理
適用於英特爾企業人工智慧 RAG 的 OPEA 簡化了將企業資料轉化為可操作見解的過程。它由英特爾至強處理器提供支持，整合了來自行業合作夥伴的組件，為部署企業解決方案提供了簡化的方法。它可以與成熟的編排框架無縫擴展，提供企業所需的靈活性和選擇。
在 OPEA 的基礎上，英特爾企業人工智慧 RAG 透過增強可擴展性、安全性和使用者體驗的關鍵功能擴展了這一基礎。這些功能包括與現代基於服務的架構無縫整合的服務網格功能、用於管道可靠性的生產就緒驗證以及用於 RAG 即服務的功能豐富的 UI，從而可以輕鬆管理和監控工作流程。此外，英特爾和合作夥伴的支援提供了廣泛的解決方案生態系統，結合整合的身份和存取管理 (IAM) 與 UI 和應用程序，實現安全且合規的操作。可程式護欄對管道行為提供細粒度的控制，實現客製化的安全性和合規性設定。
NetApp ONTAP
NetApp ONTAP是 NetApp 關鍵資料儲存解決方案的基礎技術。 ONTAP包含各種資料管理和資料保護功能，例如針對網路攻擊的自動勒索軟體保護、內建資料傳輸功能和儲存效率功能。這些優勢適用於一系列架構，從本地到 NAS、SAN、物件和 LLM 部署的軟體定義儲存中的混合多雲。您可以在ONTAP叢集中使用ONTAP S3 物件儲存伺服器來部署 RAG 應用程序，從而利用透過授權使用者和客戶端應用程式提供的ONTAP的儲存效率和安全性。有關詳細信息，請參閱 "了解ONTAP S3 配置"
NetApp Trident
NetApp Trident軟體是一款開源且完全支援的儲存編排器，適用於容器和 Kubernetes 發行版，包括 Red Hat OpenShift。 Trident可與整個NetApp儲存產品組合搭配使用，包括NetApp ONTAP ，並且還支援 NFS 和 iSCSI 連線。有關詳細信息，請參閱 "Git 上的NetApp Trident"
| 軟體 | 版本 | 評論 |
|---|---|---|
企業 RAG 的英特爾 AI 的 OPEA |
1.1.2 |
基於OPEA微服務的企業RAG平台 |
容器儲存介面（CSI驅動程式） |
NetApp Trident 25.02 |
支援動態配置、 NetApp Snapshot 副本和磁碟區。 |
Ubuntu |
22.04.5 |
雙節點叢集上的作業系統 |
容器編排 |
Kubernetes 1.31.4 |
運行 RAG 框架的環境 |
ONTAP |
ONTAP 9.16.1P4 |
AFF A20 上的儲存作業系統。它具有 Vscan 和 ARP 功能。 |
解決方案部署
軟體堆疊
此解決方案部署在由基於 Intel Xeon 的應用節點組成的 Kubernetes 叢集上。至少需要三個節點才能實現 Kubernetes 控制平面的基本高可用性。我們使用以下叢集佈局驗證了該解決方案。
表 3 - Kubernetes 叢集佈局
| 節點 | 角色 | 數量 |
|---|---|---|
配備 Intel Xeon 6 處理器和 1TB RAM 的伺服器 |
應用節點、控制平面節點 |
2 |
通用伺服器 |
控制平面節點 |
1 |
下圖描述了該解決方案的「軟體堆疊視圖」。
部署步驟
部署ONTAP儲存設備
部署並設定您的NetApp ONTAP儲存設備。請參閱 "ONTAP硬體系統文檔"了解詳情。
配置ONTAP SVM 以進行 NFS 和 S3 訪問
在 Kubernetes 節點可存取的網路上設定ONTAP儲存虛擬機器 (SVM) 以進行 NFS 和 S3 存取。
若要使用ONTAP系統管理員建立 SVM，請導覽至“儲存”>“儲存虛擬機器”，然後按一下“+ 新增”按鈕。為您的 SVM 啟用 S3 存取權時，請選擇使用外部 CA（憑證授權單位）簽署的證書，而不是系統產生的憑證。您可以使用自簽名憑證或由公眾信任的 CA 簽署的憑證。有關更多詳細信息，請參閱 "ONTAP文檔。"
以下螢幕截圖展示了使用ONTAP系統管理員建立 SVM 的過程。根據您的環境根據需要修改詳細資訊。
圖 4 — 使用ONTAP系統管理員建立 SVM。
配置 S3 權限
為您在上一個步驟中建立的 SVM 配置 S3 使用者/群組設定。確保您擁有對該 SVM 的所有 S3 API 操作具有完全存取權限的使用者。有關詳細信息，請參閱ONTAP S3 文件。
注意：Intel AI for Enterprise RAG 應用程式的資料擷取服務需要此使用者。如果您使用ONTAP系統管理員建立了 SVM，系統管理員將自動建立一個名為 sm_s3_user`以及一個名為 `FullAccess`當您建立 SVM 時，但尚未指派任何權限 `sm_s3_user。
若要編輯此使用者的權限，請導航至“儲存”>“儲存虛擬機器”，按一下您在上一個步驟中建立的 SVM 的名稱，按一下“設定”，然後按一下“S3”旁的鉛筆圖示。給予 `sm_s3_user`擁有所有 S3 API 操作的完全存取權限，建立一個關聯 `sm_s3_user`與 `FullAccess`策略如下面的螢幕截圖所示。
圖 5 - S3 權限。
建立 S3 儲存桶
在您先前建立的 SVM 內建立一個 S3 儲存桶。若要使用ONTAP系統管理員建立 SVM，請導航至“儲存”>“儲存桶”，然後按一下“+ 新增”按鈕。有關更多詳細信息，請參閱ONTAP S3 文件。
以下螢幕截圖展示了使用ONTAP系統管理員建立 S3 儲存桶的過程。
圖 6 - 建立 S3 儲存桶。
配置 S3 儲存桶權限
為您在上一個步驟中建立的 S3 儲存桶配置權限。確保您在上一個步驟中配置的使用者俱有以下權限： GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.
若要使用ONTAP系統管理員編輯 S3 儲存桶權限，請導覽至“儲存體”>“儲存桶”，按一下儲存桶的名稱，按一下“權限”，然後按一下“編輯”。請參閱 "ONTAP S3 文檔"了解更多詳細資訊。
以下螢幕截圖展示了ONTAP系統管理員中必要的儲存桶權限。
圖 7 - S3 儲存桶權限。
建立 bucket 跨域資源共享規則
使用ONTAP CLI，為您在上一個步驟中建立的儲存桶建立儲存桶跨域資源共用 (CORS) 規則：
ontap::> bucket cors-rule create -vserver erag -bucket erag-data -allowed-origins *erag.com -allowed-methods GET,HEAD,PUT,DELETE,POST -allowed-headers *此規則允許英特爾 AI for Enterprise RAG Web 應用程式的 OPEA 從 Web 瀏覽器內與儲存桶進行互動。
部署伺服器
部署您的伺服器並在每台伺服器上安裝 Ubuntu 22.04 LTS。安裝 Ubuntu 後，在每台伺服器上安裝 NFS 實用程式。若要安裝 NFS 實用程序，請執行以下命令：
apt-get update && apt-get install nfs-common安裝 Kubernetes
使用 Kubespray 在您的伺服器上安裝 Kubernetes。請參閱 "Kubespray 文件"了解詳情。
安裝Trident CSI 驅動程式
在您的 Kubernetes 叢集中安裝NetApp Trident CSI 驅動程式。請參閱 "Trident安裝文檔"了解詳情。
建立Trident後端
為您先前建立的 SVM 建立Trident後端。建立後端時，使用 `ontap-nas`司機。請參閱 "Trident後端文檔"了解詳情。
建立儲存類別
建立與您在上一個步驟中建立的Trident後端相對應的 Kubernetes 儲存類別。有關詳細信息，請參閱Trident存儲類文檔。
企業 RAG 的英特爾 AI 的 OPEA
在您的 Kubernetes 叢集中安裝適用於 Intel AI for Enterprise RAG 的 OPEA。請參閱 "英特爾 AI 企業版 RAG 部署"文件以了解詳細資訊。請務必記下本文後面所述的所需的設定檔修改。您必須在執行安裝手冊之前進行這些修改，以便 Intel AI for Enterprise RAG 應用程式能夠與您的ONTAP儲存系統正確搭配使用。
啟用ONTAP S3
為 Intel AI for Enterprise RAG 安裝 OPEA 時，編輯主設定檔以允許使用ONTAP S3 作為來源資料儲存庫。
要啟用ONTAP S3，請在 `edp`部分。
注意：預設情況下，Intel AI for Enterprise RAG 應用程式會從 SVM 中所有現有儲存桶中擷取資料。如果您的 SVM 中有多個儲存桶，則可以修改 `bucketNameRegexFilter`字段，以便僅從某些儲存桶中提取資料。
edp:
enabled: true
namespace: edp
dpGuard:
enabled: false
storageType: s3compatible
s3compatible:
region: "us-east-1"
accessKeyId: "<your_access_key>"
secretAccessKey: "<your_secret_key>"
internalUrl: "https://<your_ONTAP_S3_interface>"
externalUrl: "https://<your_ONTAP_S3_interface>"
bucketNameRegexFilter: ".*"配置計劃同步設定
安裝英特爾企業人工智慧 RAG 應用程式的 OPEA 時，啟用 `scheduledSync`以便應用程式自動從您的 S3 儲存桶中提取新的或更新的檔案。
什麼時候 `scheduledSync`啟用後，應用程式會自動檢查來源 S3 儲存桶中是否有新檔案或更新的檔案。在此同步過程中發現的任何新檔案或更新檔案都會自動提取並新增至 RAG 知識庫。應用程式根據預設的時間間隔檢查您的來源儲存桶。預設時間間隔為 60 秒，這表示應用程式每 60 秒檢查一次變更。您可能希望更改此間隔以滿足您的特定需求。
啟用 scheduledSync`並設定同步間隔，在 `deployment/components/edp/values.yaml:
celery:
config:
scheduledSync:
enabled: true
syncPeriodSeconds: "60"變更卷宗訪問模式
在 deployment/components/gmc/microservices-connector/helm/values.yaml，對於每個卷 pvc`列表，更改 `accessMode`到 `ReadWriteMany。
pvc:
modelLlm:
name: model-volume-llm
accessMode: ReadWriteMany
storage: 100Gi
modelEmbedding:
name: model-volume-embedding
accessMode: ReadWriteMany
storage: 20Gi
modelReranker:
name: model-volume-reranker
accessMode: ReadWriteMany
storage: 10Gi
vectorStore:
name: vector-store-data
accessMode: ReadWriteMany
storage: 20Gi（可選）停用 SSL 憑證驗證
如果您在為 SVM 啟用 S3 存取權時使用了自簽章證書，則必須停用 SSL 憑證驗證。如果您使用由公眾信任的 CA 簽署的證書，則可以跳過此步驟。
若要停用 SSL 憑證驗證，請在 deployment/components/edp/values.yaml:
edpExternalUrl: "https://s3.erag.com"
edpExternalSecure: "true"
edpExternalCertVerify: "false"
edpInternalUrl: "edp-minio:9000"
edpInternalSecure: "true"
edpInternalCertVerify: "false"訪問適用於企業 RAG UI 的英特爾 AI 的 OPEA
訪問英特爾企業人工智慧 RAG UI 的 OPEA。請參閱 "英特爾企業人工智慧 RAG 部署文檔"了解詳情。
圖 8 - 適用於企業 RAG UI 的英特爾 AI 的 OPEA。
為 RAG 提取數據
現在您可以提取文件以包含在基於 RAG 的查詢擴充中。有多種提取檔案的選項。根據您的需求選擇適當的選項。
注意：提取檔案後，英特爾 AI for Enterprise RAG 應用程式的 OPEA 會自動檢查檔案的更新並相應地提取更新。
*選項 1：直接上傳到您的 S3 儲存桶 要一次提取多個文件，我們建議使用您選擇的 S3 用戶端將文件上傳到您的 S3 儲存桶（您之前建立的儲存桶）。受歡迎的 S3 用戶端包括 AWS CLI、Amazon SDK for Python（Boto3）、s3cmd、S3 瀏覽器、Cyberduck 和 Commander One。如果檔案屬於受支援的類型，則您上傳至 S3 儲存桶的任何檔案將由英特爾 AI for Enterprise RAG 應用程式的 OPEA 自動擷取。
注意：在撰寫本文時，支援以下文件類型：PDF、HTML、TXT、DOC、DOCX、PPT、PPTX、MD、XML、JSON、JSONL、YAML、XLS、XLSX、CSV、TIFF、JPG、JPEG、PNG 和 SVG。
您可以使用 OPEA for Intel AI for Enterprise RAG UI 來確認您的檔案是否已正確擷取。有關詳細信息，請參閱英特爾 AI for Enterprise RAG UI 文件。請注意，應用程式可能需要一些時間來提取大量文件。
*選項 2：使用 UI 上傳 如果您只需要提取少量文件，則可以使用 OPEA for Intel AI for Enterprise RAG UI 來提取它們。有關詳細信息，請參閱英特爾 AI for Enterprise RAG UI 文件。
圖 9-資料提取 UI。
執行聊天查詢
現在您可以使用隨附的聊天 UI 與英特爾企業人工智慧 RAG 應用程式的 OPEA「聊天」。在回應您的查詢時，應用程式會使用您提取的檔案執行 RAG。這意味著應用程式會自動在您攝取的文件中搜尋相關信息，並在回應您的查詢時合併這些資訊。
尺寸指南
作為驗證工作的一部分，我們與英特爾合作進行了性能測試。此次測試得出了下表中列出的尺寸指導。
| 特徵 | 價值 | 評論 |
|---|---|---|
模型尺寸 |
200億個參數 |
Llama-8B、Llama-13B、Mistral 7B、Qwen 14B、DeepSeek Distill 8B |
輸入尺寸 |
約2000個代幣 |
約4頁 |
輸出尺寸 |
約2000個代幣 |
約4頁 |
並髮用戶 |
32 |
「並髮用戶」是指同時提交查詢的提示請求。 |
_注意：上面提供的尺寸指導是基於使用 96 核心 Intel Xeon 6 處理器收集的效能驗證和測試結果。對於具有類似 I/O 令牌和模型大小要求的客戶，我們建議使用具有 96 或 128 個核心的 Xeon 6 處理器的伺服器。
結論
企業 RAG 系統和 LLM 是協同工作的技術，可協助組織提供準確且情境感知的回應。這些回應涉及基於大量私人和內部企業資料的資訊檢索。透過使用 RAG、API、向量嵌入和高效能儲存系統來查詢包含公司資料的文件儲存庫，可以更快、更安全地處理資料。 NetApp AIPod Mini 將 NetApp 的智慧資料基礎架構與ONTAP資料管理功能以及 Intel Xeon 6 處理器、Intel AI for Enterprise RAG 和 OPEA 軟體堆疊結合，協助部署高效能 RAG 應用程式並讓組織走上 AI 領導之路。
致謝
本文檔由NetApp解決方案工程團隊成員 Sathish Thyagarajan 和 Michael Ogelsby 撰寫。作者也要感謝英特爾企業 AI 產品團隊（Ajay Mungara、Mikolaj Zyczynski、Igor Konopko、Ramakrishna Karamsetty、Michal Prostko、Shreejan Mistry 和 Ned Fiori）以及NetApp的其他團隊成員（Lawrence Bunka、Bobby Oommen 和 Jeff Liborio）在驗證此解決方案期間給予的持續支持和幫助。
物料清單
以下是用於此解決方案功能驗證的BOM，可供參考。可以使用符合以下配置的任何伺服器或網路元件（甚至是最好具有 100GbE 頻寬的現有網路）。
對於應用程式伺服器：
| 零件編號 | 產品描述 | 數量 |
|---|---|---|
222HA-TN-OTO-37 |
超級伺服器 SYS-222HA-TN /2U |
2 |
P4X-GNR6980P-SRPL2-UCC |
英特爾至強 6980P 2P 128C 2G 504M 500W SGX512 |
4 |
記憶體 |
MEM-DR564MC-ER64(x16)64GB DDR5-6400 2RX4 (16Gb) ECC RDIMM |
32 |
HDS-M2N4-960G0-E1-TXD-NON-080(x2) SSD M.2 NVMe PCIe4 960GB 1DWPD TLC D，80 毫米 |
2 |
|
WS-1K63A-1R(x2)1U 692W/1600W 冗餘單輸出電源。散熱量為 2361 BTU/Hr，最高溫度為 59 C（約） |
4 |
對於控制伺服器：
零件編號 |
產品描述 |
數量 |
511R-M-OTO-17 |
優化了 1U X13SCH-SYS、CSE-813MF2TS-R0RCNBP、PWS-602A-1R |
1 |
RPL-E 6369P IP 8C/16T 3.3G 24MB 95W 1700 BO |
1 |
|
記憶體 |
MEM-DR516MB-EU48(x2)16GB DDR5-4800 1Rx8 (16Gb) ECC UDIMM |
1 |
HDS-M2N4-960G0-E1-TXD-NON-080(x2) SSD M.2 NVMe PCIe4 960GB 1DWPD TLC D，80 毫米 |
2 |
對於網路交換器：
零件編號 |
產品描述 |
數量 |
DCS-7280CR3A |
Arista 7280R3A 28x100 GbE |
1 |
NetApp AFF儲存：
零件編號 |
產品描述 |
數量 |
AFF-A20A-100-C |
AFF A20 HA 系統，-C |
1 |
X800-42U-R6-C |
跳線 Crd，駕駛室內，C13-C14，-C |
2 |
X97602A-C |
電源，1600W，鈦金，-C |
2 |
X66211B-2-N-C |
電纜，100GbE，QSFP28-QSFP28，銅，2米，-C |
4 |
X66240A-05-N-C |
電纜，25GbE，SFP28-SFP28，銅，0.5米，-C |
2 |
X5532A-N-C |
導軌，4 柱，薄，圓形/方孔，小，可調節，24-32，-C |
1 |
X4024A-2-A-C |
驅動器包 2X1.92TB，NVMe4，SED，-C |
6 |
X60130A-C |
IO 模組，2PT，100GbE，-C |
2 |
X60132A-C |
IO 模組，4PT，10/25GbE，-C |
2 |
SW-ONTAPB-FLASH-A20-C |
SW、 ONTAP基礎套件、每 TB、快閃記憶體、A20、-C |
23 |