使用 Xeon 6 作為主機 CPU，加速系統可受益於高單執行緒效能；更高的記憶體頻寬；更高的可靠性、可用性和可服務性 (RAS)；以及更多的 I/O 通道。英特爾 AMX 加速了 INT8 和 BF16 的推理，並支援 FP16 訓練模型，INT8 每核每週期最多可進行 2,048 次浮點運算，BF16/FP16 每核每週期最多可進行 1,024 次浮點運算。要使用 Xeon 6 處理器部署 RAG 解決方案，通常建議至少使用 250GB 的 RAM 和 500GB 的磁碟空間。然而，這在很大程度上取決於 LLM 模型的大小。欲了解更多信息，請參閱英特爾 "Xeon 6處理器"產品簡介。

圖 1 - 搭載 Intel Xeon 6 處理器的運算伺服器

入門級和中級NetApp AFF A 系列系統提供更強大的效能、密度和更高的效率。 NetApp AFF A20、 AFF A30 和AFF A50 系統提供真正的統一存儲，支援區塊、檔案和對象，基於單一作業系統，可以以最低的成本在混合雲中無縫管理、保護和調動 RAG 應用程式的資料。

圖 2 - NetApp AFF A 系列系統。

為了驗證此參考設計，我們使用了 Supermicro 的 Intel Xeon 6 處理器伺服器（222HA-TN-OTO-37）和 Arista 的 100GbE 交換器（7280R3A）。

圖 3 - AIPod Mini 部署架構

企業 AI 開放平台 (OPEA) 是由英特爾與生態系統合作夥伴共同主導的開源計畫。它提供了一個可組合構建塊的模組化平台，旨在加速尖端生成 AI 系統的開發，並專注於 RAG。 OPEA 包括一個綜合框架，該框架具有 LLM、資料儲存、提示引擎、RAG 架構藍圖以及基於效能、特性、可信度和企業準備度評估生成式 AI 系統的四步驟評估方法。

OPEA 的核心包括兩個關鍵部分：

有關詳細信息，請參閱 "OPEA專案文檔"

OPEA for Intel® AI for Enterprise RAG 簡化了將企業資料轉化為可執行洞察的過程。它由 Intel Xeon 處理器驅動，並整合了來自行業合作夥伴的組件，從而提供了一種精簡的企業解決方案部署方法。它可與成熟的編排框架無縫擴展，為您的企業提供所需的靈活性和選擇。

基於 OPEA 的基礎，Intel® AI for Enterprise RAG 擴展了此基礎，並新增了多項關鍵功能，可提升擴充性、安全性和使用者體驗。這些功能包括服務網格功能，可與現代化服務型架構無縫整合、生產就緒驗證，可確保管線可靠性，以及功能豐富的 RAG 即服務 UI，可輕鬆管理和監控工作流程。此外，Intel 和合作夥伴支援可提供廣泛的解決方案生態系統存取權限，並結合整合式身分識別與存取管理（IAM）與 UI 和應用程式，以實現安全且合規的作業。可程式化的防護機制可對管線行為進行精細控制，以實現自訂的安全性和法規遵循設定。

NetApp ONTAP是 NetApp 關鍵資料儲存解決方案的基礎技術。 ONTAP包含各種資料管理和資料保護功能，例如針對網路攻擊的自動勒索軟體保護、內建資料傳輸功能和儲存效率功能。這些優勢適用於一系列架構，從本地到 NAS、SAN、物件和 LLM 部署的軟體定義儲存中的混合多雲。您可以在ONTAP叢集中使用ONTAP S3 物件儲存伺服器來部署 RAG 應用程序，從而利用透過授權使用者和客戶端應用程式提供的ONTAP的儲存效率和安全性。有關詳細信息，請參閱 "了解ONTAP S3 配置"

NetApp Trident軟體是一款開源且完全支援的儲存編排器，適用於容器和 Kubernetes 發行版，包括 Red Hat OpenShift。 Trident可與整個NetApp儲存產品組合搭配使用，包括NetApp ONTAP ，並且還支援 NFS 和 iSCSI 連線。有關詳細信息，請參閱 "Git 上的NetApp Trident"

部署並設定您的NetApp ONTAP儲存設備。請參閱 "ONTAP硬體系統文檔"了解詳情。

在 Kubernetes 節點可存取的網路上設定ONTAP儲存虛擬機器 (SVM) 以進行 NFS 和 S3 存取。

若要使用ONTAP系統管理員建立 SVM，請導覽至“儲存”>“儲存虛擬機器”，然後按一下“+ 新增”按鈕。為您的 SVM 啟用 S3 存取權時，請選擇使用外部 CA（憑證授權單位）簽署的證書，而不是系統產生的憑證。您可以使用自簽名憑證或由公眾信任的 CA 簽署的憑證。有關更多詳細信息，請參閱 "ONTAP文檔。"

以下螢幕截圖展示了使用ONTAP系統管理員建立 SVM 的過程。根據您的環境根據需要修改詳細資訊。

圖 5 - 使用 ONTAP System Manager 建立 SVM。

為您在上一個步驟中建立的 SVM 配置 S3 使用者/群組設定。確保您擁有對該 SVM 的所有 S3 API 操作具有完全存取權限的使用者。有關詳細信息，請參閱ONTAP S3 文件。

注意：Intel® AI for Enterprise RAG 應用程式的資料擷取服務需要此使用者。如果您使用 ONTAP System Manager 建立了 SVM，System Manager 會在您建立 SVM 時自動建立名為 `sm_s3_user`的使用者和一個名為 `FullAccess`的政策，但不會為 `sm_s3_user`指派任何權限。

若要編輯此使用者的權限，請導航至“儲存”>“儲存虛擬機器”，按一下您在上一個步驟中建立的 SVM 的名稱，按一下“設定”，然後按一下“S3”旁的鉛筆圖示。給予 `sm_s3_user`擁有所有 S3 API 操作的完全存取權限，建立一個關聯 `sm_s3_user`與 `FullAccess`策略如下面的螢幕截圖所示。

圖 6 - S3 權限。

在您先前建立的 SVM 內建立一個 S3 儲存桶。若要使用ONTAP系統管理員建立 SVM，請導航至“儲存”>“儲存桶”，然後按一下“+ 新增”按鈕。有關更多詳細信息，請參閱ONTAP S3 文件。

以下螢幕截圖展示了使用ONTAP系統管理員建立 S3 儲存桶的過程。

圖 7 - 建立 S3 儲存區。

為您在上一個步驟中建立的 S3 儲存桶配置權限。確保您在上一個步驟中配置的使用者俱有以下權限： GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.

若要使用ONTAP系統管理員編輯 S3 儲存桶權限，請導覽至“儲存體”>“儲存桶”，按一下儲存桶的名稱，按一下“權限”，然後按一下“編輯”。請參閱 "ONTAP S3 文檔"了解更多詳細資訊。

以下螢幕截圖展示了ONTAP系統管理員中必要的儲存桶權限。

圖 8 - S3 儲存區權限。

使用ONTAP CLI，為您在上一個步驟中建立的儲存桶建立儲存桶跨域資源共用 (CORS) 規則：

此規則允許 OPEA for Intel® AI for Enterprise RAG Web 應用程式從 Web 瀏覽器內部與儲存桶進行互動。

部署您的伺服器並在每台伺服器上安裝 Ubuntu 22.04 LTS。安裝 Ubuntu 後，在每台伺服器上安裝 NFS 實用程式。若要安裝 NFS 實用程序，請執行以下命令：

有關完整的逐步部署工作流程，請參閱下列文件：NetApp AIPod Mini for ERAG - 部署步驟 所有先決條件、基礎架構準備、設定參數和部署程序均已在上述部署指南中記錄。

存取適用於 Intel® AI for Enterprise 的 OPEA RAG 使用者介面。詳情請參閱 "Intel® AI for Enterprise RAG 部署文檔"。

圖 9 - OPEA for Intel® AI for Enterprise RAG UI。

現在您可以提取文件以包含在基於 RAG 的查詢擴充中。有多種提取檔案的選項。根據您的需求選擇適當的選項。

注意：檔案匯入後，OPEA for Intel® AI for Enterprise RAG 應用程式會自動檢查檔案更新並相應地匯入更新。

*選項 1：直接上傳到您的 S3 儲存桶 要一次匯入多個檔案，我們建議您使用您選擇的 S3 用戶端將檔案上傳到您的 S3 儲存桶（您先前建立的儲存桶）。常用的 S3 用戶端包括 AWS CLI、Amazon SDK for Python (Boto3)、s3cmd、S3 Browser、Cyberduck 和 Commander One。如果檔案類型受支援，您上傳到 S3 儲存桶的任何檔案將由 OPEA for Intel® AI for Enterprise RAG 應用程式自動匯入。

注意：截至撰寫本文時，支援以下檔案類型：PDF、HTML、TXT、DOC、DOCX、ADOC、PPT、PPTX、MD、XML、JSON、JSONL、YAML、XLS、XLSX、CSV、TIFF、JPG、JPEG、PNG 和 SVG。

您可以使用 OPEA for Intel® AI for Enterprise RAG UI 來確認檔案是否已正確擷取。如需詳細資訊，請參閱 Intel® AI for Enterprise RAG UI 說明文件。請注意，應用程式擷取大量檔案可能需要一些時間。

*選項 2：使用 UI 上傳 如果您只需要擷取少量檔案，可以使用 OPEA for Intel® AI for Enterprise RAG UI 進行擷取。如需詳細資訊，請參閱 Intel® AI for Enterprise RAG UI 說明文件。

圖 10 - 資料擷取 UI。

現在，您可以使用內建的聊天介面與 OPEA for Intel® AI for Enterprise RAG 應用程式進行「聊天」。該應用程式在回覆您的查詢時，會使用您匯入的檔案執行 RAG 操作。這表示應用程式會自動搜尋您匯入檔案中的相關資訊，並在回覆您的查詢時納入這些資訊。