TR-4886：邊緣 AI 推理 - NetApp與聯想 ThinkSystem - 解決方案設計
建議變更
PDF
Sathish Thyagarajan， NetApp Miroslav Hodak，聯想
本文檔介紹了一種運算和儲存架構，用於在滿足新興應用場景的邊緣環境中在NetApp儲存控制器和 Lenovo ThinkSystem 伺服器上部署基於 GPU 的人工智慧 (AI) 推理。
總結
高級駕駛輔助系統 (ADAS)、工業 4.0、智慧城市和物聯網 (IoT) 等一些新興應用情境需要在接近零延遲的情況下處理連續資料流。本文檔介紹了一種運算和儲存架構，用於在滿足這些要求的邊緣環境中的NetApp儲存控制器和 Lenovo ThinkSystem 伺服器上部署基於 GPU 的人工智慧 (AI) 推理。本文檔還提供了業界標準 MLPerf 推理基準的效能數據，評估了配備NVIDIA T4 GPU 的邊緣伺服器上的各種推理任務。我們研究了離線、單流和多流推理場景的效能，並表明具有經濟高效的共享網路儲存系統的架構性能高，並為多個邊緣伺服器的資料和模型管理提供了中心點。
介紹
越來越多的公司在網路邊緣產生大量數據。為了從智慧感測器和物聯網數據中獲得最大價值，組織正在尋找能夠實現邊緣運算的即時事件流解決方案。因此，運算要求高的工作越來越多地在資料中心之外的邊緣執行。人工智慧推理是這一趨勢的驅動因素之一。邊緣伺服器為這些工作負載提供了足夠的運算能力，尤其是在使用加速器時，但有限的儲存空間通常是一個問題，尤其是在多伺服器環境中。在本文檔中，我們展示瞭如何在邊緣環境中部署共享儲存系統，以及它如何在不影響效能的情況下使 AI 推理工作負載受益。
本文檔描述了邊緣 AI 推理的參考架構。它將多台聯想 ThinkSystem 邊緣伺服器與NetApp儲存系統結合，以創建易於部署和管理的解決方案。它旨在成為各種情況下實際部署的基準指南，例如具有多個攝影機和工業感測器的工廠車間、零售交易中的銷售點 (POS) 系統或識別自動駕駛汽車視覺異常的全自動駕駛 (FSD) 系統。
本文檔涵蓋由 Lenovo ThinkSystem SE350 Edge 伺服器和入門級NetApp AFF和 EF 系列儲存系統組成的運算和儲存配置的測試和驗證。參考架構為 AI 部署提供了高效且經濟的解決方案，同時也透過NetApp ONTAP和NetApp SANtricity資料管理軟體提供全面的資料服務、整合資料保護、無縫可擴充性和雲端連接資料儲存。
目標受眾
本文檔適用於以下受眾：
-
希望將邊緣 AI 產品化的商業領袖和企業架構師。
-
資料科學家、資料工程師、人工智慧/機器學習 (ML) 研究人員和人工智慧系統開發人員。
-
為 AI/ML 模型和應用程式的開發設計解決方案的企業架構師。
-
資料科學家和人工智慧工程師正在尋找部署深度學習 (DL) 和 ML 模型的有效方法。
-
負責邊緣推理模型的部署和管理的邊緣設備管理員和邊緣伺服器管理員。
解決方案架構
這款聯想 ThinkSystem 伺服器和NetApp ONTAP或NetApp SANtricity儲存解決方案旨在利用 GPU 和傳統 CPU 的處理能力來處理大型資料集上的 AI 推理。此驗證展示了高效能和最佳資料管理，其架構使用單一或多個 Lenovo SR350 邊緣伺服器與單一NetApp AFF儲存系統互連，如以下兩圖所示。
下圖中的邏輯架構概覽展示了此架構中運算和儲存元素的角色。具體來說，它顯示了以下內容：
-
邊緣運算設備對從攝影機、感測器等接收的資料進行推理。
-
具有多種用途的共享儲存元素：
-
為推理模型和執行推理所需的其他數據提供一個中心位置。計算伺服器直接存取儲存空間並透過網路使用推理模型，而無需在本地複製它們。
-
更新的模型推送到這裡。
-
將邊緣伺服器接收的輸入資料存檔以供日後分析。例如，如果邊緣設備連接到攝影機，則儲存元件會保存攝影機擷取的視訊。
-
紅色的 |
藍色的 |
聯想計算系統 |
NetApp AFF儲存系統 |
邊緣設備對來自相機、感測器等的輸入進行推理。 |
共享儲存保存推理模型和來自邊緣設備的數據以供後續分析。 |
NetApp和聯想的解決方案有以下主要優勢：
-
邊緣 GPU 加速運算。
-
部署由共享儲存支援和管理的多個邊緣伺服器。
-
強大的資料保護，滿足低恢復點目標 (RPO) 和復原時間目標 (RTO)，且不會遺失資料。
-
使用NetApp Snapshot 副本和克隆優化資料管理，以簡化開發工作流程。
如何使用此架構
本文檔驗證了所提出的架構的設計和效能。但是，我們還沒有測試某些軟體層級的部分，例如容器、工作負載或模型管理以及與雲端或資料中心內部的資料同步，因為它們特定於部署場景。這裡存在多種選擇。
在容器管理層面，Kubernetes 容器管理是一個不錯的選擇，無論是完全上游版本（Canonical）還是適合企業部署的修改版本（Red Hat）都得到了很好的支援。這"NetApp AI 控制平面"它採用NetApp Trident和新添加的 "NetApp DataOps 工具包"為資料科學家和資料工程師提供內建的可追溯性、資料管理功能、介面和工具，以便與NetApp儲存整合。 Kubeflow 是 Kubernetes 的 ML 工具包，它提供了額外的 AI 功能，並在 TensorFlow Serving 或NVIDIA Triton Inference Server 等多個平台上支援模型版本控制和 KFServing。另一個選擇是NVIDIA EGX 平台，它提供工作負載管理以及對支援 GPU 的 AI 推理容器目錄的存取。然而，這些選項可能需要付出大量努力和專業知識才能投入生產，並且可能需要第三方獨立軟體供應商 (ISV) 或顧問的協助。
解決方案領域
AI 推理和邊緣運算的主要優勢在於設備能夠高品質且無延遲地計算、處理和分析數據。本文檔中描述了太多的邊緣運算用例範例，但以下是一些突出的用例：
汽車：自動駕駛汽車
經典的邊緣運算範例是自動駕駛汽車（AV）中的高級駕駛輔助系統（ADAS）。無人駕駛汽車中的人工智慧必須快速處理來自攝影機和感測器的大量數據才能成為成功的安全駕駛員。花費太長時間來解讀物體和人之間的差異可能意味著生死，因此能夠盡可能靠近車輛處理資料至關重要。在這種情況下，一個或多個邊緣運算伺服器處理來自攝影機、雷達、光達和其他感測器的輸入，而共享儲存保存推理模型並儲存來自感測器的輸入資料。
醫療保健：病患監護
人工智慧和邊緣運算的最大影響之一是它能夠增強對家庭護理和重症監護病房 (ICU) 中慢性病患者的持續監測。監測胰島素水平、呼吸、神經活動、心律和胃腸功能的邊緣設備的數據需要即時分析，並且必須立即採取行動，因為採取行動來挽救某人的生命的時間有限。
零售：無收銀員支付
邊緣運算可以為人工智慧和機器學習提供支持，幫助零售商減少結帳時間並增加客流量。無收銀系統支援各種組件，例如：
-
身份驗證和存取。將實體購物者連接到已驗證的帳戶並允許進入零售空間。
-
庫存監控。使用感測器、RFID 標籤和電腦視覺系統來幫助購物者確認選擇或取消選擇商品。
在這裡，每個邊緣伺服器處理每個結帳櫃檯，共享儲存系統作為中央同步點。
金融服務：自助服務終端的人員安全與詐欺預防
銀行機構正在使用人工智慧和邊緣運算來創新和創造個人化的銀行體驗。使用即時數據分析和人工智慧推理的互動式自助服務終端現在不僅能夠讓 ATM 機幫助客戶提款，還能透過攝影機擷取的影像主動監控自助服務終端，以識別對人類安全的風險或詐欺行為。在這個場景中，邊緣運算伺服器和共享儲存系統連接到互動式資訊亭和攝影機，幫助銀行使用人工智慧推理模型收集和處理資料。
製造業：工業4.0
第四次工業革命（工業 4.0）已經開始，同時也出現了智慧工廠和 3D 列印等新興趨勢。為了迎接資料主導的未來，大規模機器對機器 (M2M) 通訊和物聯網被整合在一起，以提高自動化程度，而無需人工幹預。製造業已經高度自動化，添加人工智慧功能是長期趨勢的自然延續。人工智慧可以實現自動化操作，這些操作可以藉助電腦視覺和其他人工智慧功能實現。您可以自動化品質控製或依賴人類視覺或決策的任務，以便對工廠車間裝配線上的材料進行更快的分析，幫助製造工廠滿足所需的 ISO 安全和品質管理標準。在這裡，每個運算邊緣伺服器都連接到監控製造過程的感測器陣列，並根據需要將更新的推理模型推送到共用儲存。
電信：鏽蝕檢測、塔台檢查和網路最佳化
電信業使用電腦視覺和人工智慧技術處理影像，自動檢測鏽蝕並識別含有腐蝕並因此需要進一步檢查的手機訊號塔。近年來，使用無人機影像和人工智慧模型來識別塔的不同區域以分析鏽蝕、表面裂縫和腐蝕的情況越來越多。人們對人工智慧技術的需求持續成長，這些技術可以有效地檢查電信基礎設施和手機訊號塔，定期評估其性能是否下降，並在需要時及時修復。
此外，電信領域的另一個新興用例是使用人工智慧和機器學習演算法來預測資料流量模式、檢測支援 5G 的設備以及自動化和增強多輸入多輸出 (MIMO) 能源管理。無線電塔使用 MIMO 硬體來增加網路容量；然而，這會帶來額外的能源成本。部署在蜂窩基地台的「MIMO 睡眠模式」的 ML 模型可以預測無線電的有效使用情況，並有助於降低行動網路營運商 (MNO) 的能源消耗成本。人工智慧推理和邊緣運算解決方案可協助 MNO 減少往返資料中心的資料量、降低 TCO、優化網路營運並提高最終用戶的整體效能。