技術總覽
本節將更詳細地介紹本解決方案的主要元件。
NetApp AFF 產品
NetApp AFF 支援NetApp的儲存系統、可讓企業以領先業界的效能、優異的靈活度、雲端整合及同級最佳的資料管理功能、滿足企業的儲存需求。專為Flash而設計AFF 的支援功能、可協助加速、管理及保護業務關鍵資料。
NetApp AFF A400 是一款中階 NVMe Flash 儲存系統、內含下列功能:
-
最大有效容量:約 20PB
-
最大橫向擴充:2-24個節點(12個HA配對)
-
25GbE與16GB FC主機支援
-
透過整合式乙太網路(RoCE)連接至NVMe擴充儲存櫃的100GbE RDMA
-
如果未連接NVMe磁碟櫃、則可使用100GbE RoCE連接埠來連接主機網路
-
完整12Gbps SAS連線擴充儲存櫃
-
提供兩種組態:
-
乙太網路:4個25GB乙太網路(SFP28)連接埠
-
光纖通道:4個16GB FC(SFP+)連接埠
-
-
100% 8KB隨機讀取@.4 ms 400k IOPS
適用於AFF 入門級AI / ML部署的NetApp E4A250功能包括:
-
最大有效容量:35PB
-
最大橫向擴充:2-24個節點(12個HA配對)
-
440k IOPS隨機讀取@1ms
-
建置於最新ONTAP 版NetApp產品更新ONTAP 版本《NetApp》(NetApp)的基礎之上
-
兩個25GB乙太網路連接埠、用於HA和叢集互連
NetApp也提供AFF 其他儲存系統、例如:功能更強大的功能和AFF 擴充性、適用於大規模的AI/ML部署。
NetApp ONTAP
NetApp最新一代的儲存管理軟體、即支援企業將基礎架構現代化、並移轉至雲端就緒的資料中心。ONTAP利用領先業界的資料管理功能ONTAP 、無論資料位於何處、只要使用一組工具、即可管理及保護資料。資料也可以自由移動到任何需要的地方:邊緣、核心或雲端。支援眾多功能、可簡化資料管理、加速並保護關鍵資料、以及跨混合雲架構的符合未來需求的基礎架構ONTAP 。
簡化資料管理
資料管理對企業IT營運至關重要、因此應用程式和資料集必須使用適當的資源。包含下列功能、可簡化及簡化作業、並降低總營運成本:ONTAP
-
*即時資料壓縮與擴充重複資料刪除技術。*資料壓縮技術可減少儲存區塊內的空間浪費、重複資料刪除技術則可大幅提升有效容量。這適用於本機儲存的資料、以及分層至雲端的資料。
-
*服務品質(QoS)的最低、最大和調適性。*精細的QoS控制可協助維持高共享環境中關鍵應用程式的效能等級。
-
*此功能可自動將冷資料分層至公有雲和私有雲儲存選項、包括Amazon Web Services(AWS)、Azure和NetApp等物件儲存設備StorageGRID ONTAP FabricPool 。
加速並保護資料
提供優異的效能與資料保護、並以下列方式擴充這些功能:ONTAP
-
*效能與較低的延遲。ONTAP *
-
資料保護 ONTAP 效能*功能提供內建的資料保護功能、並可在所有平台上進行通用管理。
-
* NetApp Volume Encryption。ONTAP *支援內建和外部金鑰管理、提供原生Volume層級的加密功能。
符合未來需求的基礎架構
支援需求嚴苛且瞬息萬變的企業需求ONTAP :
-
無縫擴充與不中斷營運。 ONTAP 支援在不中斷營運的情況下、為現有控制器和橫向擴充叢集增加容量。客戶可以升級至最新技術、例如NVMe和32GB FC、而不需進行昂貴的資料移轉或中斷運作。
-
* 雲端連線 *ONTAP 是最具雲端連線能力的儲存管理軟體,可在所有公有雲中選擇軟體定義儲存( ONTAP Select )和雲端原生執行個體( Google Cloud NetApp Volumes )。
-
整合新興應用程式。 ONTAP 藉由支援現有企業應用程式的相同基礎架構、*支援OpenStack、Hadoop和MongoDB等新一代平台和應用程式、*提供企業級資料服務。
NetApp FlexGroup 產品資料
訓練資料集通常是數十億個檔案的集合體。檔案可以包含文字、音訊、視訊及其他形式的非結構化資料、這些資料必須儲存和處理才能並行讀取。儲存系統必須儲存許多小檔案、而且必須平行讀取這些檔案、才能執行連續和隨機I/O
一個包含多個成員磁碟區的單一命名空間(下圖)、這些磁碟區是由多個成員磁碟區所組成、這些磁碟區會被管理、並對儲存系統管理員執行類似NetApp的功能FlexVol FlexGroup 。將某個資料區中的檔案FlexGroup 分配給個別成員磁碟區、而不會跨磁碟區或節點進行等量分佈。這些功能可實現下列功能:
-
高達20 PB的容量、以及可預測的低延遲、適用於高中繼資料工作負載
-
同一個命名空間中最多4000億個檔案
-
橫跨CPU、節點、集合體及組成FlexVol 的等量磁碟區、在NAS工作負載中進行平行化作業
Lenovo ThinkSystem產品組合
聯想ThinkSystem伺服器採用創新的硬體、軟體和服務、可解決客戶目前的挑戰、並提供革命性的符合用途的模組化設計方法、以因應未來的挑戰。這些伺服器運用同級最佳的業界標準技術、搭配與眾不同的Lenovo創新技術、為x86伺服器提供最大的靈活度。
部署Lenovo ThinkSystem伺服器的主要優勢包括:
-
可隨企業成長而擴充的模組化設計
-
領先業界的恢復能力、可節省非計畫性停機所需的數小時成本
-
快速Flash技術可降低延遲、縮短回應時間、並即時進行更聰明的資料管理
在AI領域、Lenovo正採取實用的方法、協助企業瞭解ML和AI在工作負載方面的優勢、並將其納入其中。Lenovo客戶可在Lenovo AI創新中心中探索及評估Lenovo AI產品、充分瞭解其特定使用案例的價值。為了縮短實現價值所需的時間、這種以客戶為中心的方法可讓客戶針對已準備好使用並針對AI最佳化的解決方案開發平台、提供概念驗證。
Lenovo SR670 V2
Lenovo ThinkSystem SR670 V2機架伺服器提供最佳效能、可加速AI和高效能運算(HPC)。SR670 V2支援多達八個GPU、適用於ML、DL和推斷的運算密集工作負載需求。
ThinkSystem SR670 V2搭載最新的可擴充Intel Xeon CPU、支援高階GPU(包括NVIDIA A100 80GB PCIe 8x GPU)、可為AI和HPC工作負載提供最佳化且加速的效能。
由於有更多工作負載使用加速器的效能、因此對GPU密度的需求增加。零售、金融服務、能源和醫療等產業正使用GPU來擷取更多洞見、並運用ML、DL和推斷技術來推動創新。
ThinkSystem SR670 V2是最佳化的企業級解決方案、可在正式作業環境中部署加速的HPC和AI工作負載、不僅能最大化系統效能、還能為採用新一代平台的超級運算叢集維持資料中心密度。
其他功能包括:
-
支援GPU直接RDMA I/O、高速網路介面卡可直接連線至GPU、以最大化I/O效能。
-
支援GPU直接儲存、其中NVMe磁碟機直接連接到GPU、以最大化儲存效能。
MLPerf
MLPerf是領先業界的基準測試套件、可用來評估AI效能。在這項驗證中、我們將其影像分類基準測試與最受歡迎的AI架構之一MXNet搭配使用。MXNet_bet測試 訓練腳本用於推動AI訓練。此指令碼包含數種常用傳統模式的實作、其設計可盡可能快速。它可以在單一機器上執行、或在多個主機的分散式模式下執行。