了解 Novus 儲存系統
NetApp Novus 是一款功能強大的儲存系統,專為滿足大規模 AI 的需求而打造。它將 NetApp 在企業儲存設備的經驗擴展到訓練和推論所需的高效能基礎架構。了解其管理結構和組態選項對於有效管理和最佳效能至關重要。
概況
NetApp Novus 是一款橫向擴充的檔案儲存設備系統解決方案,專為滿足現代 AI 工作負載所需的處理量和規模而設計。它將許多獨立的 ONTAP 儲存設備叢集結合到命名空間中,用戶端將其視為一個檔案系統。Novus 建構於平行 NFS(pNFS)之上,可將中繼資料與檔案資料分隔。專用的中繼資料服務負責管理命名空間,而儲存設備叢集則平行地直接向用戶端提供檔案資料。這消除了單一儲存設備叢集的處理量上限,不再限制系統交付資料的速度。
Novus 部署可以透過新增儲存設備叢集輕鬆擴充。每個新叢集都會將其全部頻寬和容量新增至命名空間,因此隨著系統規模的成長,總處理量也會增加,而無需重新掛載用戶端或進行中斷性的重新平衡。中繼資料服務與資料伺服器獨立擴充,因此您可以擴充命名空間大小和中繼資料效能以符合工作負載。Novus 的設計是讓每個儲存節點以全速運作,並在大規模環境下將元件故障視為例行且不中斷的情況。主要目標是即使系統規模成長至非常龐大,仍能保持資料流向運算。
用戶端使用標準的 NFS 用戶端,這使得 Novus 能夠輕鬆適應大型 GPU 和運算叢集。此外,Novus 具備多租戶特性,因此一個部署可以主機多個隔離的客戶或工作負載,每個都擁有自己的分隔命名空間。它也建構在 ONTAP 獲證實的資料管理員和保護之上。對客戶而言,這意味著儲存設備能讓 GPU 保持忙碌,透過從每個節點獲得更多效能來降低基礎架構成本,並在命名空間中支援非常大的資料集。
Novus 可以協助大規模執行 AI 和其他資料密集型工作負載的組織。這通常包括新型雲端、GPU 即服務供應商、主權雲端、超大規模雲端供應商,以及執行 AI 訓練和推論的大型企業和研究機構。Novus 可為任何使用高效能運算或媒體處理、需要每秒數 TB 處理量,並希望在運算的同時擴充儲存設備的客戶帶來優點。
系統設計原則
Novus 的設計和建造基於幾個核心原則。這些底層架構選擇驅動了其效能、擴充性和彈性。這有助於需要高效能儲存設備、能夠充分利用 GPU 資源並降低基礎架構成本的客戶。
- 支援百億億次級運算的儲存設備
-
Novus 的設計旨在成為支援 Exascale 的軟體定義儲存基礎堆疊。它將水平擴充的 pNFS 中繼資料伺服器與分隔且解構的資料伺服器結合。
- 處理量超出傳統 ONTAP 叢集限制
-
傳統上,單一 ONTAP 叢集的處理量上限是固定的,由其控制器數量和互連頻寬決定。AI 訓練和推論所需的處理量是單一 ONTAP 叢集無法達到的。
- 透過新增叢集來擴充
-
Novus 將多個獨立的 ONTAP 叢集(每個叢集最小可包含一個 HA 配對)合併到一個命名空間。每個新叢集都會貢獻其全部頻寬,因此總處理量呈線性成長。用戶端無需重新掛載,機組也無需重新平衡。
- 可獨立擴充的中繼資料
-
中繼資料服務階層和分片中繼資料儲存均可從 1 個成長到超過 1,000 個執行個體。中繼資料容量和請求速率與使用的資料節點數量無關。
- 線速資料節點
-
每個資料節點的讀取應以 NIC 全速運作,寫入應以 NVMe 全速運作。任何未使用的每節點處理量只會變成額外的硬體和成本。
- 彈性是主要的設計限制
-
在擁有 1,000 個或更多儲存節點的規模下,故障並不罕見。彈性是首要的設計限制,而不是營運上的事後考量。
網路檔案系統 (NFS) 實作
Novus 是網路檔案系統(NFS)協定的軟體定義實作。它依賴 NFSv4(特別是平行 NFS(pNFS)擴充)來分割中繼資料和資料路徑。用戶端可以使用標準 NFS 用戶端透過 NFSv4 存取 Novus Data Director(NDD),同時使用 NFSv3 直接存取 ONTAP 資料伺服器上的資料。
平行網路檔案系統(pNFS)
並行 NFS (pNFS) 是 NFSv4.1 中引入的一項功能,它將檔案中繼資料管理與檔案資料存取分隔。NFS 伺服器處理中繼資料操作,並向用戶端提供檔案資料儲存位置的資訊。用戶端隨後可以直接存取專用儲存設備和資料伺服器上的資料,而無需將所有讀取和寫入操作都傳送到單一伺服器。
NFS 伺服器提供一個佈局,用於描述每個檔案的資料排列方式以及用戶端如何存取這些資料。根據佈局和儲存組態,用戶端可以並行與一個或多個資料伺服器通訊。這可提高資料傳輸效能,並降低中繼資料伺服器的資料處理負載。
pNFS 支援多種佈局類型,包括檔案、區塊、物件和靈活檔案。每種類型都描述了將檔案資料對應到基礎儲存設備的不同方式,以及用戶端存取資料的相應方式。Novus 使用靈活檔案佈局。
pNFS 靈活檔案佈局是最近新增的佈局選項。它提供靈活的以檔案為基礎的佈局,可描述儲存在多個資料伺服器上的資料,並支援鏡射複本。用戶端使用佈局資訊來選擇適當的資料伺服器路徑以進行存取。這可讓部署根據儲存組態和工作負載要求來調整資料放置與存取行為。
主要元件
Novus 有兩個主要元件,這些元件是建構在 pNFS 標準與 NetApp 的企業儲存設備專業知識之上。
- ONTAP 資料伺服器
-
ONTAP 資料伺服器實作了 Novus 資料平面。它儲存檔案資料並將其提供給 NFS 用戶端。一個 Novus 命名空間可以將其檔案資料分散在多個 ONTAP 叢集上,而一個 ONTAP 叢集可以服務多個命名空間。
- Novus Data Director(NDD)
-
Novus Data Director 提供 Novus 中繼資料平面。它管理命名空間中繼資料,處理用戶端的中繼資料操作要求,並為用戶端提供描述檔案資料在 ONTAP 叢集中儲存位置的配置。用戶端使用具備 pNFS 的 NFSv4.2 與 NDD 互動,而實際的檔案資料則直接從 ONTAP 存取。
請檢閱 "Novus 架構" 以取得有關這些元件及其如何協同運作的詳細資料。
其他技術和概念
還有幾個與 Novus 及其底層技術相關的概念。
- 命名空間
-
命名空間是一種邏輯結構,用於組織和識別資源,允許在定義的範圍內一致地參照這些資源。在 NFSv4 中,命名空間是呈現給用戶端的檔案和目錄階層結構;它提供了匯出檔案系統的統一檢視,用戶端可以使用路徑進行導覽。每個 NDD 命名空間都有自己的中繼資料伺服器執行個體。
- 聯邦
-
聯盟是一種將獨立系統連接起來的技術,使它們能夠在保持各自獨立代管的同時協同工作;它可以應用於身分、應用程式服務、網路、資料庫和其他資源。當與資料供應商結合使用時,聯盟可讓使用者或應用程式透過統一的介面存取來自多個資料來源的資料,同時供應商保留對其資料的控制——這支援了互通性,並減少了集中化或複製資訊的需求。
- 分片
-
分片是一種將資料庫資料分割到多個伺服器上的技術,每個伺服器儲存和處理一部分資料。它透過分散儲存設備和查詢負載來提高容量和效能。
- 邊界閘道協定
-
邊界閘道協定 (BGP) 是一種路由協定,用於在自治系統(即構成網際網路的網路)之間交換可達性資訊,並使用路由原則和屬性選擇路徑。Novus 依賴 BGP 來支援其多租戶架構。
- 易擴充的分散式中繼資料儲存庫
-
易擴充的分散式中繼資料儲存系統是管理跨多個節點之中繼資料的系統,可確保高可用度、容錯能力和有效率的存取。在 Novus 中,Novus Data Director(NDD)實作了易擴充的分散式中繼資料儲存系統(或簡稱 中繼資料儲存系統),以處理命名空間中繼資料,並為用戶端提供存取檔案資料的配置。