架構總覽
NetApp上的BeeGFS解決方案包含架構設計考量、可用來判斷支援已驗證工作負載所需的特定設備、纜線和組態。
建置區塊架構
BeeGFS檔案系統可根據儲存需求以不同方式進行部署和擴充。例如、主要包含大量小型檔案的使用案例、將可從額外的中繼資料效能和容量中獲益、而較少大型檔案的使用案例、則可能會讓實際檔案內容的儲存容量和效能更高。這些多重考量因素會影響平行檔案系統部署的不同層面、進而增加設計和部署檔案系統的複雜度。
為了因應這些挑戰、NetApp設計了標準建置區塊架構、用於橫向擴充這些層面。通常、BeeGFS建置區塊會部署在三種組態設定檔中的其中一種:
-
單一基礎建置區塊、包括BeeGFS管理、中繼資料和儲存服務
-
BeeGFS中繼資料加上儲存建置區塊
-
BeeGFS僅儲存建置區塊
這三個選項之間唯一的硬體變更是使用較小的磁碟機來處理BeeGFS中繼資料。否則、所有組態變更都會透過軟體套用。使用Ansible做為部署引擎、為特定建置區塊設定所需的設定檔、可讓組態工作變得簡單明瞭。
如需詳細資料、請參閱 已驗證硬體設計。
檔案系統服務
BeeGFS檔案系統包含下列主要服務:
-
*管理服務。*註冊並監控所有其他服務。
-
*儲存服務。*儲存稱為資料區塊檔案的分散式使用者檔案內容。
-
*中繼資料服務。*會追蹤檔案系統配置、目錄、檔案屬性等。
-
*用戶端服務。*掛載檔案系統以存取儲存的資料。
下圖顯示了與NetApp E系列系統搭配使用的BeeGFS解決方案元件和關係。
作為平行檔案系統、BeeGFS會將其檔案等量磁碟區化到多個伺服器節點上、以最大化讀寫效能和擴充性。伺服器節點可共同運作、提供單一檔案系統、讓其他伺服器節點(通常稱為_Clients_)同時掛載及存取。這些用戶端可以像NTFS、XFS或ext4等本機檔案系統一樣、查看及使用分散式檔案系統。
這四項主要服務可在多種支援的Linux套裝作業系統上執行、並可透過任何支援TCP/IP或RDMA的網路進行通訊、包括InfiniBand(IB)、OMNI-Path(opa)和RDMA over Converged Ethernet(roce)。BeeGFS伺服器服務(管理、儲存及中繼資料)是使用者空間精靈、而用戶端則是原生核心模組(無修補程式)。所有元件均可在不重新開機的情況下安裝或更新、而且您可以在同一個節點上執行任何服務組合。
HA架構
NetApp的BeeGFS透過NetApp硬體打造完全整合的解決方案、實現共享磁碟高可用度(HA)架構、擴充BeeGFS企業版的功能。
雖然BeeGFS社群版本可以免費使用、但企業版需要向NetApp等合作夥伴購買專業支援訂閱合約。企業版允許使用多項額外功能、包括恢復能力、配額強制和儲存資源池。 |
下圖比較了共享無共享和共享磁碟HA架構。
如需詳細資訊、請參閱 "發表NetApp支援的BeeGFS高可用度"。
已驗證節點
NetApp 解決方案上的 BeeGFS 已驗證下列節點。
節點 | 硬體 | 詳細資料 |
---|---|---|
區塊 |
NetApp EF600 儲存系統 |
專為嚴苛工作負載所設計的高效能全 NVMe 2U 儲存陣列。 |
檔案 |
Lenovo ThinkSystem SR665 V3 伺服器 |
雙插槽 2U 伺服器、採用 PCIe 5.0 、雙 AMD EPYC 9124 處理器。如需 Lenovo SR665 V3 的詳細資訊、請參閱 "聯想的網站"。 |
Lenovo ThinkSystem SR665 伺服器 |
雙插槽 2U 伺服器、採用 PCIe 4.0 、雙 AMD EPYC 7003 處理器。如需 Lenovo SR665 的詳細資訊、請參閱 "聯想的網站"。 |
已驗證硬體設計
此解決方案的建置區塊(如下圖所示)使用通過驗證的檔案節點伺服器作為 BeeGFS 檔案層、並使用兩個 EF600 儲存系統做為區塊層。
NetApp上的BeeGFS解決方案可在部署中的所有建置區塊上執行。部署的第一個建置區塊必須執行 BeeGFS 管理、中繼資料和儲存服務(稱為基礎建置區塊)。所有後續的建置區塊均可透過軟體進行設定、以擴充中繼資料和儲存服務、或是僅提供儲存服務。這種模組化方法可根據工作負載的需求擴充檔案系統、同時使用相同的基礎硬體平台和建置區塊設計。
最多可部署五個建置區塊、形成獨立式 Linux HA 叢集。如此可利用 Pacemaker 最佳化資源管理、並與電暈器同步保持高效率同步。這些獨立式 BeeGFS HA 叢集中有一或多個是結合在一起的、可建立 BeeGFS 檔案系統、讓用戶端以單一儲存命名空間的形式存取。在硬體方面、單一 42U 機架最多可容納五個建置區塊、以及兩個用於儲存 / 資料網路的 1U InfiniBand 交換器。請參閱下圖以取得視覺呈現。
在容錯移轉叢集中建立仲裁所需的建置區塊至少有兩個。雙節點叢集具有可能會阻止容錯移轉成功的限制。您可以將第三個裝置整合為 tiebreaker 來設定雙節點叢集、但本文件並未說明該設計。 |
Ansible
NetApp上的BeeGFS是使用Ansible Automation(位於GitHub和Ansible Galaxis)(BeeGFS收藏可從取得)來交付及部署 "Ansible Galaxy" 和 "NetApp的E系列GitHub")。雖然Ansible主要是針對用來組裝BeeGFS建置區塊的硬體進行測試、但您可以設定它在任何使用支援Linux套裝作業系統的x86型伺服器上執行。
如需詳細資訊、請參閱 "部署BeeGFS搭配E系列儲存設備"。