Skip to main content
BeeGFS on NetApp with E-Series Storage
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

架構總覽

貢獻者

NetApp上的BeeGFS解決方案包含架構設計考量、可用來判斷支援已驗證工作負載所需的特定設備、纜線和組態。

建置區塊架構

BeeGFS檔案系統可根據儲存需求以不同方式進行部署和擴充。例如、主要包含大量小型檔案的使用案例、將可從額外的中繼資料效能和容量中獲益、而較少大型檔案的使用案例、則可能會讓實際檔案內容的儲存容量和效能更高。這些多重考量因素會影響平行檔案系統部署的不同層面、進而增加設計和部署檔案系統的複雜度。

為了因應這些挑戰、NetApp設計了標準建置區塊架構、用於橫向擴充這些層面。通常、BeeGFS建置區塊會部署在三種組態設定檔中的其中一種:

  • 單一基礎建置區塊、包括BeeGFS管理、中繼資料和儲存服務

  • BeeGFS中繼資料加上儲存建置區塊

  • BeeGFS僅儲存建置區塊

這三個選項之間唯一的硬體變更是使用較小的磁碟機來處理BeeGFS中繼資料。否則、所有組態變更都會透過軟體套用。使用Ansible做為部署引擎、為特定建置區塊設定所需的設定檔、可讓組態工作變得簡單明瞭。

如需詳細資料、請參閱 已驗證硬體設計

檔案系統服務

BeeGFS檔案系統包含下列主要服務:

  • *管理服務。*註冊並監控所有其他服務。

  • *儲存服務。*儲存稱為資料區塊檔案的分散式使用者檔案內容。

  • *中繼資料服務。*會追蹤檔案系統配置、目錄、檔案屬性等。

  • *用戶端服務。*掛載檔案系統以存取儲存的資料。

下圖顯示了與NetApp E系列系統搭配使用的BeeGFS解決方案元件和關係。

BeeGFS 元件

作為平行檔案系統、BeeGFS會將其檔案等量磁碟區化到多個伺服器節點上、以最大化讀寫效能和擴充性。伺服器節點可共同運作、提供單一檔案系統、讓其他伺服器節點(通常稱為_Clients_)同時掛載及存取。這些用戶端可以像NTFS、XFS或ext4等本機檔案系統一樣、查看及使用分散式檔案系統。

這四項主要服務可在多種支援的Linux套裝作業系統上執行、並可透過任何支援TCP/IP或RDMA的網路進行通訊、包括InfiniBand(IB)、OMNI-Path(opa)和RDMA over Converged Ethernet(roce)。BeeGFS伺服器服務(管理、儲存及中繼資料)是使用者空間精靈、而用戶端則是原生核心模組(無修補程式)。所有元件均可在不重新開機的情況下安裝或更新、而且您可以在同一個節點上執行任何服務組合。

HA架構

NetApp的BeeGFS透過NetApp硬體打造完全整合的解決方案、實現共享磁碟高可用度(HA)架構、擴充BeeGFS企業版的功能。

註 雖然BeeGFS社群版本可以免費使用、但企業版需要向NetApp等合作夥伴購買專業支援訂閱合約。企業版允許使用多項額外功能、包括恢復能力、配額強制和儲存資源池。

下圖比較了共享無共享和共享磁碟HA架構。

HA 架構比較

如需詳細資訊、請參閱 "發表NetApp支援的BeeGFS高可用度"

已驗證節點

NetApp 解決方案上的 BeeGFS 已驗證下列節點。

節點 硬體 詳細資料

區塊

NetApp EF600 儲存系統

專為嚴苛工作負載所設計的高效能全 NVMe 2U 儲存陣列。

檔案

Lenovo ThinkSystem SR665 V3 伺服器

雙插槽 2U 伺服器、採用 PCIe 5.0 、雙 AMD EPYC 9124 處理器。如需 Lenovo SR665 V3 的詳細資訊、請參閱 "聯想的網站"

Lenovo ThinkSystem SR665 伺服器

雙插槽 2U 伺服器、採用 PCIe 4.0 、雙 AMD EPYC 7003 處理器。如需 Lenovo SR665 的詳細資訊、請參閱 "聯想的網站"

已驗證硬體設計

此解決方案的建置區塊(如下圖所示)使用通過驗證的檔案節點伺服器作為 BeeGFS 檔案層、並使用兩個 EF600 儲存系統做為區塊層。

建置區塊

NetApp上的BeeGFS解決方案可在部署中的所有建置區塊上執行。部署的第一個建置區塊必須執行 BeeGFS 管理、中繼資料和儲存服務(稱為基礎建置區塊)。所有後續的建置區塊均可透過軟體進行設定、以擴充中繼資料和儲存服務、或是僅提供儲存服務。這種模組化方法可根據工作負載的需求擴充檔案系統、同時使用相同的基礎硬體平台和建置區塊設計。

最多可部署五個建置區塊、形成獨立式 Linux HA 叢集。如此可利用 Pacemaker 最佳化資源管理、並與電暈器同步保持高效率同步。這些獨立式 BeeGFS HA 叢集中有一或多個是結合在一起的、可建立 BeeGFS 檔案系統、讓用戶端以單一儲存命名空間的形式存取。在硬體方面、單一 42U 機架最多可容納五個建置區塊、以及兩個用於儲存 / 資料網路的 1U InfiniBand 交換器。請參閱下圖以取得視覺呈現。

註 在容錯移轉叢集中建立仲裁所需的建置區塊至少有兩個。雙節點叢集具有可能會阻止容錯移轉成功的限制。您可以將第三個裝置整合為 tiebreaker 來設定雙節點叢集、但本文件並未說明該設計。

BeeGFS HA 叢集擴充

Ansible

NetApp上的BeeGFS是使用Ansible Automation(位於GitHub和Ansible Galaxis)(BeeGFS收藏可從取得)來交付及部署 "Ansible Galaxy""NetApp的E系列GitHub")。雖然Ansible主要是針對用來組裝BeeGFS建置區塊的硬體進行測試、但您可以設定它在任何使用支援Linux套裝作業系統的x86型伺服器上執行。

如需詳細資訊、請參閱 "部署BeeGFS搭配E系列儲存設備"