Skip to main content
BeeGFS on NetApp with E-Series Storage
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

檢視最佳實務做法

貢獻者

在NetApp解決方案上部署BeeGFS時、請遵循最佳實務準則。

標準慣例

實際組裝及建立Ansible庫存檔案時、請遵循下列標準慣例(如需詳細資訊、請參閱) "建立可Ansible庫存")。

  • 檔案節點主機名稱會依序編號(H01-HN)、機架頂端的數字較低、底部的數字較高。

    例如,命名慣例 [location][row][rack]hN 如下所示: beegfs_01

  • 每個區塊節點都由兩個儲存控制器組成、每個控制器都有自己的主機名稱。

    儲存陣列名稱是指可Ansible庫存中的整個區塊儲存系統。儲存陣列名稱應依序編號(A01-A)、個別控制器的主機名稱則衍生自該命名慣例。

    例如,通常名稱為的區塊節點 ictad22a01 可以為每個控制器設定主機名稱,例如 ictad22a01-aictad22a01-b,但在 Ansible 清單中則稱為 netapp_01

  • 同一個建置區塊內的檔案和區塊節點共用相同的編號配置、並在機架中彼此相鄰、兩個檔案節點位於頂端、兩個區塊節點位於其正下方。

    例如、在第一個建置區塊中、檔案節點H01和h02都直接連接至區塊節點A01和A02。從上到下、主機名稱為H01、h02、A01和A02。

  • 建置區塊會根據主機名稱以連續順序安裝、因此編號較低的主機名稱位於機架頂端、編號較高的主機名稱位於底部。

    其目的是將連接至機架交換器頂端的纜線長度降至最低、並定義標準部署實務做法、以簡化疑難排解。如果資料中心因為擔心機架穩定性而不允許使用此功能、則肯定會允許使用相反的功能、從底部向上填入機架。

InfiniBand儲存網路組態

每個檔案節點上的一半InfiniBand連接埠、用於直接連線至區塊節點。另一半連接至InfiniBand交換器、用於BeeGFS用戶端與伺服器的連線。在判斷用於BeeGFS用戶端和伺服器的IPoIB子網路大小時、您必須考量運算/GPU叢集和BeeGFS檔案系統的預期成長。如果您必須偏離建議的IP範圍、請記住、單一建置區塊中的每個直接連線都有獨特的子網路、而且不會與用於用戶端與伺服器連線的子網路重疊。

直接連線

每個建置區塊內的檔案和區塊節點、一律使用下表中的IP進行直接連線。

註 此定址方案遵循下列規則:第三個八位元組永遠是不規則的、甚至是不規則的、這取決於檔案節點是不規則的或是偶數的。
檔案節點 IB連接埠 IP 位址 區塊節點 IB連接埠 實體IP 虛擬IP

ODD(上一)

i1a.

192.168.1.10

ODD(C1)

2A.

192.168.1.100

192.168.1.101

ODD(上一)

I2A

192.168.1.10

ODD(C1)

2A.

192.168.3.100

192.168.3.101

ODD(上一)

i3a

192.168.5.10

偶數(C2)

2A.

192.168.5.100

192.168.5.101

ODD(上一)

i4a.

192.168.1.10

偶數(C2)

2A.

192.168.1.100

192.168.1.101

偶數(下半年)

i1a.

192.168.1.10

ODD(C1)

2B

192.168.2.100

192.168.2.101

偶數(下半年)

I2A

192.168.4.10

ODD(C1)

2B

24.100

24.101

偶數(下半年)

i3a

地址:192.168.6.10

偶數(C2)

2B

6.100

6.101

偶數(下半年)

i4a.

192.168.8.10

偶數(C2)

2B

192.168.8.100

192.168.8.101

BeeGFS 用戶端伺服器 IPoIB 定址方案

每個檔案節點都會執行多個BeeGFS伺服器服務(管理、中繼資料或儲存設備)。為了讓每項服務獨立容錯移轉至其他檔案節點、每項服務都會設定獨特的IP位址、以便在兩個節點之間浮動(有時稱為邏輯介面或LIF)。

此部署雖然並非必要、但會假設這些連線使用下列IPoIB子網路範圍、並定義套用下列規則的標準定址方案:

  • 第二個八位元組永遠是不符合或甚至不符合、取決於檔案節點InfiniBand連接埠是ODD或偶數。

  • BeeGFS叢集IP永遠是「xxx」。127.100.yyy'或'xxx.xxx.128.100.y'。

註 除了用於頻內作業系統管理的介面、電暈同步還能使用其他介面來進行叢集心律跳轉和同步。如此可確保單一介面遺失不會導致整個叢集中斷運作。
  • BeeGFS管理服務永遠是「xxx.xxx.Y.101.0」或「xxx.xxx.Y.102.0」。

  • BeeGFS中繼資料服務一律位於「xxx.yyy.101.zzz」或「xxx.xxx.y.102.zzz」。

  • BeeGFS 儲存服務永遠位於 xxx.yyy.103.zzzxxx.yyy.104.zzz

  • 範圍從「100.xxx.1.1」到「100.xxx.99.255」的位址會保留給用戶端。

IPoIB 單一子網路定址方案

根據中列出的優點,本部署指南將使用單一子網路架構 "軟體架構"

子網路: 100.127.0.0/16

下表提供單一子網路的範圍: 100.127.0.0.0/16 。

目的 InfiniBand連接埠 IP位址或範圍

BeeGFS叢集IP

i1b 或 i4b

100127.100.1 - 100127.1005.255

BeeGFS管理

i1b

100127.101.0

i2b

100.127.102.0

BeeGFS中繼資料

i1b或i3b

100127.101.1 - 100127.101.255

i2b或i4b

100.127.102.1 - 100.127.102.255

BeeGFS儲存設備

i1b或i3b

100127.103.1 - 100127.103.255

i2b或i4b

100.127.104.1-100.127.104.255

BeeGFS用戶端

(因用戶端而異)

100127.1.1 - 100127.99.255

IPoIB 兩個子網路定址方案

不再建議使用兩個子網路定址方案、但仍可實作。如需建議的兩個子網路配置、請參閱下表。

子網路A:100127.0/16

下表提供子網路A的範圍:100127.0.0/16。

目的 InfiniBand連接埠 IP位址或範圍

BeeGFS叢集IP

i1b

100127.100.1 - 100127.1005.255

BeeGFS管理

i1b

100127.101.0

BeeGFS中繼資料

i1b或i3b

100127.101.1 - 100127.101.255

BeeGFS儲存設備

i1b或i3b

100127.103.1 - 100127.103.255

BeeGFS用戶端

(因用戶端而異)

100127.1.1 - 100127.99.255

子網路B:100128.0/16

下表提供子網路B的範圍:100128.0.0/16。

目的 InfiniBand連接埠 IP位址或範圍

BeeGFS叢集IP

i4b.

100128.100.1 - 100128.1005.255

BeeGFS管理

i2b

100128.102.0

BeeGFS中繼資料

i2b或i4b

100128.102.1 - 100128.102.255

BeeGFS儲存設備

i2b或i4b

100128.104.1 - 100128.104.255

BeeGFS用戶端

(因用戶端而異)

100128.1.1 - 100128.99.255

註 並非上述範圍內的所有IP都用於此NetApp認證架構。它們示範如何預先配置IP位址、以便使用一致的IP定址方案輕鬆擴充檔案系統。在此方案中、BeeGFS檔案節點和服務ID對應於已知IP範圍的第四個八位元組。如果需要、檔案系統當然可以擴充至超過255個節點或服務。