Skip to main content
BeeGFS on NetApp with E-Series Storage
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

ベストプラクティスを確認

共同作成者
PDF

NetApp解決策 にBeeGFSを導入する際は、ベストプラクティスのガイドラインに従ってください。

標準規則

Ansibleインベントリファイルを物理的に構築して作成する場合は、以下の標準的な規則に従ってください（詳細については、を参照してください） "Ansibleインベントリを作成します"）。

  • ファイル・ノードのホスト名は'順番に番号が付けられ（H01-HN）'ラックの一番上に番号が小さい'下に数字が大きい

    たとえば、命名規則は [location][row][rack]hN 次のようになります。 beegfs_01

  • 各ブロックノードは2台のストレージコントローラで構成され、コントローラごとに独自のホスト名が付けられます。

    ストレージアレイ名は、Ansibleインベントリの一部としてブロックストレージシステム全体を参照するために使用されます。ストレージアレイ名は順番に（A01-AN）番号を付け、各コントローラのホスト名はこの命名規則に基づいて付けます。

    たとえば、という名前のブロックノードは ictad22a01 通常、コントローラごとにホスト名を設定できます（やなど）があります ictad22a01-a ictad22a01-b`が、Ansibleインベントリではと呼ばれます。 `netapp_01

  • 同じビルディングブロック内のファイルノードとブロックノードは、同じ番号方式を共有し、ラック内で互いに隣接しています。一番上に両方のファイルノードがあり、その下に両方のブロックノードが直接配置されています。

    たとえば、最初のビルディングブロックでは、ファイルノードH01とH02がどちらもブロックノードA01とA02に直接接続されています。ホスト名は、H01、H02、A01、およびA02です。

  • ビルディングブロックは、ホスト名に基づいて順に配置されるため、番号の小さいホスト名はラックの上部に、番号の大きいホスト名は下部に配置されます。

    ここでは、ケーブルをラックスイッチの上部まで配線する時間を最小限に抑え、トラブルシューティングを簡単にするための標準的な導入方法を定義します。ラックの安定性に問題があるためにこれが許可されないデータセンターでは、逆の場合は、下から上にラックにデータを入力することができます。

InfiniBandストレージネットワーク構成

各ファイルノードの半分のInfiniBandポートをブロックノードに直接接続します。残りの半分はInfiniBandスイッチに接続され、BeeGFSクライアント/サーバ接続に使用されます。BeeGFSクライアントおよびサーバに使用するIPoIBサブネットのサイズを決定する際には、コンピューティング/ GPUクラスタとBeeGFSファイルシステムの予想される増加を考慮する必要があります。推奨されるIP範囲から外れる必要がある場合は、1つのビルディングブロック内の各直接接続に一意のサブネットがあり、クライアント/サーバ接続に使用されるサブネットと重複しないことに注意してください。

直接接続

各ビルディングブロック内のファイルノードとブロックノードは、常に次の表のIPを使用して直接接続されます。

メモ このアドレス指定方式は、次のルールに従っています。3番目のオクテットは常に奇数または偶数で、ファイルノードが奇数であるか偶数であるかによって異なります。
ファイルノード IBポート IP アドレス ブロックノード IBポート 物理IP 仮想IP

奇数（h1）

i1a

192.168.1.10

奇数（c1）

2A

192.168.1.100

192.168.1.101

奇数（h1）

i2a

192.168.3.10

奇数（c1）

2A

192.168.3.100

192.168.3.101

奇数（h1）

i3a

192.168.5.10

偶数（C2）

2A

192.168.5.100

192.168.5.101

奇数（h1）

i4a

192.168.7.10

偶数（C2）

2A

192.168.7.100

192.168.7.101

偶数（h2）

i1a

192.168.2.10

奇数（c1）

2B

192.168.2.100

192.168.2.101

偶数（h2）

i2a

192.168.4.10

奇数（c1）

2B

192.168.4.100

192.168.4.101

偶数（h2）

i3a

192.168.6.10

偶数（C2）

2B

192.168.6.100

192.168.6.101

偶数（h2）

i4a

192.168.8.10

偶数（C2）

2B

192.168.8.100

192.168.8.101

BeeGFSクライアント/サーバIPoIBアドレス方式

各ファイルノードは、複数のBeeGFSサーバサービス（管理、メタデータ、またはストレージ）を実行します。各サービスを他のファイルノードに個別にフェイルオーバーできるようにするために、各サービスには両方のノード間で共有できる一意のIPアドレス（論理インターフェイスまたはLIFとも呼ばれます）が設定されます。

必須ではありませんが、この配置では、次のIPoIBサブネット範囲がこれらの接続に使用されていることが前提となり、次の規則を適用する標準アドレッシング方式を定義します。

  • 2番目のオクテットは、ファイルノードのInfiniBandポートが奇数であるか偶数であるかに基づいて常に奇数になります。

  • BeeGFSクラスタIPは常にxxxです。127.100.yyyまたは'xxx.128.100.yyy

メモ インバンドOS管理に使用されるインターフェイスに加えて、Corosyncでクラスタのハートビートおよび同期に追加のインターフェイスを使用できます。これにより、1つのインターフェイスが停止してもクラスタ全体が停止することはありません。

  • BeeGFS管理サービスは'常に'xxx.yyy.101.0'または'xxx.yyy.102.0`になります

  • BeeGFSメタデータ・サービスは常に「xxx.yyy.101.zzz」または「xxx.yyy.102.zzz」です。

  • BeeGFSストレージサービスは、常に xxx.yyy.103.zzz または `xxx.yyy.104.zzz`です。

  • アドレス範囲は'100.xxx.1.1'～'100.xxx.99.255'で'クライアント用に予約されています

IPoIB単一サブネットアドレッシング方式

この導入ガイドでは、に記載されている利点を考慮して、単一のサブネットスキーマを使用し "ソフトウェアアーキテクチャ"ます。

サブネット：100.127.0.0/16

次の表に、単一のサブネットの範囲（100.127.0.0/16）を示します。

目的 InfiniBandポート IPアドレスまたはIP範囲

BeeGFS Cluster IP（BeeGFSクラスタIP）

i1bまたはi4b

100.127.100.1-100.127.100.255

BeeGFS Managementの略

i1b

100.127.101.0

i2b

100.127.102.0

BeeGFSメタデータ

i1bまたはi3b

100.127.101.1-100.127.101.255

i2bまたはi4b

100.127.102.1～100.127.102.255

BeeGFS Storage（BeeGFSストレージ）

i1bまたはi3b

100.127.103.1-100.127.103.255

i2bまたはi4b

100.127.104.1～100.127.104.255

BeeGFSクライアント

（クライアントによって異なる）

100.127.1.1～100.127.99.255

IPoIB 2サブネットアドレッシング方式

2つのサブネットアドレッシング方式は推奨されなくなりましたが、実装は可能です。推奨される2つのサブネット方式については、次の表を参照してください。

サブネットA：100.127.0.0.0/16

次の表に、サブネットAの範囲を示します。100.127.0.0.0/16

目的 InfiniBandポート IPアドレスまたはIP範囲

BeeGFS Cluster IP（BeeGFSクラスタIP）

i1b

100.127.100.1-100.127.100.255

BeeGFS Managementの略

i1b

100.127.101.0

BeeGFSメタデータ

i1bまたはi3b

100.127.101.1-100.127.101.255

BeeGFS Storage（BeeGFSストレージ）

i1bまたはi3b

100.127.103.1-100.127.103.255

BeeGFSクライアント

（クライアントによって異なる）

100.127.1.1～100.127.99.255
サブネットB：100.128.0.0/16

次の表に、サブネットBの範囲を示します。100.128.0.0/16

目的 InfiniBandポート IPアドレスまたはIP範囲

BeeGFS Cluster IP（BeeGFSクラスタIP）

i4b

100.128.100.1~100.128.100.255

BeeGFS Managementの略

i2b

100.128.102.0

BeeGFSメタデータ

i2bまたはi4b

100.128.102.1～100.128.102.255

BeeGFS Storage（BeeGFSストレージ）

i2bまたはi4b

100.128.104.1～100.128.104.255

BeeGFSクライアント

（クライアントによって異なる）

100.128.1.1～100.128.99.255
メモ このNetApp Verified Architectureでは、上記の範囲のすべてのIPが使用されているわけではありません。一貫したIPアドレッシング方式を使用してファイルシステムを簡単に拡張できるように、IPアドレスを事前に割り当てる方法を示します。この方式では、BeeGFSファイルノードとサービスIDは既知のIP範囲の4番目のオクテットに対応します。ファイルシステムは、必要に応じて255ノード以上のノードやサービスを拡張できます。