はじめに
ベストプラクティスを確認
変更を提案
PDF
NetApp解決策 にBeeGFSを導入する際は、ベストプラクティスのガイドラインに従ってください。
標準規則
Ansibleインベントリファイルを物理的に構築して作成する場合は、以下の標準的な規則に従ってください（詳細については、を参照してください） "Ansibleインベントリを作成します"）。
-
ファイル・ノードのホスト名は'順番に番号が付けられ（H01-HN）'ラックの一番上に番号が小さい'下に数字が大きい
たとえば'[location][row][rack][hn']という命名規則は'ictad22h01'のようになります
-
各ブロックノードは2台のストレージコントローラで構成され、コントローラごとに独自のホスト名が付けられます。
ストレージアレイ名は、Ansibleインベントリの一部としてブロックストレージシステム全体を参照するために使用されます。ストレージアレイ名は順番に（A01-AN）番号を付け、各コントローラのホスト名はこの命名規則に基づいて付けます。
たとえば、「ictad22a01」という名前のブロックノードでは、通常、「ictad22a01-a」や「ictad22a01-b」などの各コントローラにホスト名を設定できますが、Ansibleのインベントリでは「ictad22a01」と呼ばれます。
-
同じビルディングブロック内のファイルノードとブロックノードは、同じ番号方式を共有し、ラック内で互いに隣接しています。一番上に両方のファイルノードがあり、その下に両方のブロックノードが直接配置されています。
たとえば、最初のビルディングブロックでは、ファイルノードH01とH02がどちらもブロックノードA01とA02に直接接続されています。ホスト名は、H01、H02、A01、およびA02です。
-
ビルディングブロックは、ホスト名に基づいて順に配置されるため、番号の小さいホスト名はラックの上部に、番号の大きいホスト名は下部に配置されます。
ここでは、ケーブルをラックスイッチの上部まで配線する時間を最小限に抑え、トラブルシューティングを簡単にするための標準的な導入方法を定義します。ラックの安定性に問題があるためにこれが許可されないデータセンターでは、逆の場合は、下から上にラックにデータを入力することができます。
InfiniBandストレージネットワーク構成
各ファイルノードの半分のInfiniBandポートをブロックノードに直接接続します。残りの半分はInfiniBandスイッチに接続され、BeeGFSクライアント/サーバ接続に使用されます。BeeGFSクライアントおよびサーバに使用するIPoIBサブネットのサイズを決定する際には、コンピューティング/ GPUクラスタとBeeGFSファイルシステムの予想される増加を考慮する必要があります。推奨されるIP範囲から外れる必要がある場合は、1つのビルディングブロック内の各直接接続に一意のサブネットがあり、クライアント/サーバ接続に使用されるサブネットと重複しないことに注意してください。
直接接続
各ビルディングブロック内のファイルノードとブロックノードは、常に次の表のIPを使用して直接接続されます。
|
このアドレス指定方式は、次のルールに従っています。3番目のオクテットは常に奇数または偶数で、ファイルノードが奇数であるか偶数であるかによって異なります。 |
| ファイルノード | IBポート | IP アドレス | ブロックノード | IBポート | 物理IP | 仮想IP |
|---|---|---|---|---|---|---|
奇数（h1） |
i1a |
192.168.1.10 |
奇数（c1） |
2A |
192.168.1.100 |
192.168.1.101 |
奇数（h1） |
i2a |
192.168.3.10 |
奇数（c1） |
2A |
192.168.3.100 |
192.168.3.101 |
奇数（h1） |
i3a |
192.168.5.10 |
偶数（C2） |
2A |
192.168.5.100 |
192.168.5.101 |
奇数（h1） |
i4a |
192.168.7.10 |
偶数（C2） |
2A |
192.168.7.100 |
192.168.7.101 |
偶数（h2） |
i1a |
192.168.2.10 |
奇数（c1） |
2B |
192.168.2.100 |
192.168.2.101 |
偶数（h2） |
i2a |
192.168.4.10 |
奇数（c1） |
2B |
192.168.4.100 |
192.168.4.101 |
偶数（h2） |
i3a |
192.168.6.10 |
偶数（C2） |
2B |
192.168.6.100 |
192.168.6.101 |
偶数（h2） |
i4a |
192.168.8.10 |
偶数（C2） |
2B |
192.168.8.100 |
192.168.8.101 |
BeeGFSクライアント/サーバIPoIBアドレッシング方式（2つのサブネット）
BeeGFSクライアントが2つのInfiniBandポートを使用できるようにするには、各サブネットで優先IPを設定したBeeGFSサーバサービスの半分に2つのIPoIBサブネットを設定して、クライアントが2つのInfiniBandポートを使用してファイルシステムの冗長性とスループットを最大化する必要があります。
各ファイルノードは、複数のBeeGFSサーバサービス（管理、メタデータ、またはストレージ）を実行します。各サービスを他のファイルノードに個別にフェイルオーバーできるようにするために、各サービスには両方のノード間で共有できる一意のIPアドレス（論理インターフェイスまたはLIFとも呼ばれます）が設定されます。
必須ではありませんが、この配置では、次のIPoIBサブネット範囲がこれらの接続に使用されていることが前提となり、次の規則を適用する標準アドレッシング方式を定義します。
-
2番目のオクテットは、ファイルノードのInfiniBandポートが奇数であるか偶数であるかに基づいて常に奇数になります。
-
BeeGFSクラスタIPは常にxxxです。127.100.yyyまたは'xxx.128.100.yyy
|
|
インバンドOS管理に使用されるインターフェイスに加えて、Corosyncでクラスタのハートビートおよび同期に追加のインターフェイスを使用できます。これにより、1つのインターフェイスが停止してもクラスタ全体が停止することはありません。 |
-
BeeGFS管理サービスは'常に'xxx.yyy.101.0'または'xxx.yyy.102.0`になります
-
BeeGFSメタデータ・サービスは常に「xxx.yyy.101.zzz」または「xxx.yyy.102.zzz」です。
-
BeeGFSストレージ・サービスは'常にxxx.103.zzzまたは'xxx.yyy.103.zzz'です
-
アドレス範囲は'100.xxx.1.1'～'100.xxx.99.255'で'クライアント用に予約されています
次の表に、サブネットAの範囲を示します。100.127.0.0.0/16
| 目的 | InfiniBandポート | IPアドレスまたはIP範囲 |
|---|---|---|
BeeGFS Cluster IP（BeeGFSクラスタIP） |
i1b |
100.127.100.1-100.127.100.255 |
BeeGFS Managementの略 |
i1b |
100.127.101.0 |
BeeGFSメタデータ |
i1bまたはi3b |
100.127.101.1-100.127.101.255 |
BeeGFS Storage（BeeGFSストレージ） |
i1bまたはi3b |
100.127.103.1-100.127.103.255 |
BeeGFSクライアント |
（クライアントによって異なる） |
100.127.1.1～100.127.99.255 |
次の表に、サブネットBの範囲を示します。100.128.0.0/16
| 目的 | InfiniBandポート | IPアドレスまたはIP範囲 |
|---|---|---|
BeeGFS Cluster IP（BeeGFSクラスタIP） |
i4b |
100.128.100.1~100.128.100.255 |
BeeGFS Managementの略 |
i2b |
100.128.102.0 |
BeeGFSメタデータ |
i2bまたはi4b |
100.128.102.1～100.128.102.255 |
BeeGFS Storage（BeeGFSストレージ） |
i2bまたはi4b |
100.128.104.1～100.128.104.255 |
BeeGFSクライアント |
（クライアントによって異なる） |
100.128.1.1～100.128.99.255 |
|
|
このNetApp Verified Architectureでは、上記の範囲のすべてのIPが使用されているわけではありません。一貫したIPアドレッシング方式を使用してファイルシステムを簡単に拡張できるように、IPアドレスを事前に割り当てる方法を示します。この方式では、BeeGFSファイルノードとサービスIDは既知のIP範囲の4番目のオクテットに対応します。ファイルシステムは、必要に応じて255ノード以上のノードやサービスを拡張できます。 |