Skip to main content
BeeGFS on NetApp with E-Series Storage
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

技術要件

共同作成者

NetApp解決策 にBeeGFSを実装するには、使用する環境がテクノロジの要件を満たしていることを確認します。

ハードウェア要件

次の表に、NetApp解決策 上のBeeGFSに単一の第2世代ビルディングブロック設計を実装するために必要なハードウェアコンポーネントを示します。

メモ 解決策 の特定の実装で使用されるハードウェアコンポーネントは、お客様の要件に応じて異なる場合があります。
カウント ハードウェアコンポーネント 要件

2.

BeeGFSファイルノード

想定されるパフォーマンスを実現するには、各ファイルノードが次の構成を満たしているか、超えている必要があります。

プロセッサー：

  • AMD EPYC 7343 16C 3.2 GHz×2。

  • 2つのNUMAゾーンとして構成されています。

メモリ：

  • 256GB。

  • 16 x 16GB TruDDR4 3200MHz（2Rx8 1.2V）RDIMM A（より小さいDIMMよりも大きいDIMMを優先）。

  • メモリ帯域幅を最大化するために実装。

  • PCIe拡張: PCE Gen4 x16スロット×4：*

  • NUMAゾーンごとに2つのスロット。

  • 各スロットには、Mellanox MCX653106A-HDATアダプタに十分な電力/冷却機能が備わっている必要があります。

その他:

  • OS用にRAID 1で構成された1TB 7.2K SATAドライブ（または同等のドライブ）2台。

  • インバンドOS管理用の10GbE OCP 3.0アダプタ（または同等のアダプタ）。

  • アウトオブバンドのサーバ管理用に、1GbE BMCとRedfish APIを使用。

  • ホットスワップ対応のデュアル電源装置とパフォーマンスファン。

  • ストレージInfiniBandスイッチに接続する必要がある場合は、Mellanox光InfiniBandケーブルをサポートしている必要があります。

  • Lenovo SR665：*

  • カスタムのネットアップモデルには、デュアルポートMellanox ConnectX-6アダプタのサポートに必要なXClarityコントローラファームウェアのバージョンが含まれています。注文の詳細については、ネットアップにお問い合わせください。

8.

Mellanox ConnectX-6 HCA（ファイルノード用）

  • MCX653106A-HDATホストチャネルアダプタ（HDR IB 200GB、デュアルポートQSFP56、PCIe4.0 x16）

8.

1M HDR InfiniBandケーブル（ファイル/ブロックノードの直接接続用）。

  • MCP1650 - H001E30（1 m Mellanoxパッシブカッパーケーブル、IB HDR、最大200Gbps、QSFP56、30AWG）

必要に応じて、ファイルノードとブロックノード間の距離を長くするために、長さを調整できます。

8.

HDR InfiniBandケーブル（ファイルノード/ストレージスイッチ接続用）

ファイルノードをストレージリーフスイッチに接続するために、適切な長さのInfiniBand HDRケーブル（QSFP56トランシーバ）が必要です。次のオプションがあります。

  • MCP1650 - H002E26（2 m Mellanoxパッシブカッパーケーブル、IB HDR、最大200Gb/秒、QSFP56、30AWG）。

  • MFS1S00-H003E（3 m Mellanoxアクティブファイバケーブル、IB HDR、最大200Gb/秒、QSFP56）。

2.

Eシリーズのブロックノード

次のように構成された2台のEF600コントローラ：

  • メモリ：256GB（コントローラあたり128GB）。

  • アダプタ：2ポート200Gb / HDR（NVMe/IB）

  • ドライブ：必要な容量に合わせて構成

ソフトウェア要件

パフォーマンスと信頼性を予測するために、NetApp解決策 上のBeeGFSのリリースについて、解決策 の実装に必要な特定のバージョンのソフトウェアコンポーネントを使用してテストします。

ソフトウェア導入の要件

次の表に、AnsibleベースのBeeGFS導入の一環として自動的に導入されるソフトウェア要件を示します。

ソフトウェア バージョン

BeeGFSの場合

7.2.6.

Corosync

3.1.5-1

ペースメーカー

2.1.0.8

OpenSMを使用します

opensm-5.9.0（MLNx_OFED 5.4-1.0.3.0から）

メモ 仮想化を有効にするために直接接続する場合にのみ必要です。

Ansibleの制御ノード要件

NetApp解決策 のBeeGFSは、Ansible制御ノードから導入して管理します。詳細については、を参照してください "Ansibleのドキュメント"。

次の表に示すソフトウェア要件は、以下に記載するNetApp BeeGFSコレクションのバージョンに固有のものです。

ソフトウェア バージョン

Ansible

2.11 pipを使用してインストールした場合：Ansible -4.7.0およびAnsible -core <2.12、>= 2.11.6

Python

3.9.

その他のPythonパッケージ

暗号化-350.0.0、netaddr-0.8.0

BeeGFS Ansibleコレクション

3.0.0

ファイルのノード要件

ソフトウェア バージョン

Red Hat Enterprise Linuxの場合

Red Hat 8.4 Server Physical with High Availability（2ソケット）。

重要 ファイルノードには、有効なRed Hat Enterprise Linux ServerサブスクリプションとRed Hat Enterprise Linux High Availabilityアドオンが必要です。

Linuxカーネル

4.18.0～305.25.1.el8_4.x86_64

InfiniBand / RDMAドライバ

受信トレイ

ConnectX-6 HCAファームウェア

FW：20.31.1014

PXE：3.6.0403

UEFI：14.24.0013

EF600ブロックノードの要件

ソフトウェア バージョン

SANtricity OS の略

11.70.2

NVSRAM

N6000 - 872834 - D06.dlp

ドライブファームウェア

使用中のドライブモデルで最新バージョンが提供されています。

その他の要件

次の表に記載されている機器を検証に使用しましたが、必要に応じて適切な代替手段を使用できます。一般に、予期しない問題を回避するために、最新のソフトウェアバージョンを実行することを推奨します。

ハードウェアコンポーネント ソフトウェアをインストールした

  • Mellanox M8M8700 200Gb InfiniBandスイッチ×2

  • ファームウェア3.9.2110

  • Ansibleコントロールノード（仮想化）×1：*

  • プロセッサ：Intel（R）Xeon（R）Gold 6146 CPU @ 3.20 GHz

  • メモリ：8GB

  • ローカルストレージ：24GB

  • CentOS Linux 8.4.2105

  • カーネル4.18.0.305.3.1.el8.x86_64

インストールされているAnsibleとPythonのバージョンが上記の表のバージョンと同じです。

  • 10x BeeGFSクライアント（CPUノード）：*

  • プロセッサ：3.0GHzでAMD EPYC 7302 16コアCPU x 1

  • メモリ：128GB

  • ネットワーク：Mellanox MCX653106A-HDAT×2（アダプタごとに1ポート接続）

  • Ubuntu 20.04

  • カーネル:5.4.0-100-汎用

  • InfiniBandドライバ：Mellanox OFED 5.4-1.0.3.0

  • BeeGFSクライアント（GPUノード）×1：*

  • プロセッサ：2.25 GHzのAMD EPYC 7742 64コアCPU×2

  • メモリ：1TB

  • ネットワーク：Mellanox MCX653106A-HDAT×2（アダプタごとに1ポート接続）

このシステムはNVDIAS HGX A100プラットフォームをベースにしており、4つのA100 GPUを搭載しています。

  • Ubuntu 20.04

  • カーネル:5.4.0-100-汎用

  • InfiniBandドライバ：Mellanox OFED 5.4-1.0.3.0