Skip to main content
BeeGFS on NetApp with E-Series Storage
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Technische Anforderungen

Beitragende

Für die Implementierung der BeeGFS auf NetApp Lösung stellen Sie sicher, dass Ihre Umgebung die technologischen Anforderungen erfüllt.

Hardwareanforderungen

In der folgenden Tabelle sind die Hardwarekomponenten aufgeführt, die für die Implementierung eines Bausteindesigns der zweiten Generation für die BeeGFS auf NetApp Lösung erforderlich sind.

Hinweis Je nach den Anforderungen des Kunden können die in einer bestimmten Implementierung dieser Lösung verwendeten Hardwarekomponenten abweichen.
Zählen Hardwarekomponenten Anforderungen

2

BeeGFS-Datei-Knoten.

Jeder Datei-Node sollte die folgende Konfiguration erfüllen oder übertreffen, um die erwartete Performance zu erreichen.

  • Prozessoren:*

  • 2x AMD EPYC 7343 16C 3.2 GHz.

  • Konfiguriert als zwei NUMA-Zonen.

Speicher:

  • 256 GB:

  • 16x 16 GB TruDDR4 3200 MHz (2Rx8 1,2 V) RDIMM-A (eher kleinere DIMMs als weniger größere DIMMs).

  • Gefüllt, um die Speicherbandbreite zu maximieren.

PCIe Erweiterung: Vier PCE Gen4 x16 Steckplätze:

  • Zwei Steckplätze pro NUMA-Zone.

  • Jeder Steckplatz sollte ausreichend Strom-/Kühlleistung für den Mellanox MCX653106A-HDAT-Adapter bereitstellen.

Verschiedenes:

  • Zwei 1-TB-SATA-Laufwerke mit 7.200 U/min (oder vergleichbar), konfiguriert in RAID 1 für das Betriebssystem.

  • 10 GbE OCP 3.0 Adapter (oder vergleichbar) für in-Band-BS-Management

  • 1GbE BMC mit Redfish API für Out-of-Band-Server-Management

  • Zwei Hot-Swap-fähige Netzteile und Performance-Lüfter

  • Zum Erreichen von Storage InfiniBand Switches müssen Mellanox optische InfiniBand-Kabel unterstützt werden.

  • Lenovo SR665:*

  • Das benutzerdefinierte NetApp Modell enthält die erforderliche Version der XClarity-Controller-Firmware, die zur Unterstützung von Mellanox ConnectX-6-Adaptern mit zwei Ports erforderlich ist. Wenden Sie sich an NetApp, um Bestellinformationen zu erhalten.

8

Mellanox ConnectX-6 HCAs (für File-Nodes)

  • MCX653106A-HDAT Host Channel Adapter (HDR IB 200 GB, Dual-Port QSFP56, PCIe4.0 x16).

8

1-m-HDR-InfiniBand-Kabel (für direkte Verbindungen mit Datei-/Block-Nodes)

  • MCP1650-H001E30 (1 m Mellanox Passives Kupferkabel, IB HDR, bis zu 200 Gbit/s, QSFP56, 30 AWG).

Die Länge kann angepasst werden, um bei Bedarf längere Distanzen zwischen Datei- und Block-Knoten zu berücksichtigen.

8

HDR-InfiniBand-Kabel (für File-Node-/Storage-Switch-Verbindungen)

Benötigt InfiniBand HDR-Kabel (QSFP56-Transceiver) von der entsprechenden Länge, um Datei-Knoten mit Speicher-Leaf-Switches zu verbinden. Mögliche Optionen sind:

  • MCP1650-H002E26 (2 m Mellanox Passives Kupferkabel, IB HDR, bis 200 GB/s, QSFP56, 30 AWG).

  • MFS1S00-H003E (3 m Mellanox-Aktivfaserkabel, IB-HDR, bis zu 200 GB/s, QSFP56).

2

Block-Nodes der E-Series

Zwei EF600 Controller werden wie folgt konfiguriert:

  • Arbeitsspeicher: 256 GB (128 GB pro Controller)

  • Adapter: 2-Port 200 GB/HDR (NVMe/IB).

  • Laufwerke: Passend zur gewünschten Kapazität konfiguriert.

Softwareanforderungen

Um eine vorhersehbare Performance und Zuverlässigkeit zu gewährleisten, werden Releases der BeeGFS auf NetApp Lösung mit spezifischen Versionen der Softwarekomponenten getestet, die für die Implementierung der Lösung erforderlich sind.

Anforderungen an die Softwareimplementierung

In der folgenden Tabelle sind die automatisch bereitgestellten Softwareanforderungen im Rahmen der Ansible-basierten BeeGFS-Implementierung aufgeführt.

Software Version

BeeGFS

7.2.6

Corosync

3.1.5-1

Schrittmacher

2.1.0-8

OpenSM

opensm-5.9.0 (von mlnx_ofed 5.4-1.0.3.0)

Hinweis Nur erforderlich für die direkte Verbindung zur Virtualisierung

Ansible-Control-Node-Anforderungen

Die BeeGFS auf NetApp Lösung wird über einen Ansible-Kontroll-Node implementiert und gemanagt. Weitere Informationen finden Sie im "Ansible-Dokumentation".

Die in den folgenden Tabellen aufgeführten Software-Anforderungen beziehen sich speziell auf die unten aufgeführte Version der NetApp BeeGFS Ansible Sammlung.

Software Version

Ansible

2.11 bei Installation über pip: ansible-4.7.0 und ansible-Core < 2.12,>=2.11.6

Python

3.9

Zusätzliche Python-Pakete

Kryptografie-35.0.0, netaddr-0.8.0

BeeGFS Ansible Collection

3.0.0

Anforderungen an Datei-Nodes

Software Version

Red hat Enterprise Linux

Redhat 8.4 Server, physisch mit Hochverfügbarkeit (2 Sockets).

Wichtig File-Nodes erfordern ein gültiges RedHat Enterprise Linux Server-Abonnement und das Red hat Enterprise Linux High Availability Add-On.

Linux-Kernel

4.18.0-305.25.1.el8_4.x86_64

InfiniBand-/RDMA-Treiber

Posteingang

ConnectX-6 HCA-Firmware

FW: 20.31.1014

PXE: 3.6.0403

UEFI: 14.24.0013

Anforderungen der EF600 Block-Nodes

Software Version

SANtricity OS

11.70.2

NVSRAM

N6000-872834-D06.dlp

Festplatten-Firmware

Neueste verfügbar für die verwendeten Antriebsmodelle.

Zusätzlichen Anforderungen

Die in der folgenden Tabelle aufgeführten Geräte wurden zur Validierung verwendet, es können jedoch bei Bedarf geeignete Alternativen verwendet werden. In der Regel empfiehlt NetApp die Ausführung der neuesten Softwareversion, um unerwartete Probleme zu vermeiden.

Hardwarekomponenten Installierte Software

  • 2 x Mellanox MQM8700 200-GB-InfiniBand-Switches

  • Firmware 3.9.2110

1x Ansible-Steuerungsknoten (virtualisiert):

  • Prozessoren: Intel® Xeon® Gold 6146 CPU @ 3,20 GHz

  • Speicher: 8 GB

  • Lokaler Storage: 24 GB

  • CentOS Linux 8.4.2105

  • Kernel 4.18.0-305.3.1.el8.x86_64

Installierte Ansible- und Python-Versionen entsprechen den in der oben stehenden Tabelle.

10x BeeGFS Clients (CPU Nodes):

  • Prozessor: 1x AMD EPYC 7302 16-Core CPU bei 3,0 GHz

  • Speicher: 128 GB

  • Netzwerk: 2x Mellanox MCX653106A-HDAT (ein Port pro Adapter angeschlossen).

  • Ubuntu 20.04

  • Kernel: 5.4.0-100-generic

  • InfiniBand-Treiber: Mellanox OFED 5.4-1.0.3.0

1x BeeGFS Client (GPU-Knoten):

  • Prozessoren: 2x AMD EPYC 7742 64-Core CPUs bei 2,25 GHz

  • Speicher: 1 TB

  • Netzwerk: 2x Mellanox MCX653106A-HDAT (ein Port pro Adapter angeschlossen).

Dieses System basiert auf der NVIDIAs HGX A100 Plattform und umfasst vier A100 GPUs.

  • Ubuntu 20.04

  • Kernel: 5.4.0-100-generic

  • InfiniBand-Treiber: Mellanox OFED 5.4-1.0.3.0