Lustre와 NetApp E-Series 스토리지 - 하드웨어 구성 요소
변경 제안
PDF
서버, NetApp E-Series 어레이, 스토리지 레이아웃 및 네트워킹에 대한 이 하드웨어 요구 사항은 NetApp E-Series 스토리지를 사용하여 Lustre를 구성하고 주문할 때 활용하십시오. 소프트웨어 구성 요소에 대한 자세한 내용은 "소프트웨어 구성 요소"을 참조하십시오.
서버 요구 사항
이 솔루션은 BYOS(Bring Your Own Server) 모델을 사용합니다. 각 구성 요소에는 다음 사양을 충족하거나 초과하는 두 개의 OSS/MDS 서버 노드가 필요합니다.
노드 사양
다음 표는 OSS/MDS 노드별 최소 서버 요구 사항을 나열합니다.
| 요소 | 요구 사항 |
|---|---|
수량 |
건물 블록당 노드 2개 |
CPU |
AMD EPYC 또는 Intel Xeon, 32코어 이상 |
메모리 |
256 GB DDR5 (최소) |
네트워크 HCAs |
6개의 듀얼 포트 200Gb HCA(HCA 연결성 참조) |
PCIe 슬롯 |
2× PCIe Gen5 x16 및 4× PCIe Gen5 x8 (PCIe 슬롯 요구 사항 참조) |
부팅 드라이브 |
RAID 1 구성의 드라이브 2개 (소프트웨어 또는 하드웨어 RAID 권장) |
NetApp은 Lenovo ThinkSystem SR665 V3 서버를 사용하여 솔루션을 검증했습니다. 다른 공급업체의 동등한 서버도 이러한 요구 사항을 충족하는 경우 지원됩니다.
HCA 연결성
다음 표는 OSS/MDS 서버 노드별 HCA, LNet 프런트엔드 포트 및 NVMe-oF 경로 요구 사항을 나열합니다.
| 노드당 HCA | Lustre 노드당 LNet 포트 | Lustre 노드당 NVMe-oF 경로 | 예시 HCA |
|---|---|---|---|
6개 (12개 포트) |
4 |
총 8개 (각 배열에 4개씩) |
MCX755106AS-HEAT (듀얼 포트 200Gb PCIe gen5 카드) |
NetApp은 EF80 스토리지 어레이의 대역폭을 극대화하기 위해 노드당 6개의 HCA를 권장합니다.
PCIe 슬롯 요구 사항
EF80 빌딩 블록의 각 OSS/MDS 서버 노드에는 6개의 듀얼 포트 HCA가 있습니다. 이 중 2개는 LNet용이고 4개는 NVMe-oF용입니다. 슬롯 너비는 각 HCA에서 사용할 수 있는 대역폭을 결정하므로 카드 자체의 너비가 아닌 모든 슬롯과 라이저의 전기적 너비를 확인해야 합니다. Gen5 x16 카드를 Gen5 x8 슬롯에 설치하면 x8 속도로 작동합니다.
-
LNet HCAs: 프런트엔드 처리량을 극대화하려면 PCIe Gen5 x16 슬롯에 설치하십시오.
-
NVMe-oF HCAs: PCIe Gen5 x8 또는 PCIe Gen5 x16 슬롯에 설치하십시오.
-
NUMA 균형: HCA를 두 NUMA 영역에 균등하게 분배하여 각 영역에 LNet 인터페이스 2개와 NVMe-oF 인터페이스 4개가 할당되도록 합니다.
다음 표는 EF80 빌딩 블록에서 각 OSS/MDS 서버 노드에 필요한 최소 슬롯 수를 나타냅니다.
| 트래픽 유형 | 노드당 HCA | 최소 슬롯 폭 | NUMA 구역별 슬롯 |
|---|---|---|---|
LNet |
2 |
PCIe Gen5 x16 |
1 |
NVMe-oF |
4 |
PCIe Gen5 x8 |
2 |
선택적으로 듀얼 포트 HCA에서 포트를 분할하여 한 포트는 LNet 트래픽을, 다른 포트는 NVMe-oF 트래픽을 처리하도록 할 수 있습니다. 모든 LNet 포트가 최대 처리량을 발휘하도록 하려면 이 HCA 4개를 모두 PCIe Gen5 x16 슬롯에 설치한 다음, 나머지 NVMe-oF 포트를 위해 Gen5 x8 또는 Gen5 x16 슬롯에 HCA 2개를 추가하십시오.
Lenovo ThinkSystem SR665 V3 라이저 구성 예
다음 두 가지 라이저 조합 모두 EF80 빌딩 블록에 필요한 슬롯 요구 사항을 충족합니다.
최소 슬롯 너비
BPQU 라이저를 라이저 위치 1과 2에 설치하십시오. 각 BPQU 라이저는 PCIe Gen5 x16 슬롯 1개와 PCIe Gen5 x8 슬롯 2개를 제공합니다. 이 라이저들을 함께 사용하면 LNet용 Gen5 x16 슬롯 2개와 NVMe-oF용 Gen5 x8 슬롯 4개를 NUMA 영역에 균등하게 분배하여 사용할 수 있습니다.
모든 Gen5 x16 슬롯
라이저 위치 1과 2에 BPQV 라이저를, 라이저 위치 3에 BLL9 라이저를 설치하십시오. 각 BPQV 라이저는 두 개의 PCIe Gen5 x16 슬롯을 제공합니다. BLL9 라이저는 NUMA 영역 0에 슬롯 7, NUMA 영역 1에 슬롯 8을 제공하며, 두 슬롯 모두 PCIe Gen5 x16입니다. 이 조합을 통해 NUMA 영역당 세 개씩 총 여섯 개의 Gen5 x16 슬롯을 사용할 수 있으며, 동일한 HCA의 포트 간에 LNet 및 NVMe-oF 트래픽을 분산할 수 있습니다.
EF80 표준 구성 요소
EF80은 이번 솔루션 릴리스를 위한 검증된 표준 플랫폼입니다.
어레이 사양
다음 표는 빌딩 블록(두 개의 어레이)에 대한 EF80 어레이 사양을 나열합니다.
| 요소 | 사양 |
|---|---|
모델 |
NetApp EF80 |
폼 팩터 |
2U 기본 섀시, 24개의 내부 NVMe SSD 슬롯 |
컨트롤러 |
듀얼 컨트롤러(A 및 B) |
드라이브 |
어레이당 24개의 NVMe SSD |
입출력 연결성 |
검증된 Lustre 설계에서 어레이당 8× 200Gb NVMe/IB 또는 NVMe/RoCE 호스트 포트 |
EF80 플랫폼은 각 컨트롤러에 2포트 호스트 I/O 모듈 3개를 설치할 경우 어레이당 최대 12개의 호스트 포트를 지원합니다. 검증된 Lustre 설계는 슬롯 1과 2에 호스트 I/O 모듈을 사용하여 어레이당 8개의 호스트 포트를 제공합니다.
각 EF80 어레이는 컨트롤러 간 미러링을 위해 전용 슬롯 4 I/O 모듈을 사용합니다. 컨트롤러 A의 포트 4a를 컨트롤러 B의 포트 4a에, 컨트롤러 A의 포트 4b를 컨트롤러 B의 포트 4b에 연결하십시오. 이러한 연결은 캐시 미러링 및 I/O 전송을 제공하며 호스트 NVMe-oF 트래픽에는 사용되지 않습니다. 을 참조하십시오. "EF50 및 EF80 컨트롤러 간 미러링 연결 케이블 연결"
모든 모델의 EF-Series 전체 사양은 "NetApp EF 시리즈 올플래시 어레이 데이터시트"을 참조하십시오.
드라이브 레이아웃 (어레이당 24개 드라이브)
기본 구성 요소의 각 EF80 어레이는 24개의 NVMe 드라이브 슬롯을 모두 사용합니다.
-
MGS/MDT 저장소용 RAID 1 구성의 드라이브 4개 (공유 볼륨 그룹 또는 DDP 할당)
-
OST 저장소(첫 번째 OST 풀)용 RAID 6 구성의 드라이브 10개
-
OST 저장소(두 번째 OST 풀)용 RAID 6 구성의 드라이브 10개
이 레이아웃은 기존 볼륨 그룹에서 3.84TB, 7.68TB 또는 15.3TB 드라이브를 사용할 때 적용됩니다. 30.7TB 또는 61.4TB Capacity Flash(QLC) 드라이브를 사용하는 경우, 24개 드라이브 전체에 걸쳐 단일 Dynamic Disk Pool을 프로비저닝하고, MGS 및 MDT 볼륨에는 풀 내부에 RAID 1 볼륨을 생성하고, OST에는 기본 RAID 6 볼륨을 사용하십시오.
|
1.92TB 드라이브는 현재 이 솔루션에 권장되지 않습니다. 위에 나열된 검증된 드라이브 용량 중 하나를 사용하십시오. |
볼륨 및 타겟 수(기본 빌딩 블록)
다음 표는 기본 구성 요소에 대한 MGS, MDT 및 OST 수를 나열합니다.
| 대상 유형 | BB당 개수 | RAID/풀 | 참고 |
|---|---|---|---|
MGS |
1 |
RAID 1 |
기본 구성 요소만 해당; 배열 1 |
MDT |
8 |
RAID 1 |
배열당 4개 |
OST |
32 |
RAID 6(TLC) 또는 DDP(QLC) |
배열당 16개 |
Ansible 인벤토리의 시작점으로 다음 볼륨 사이징 지침을 사용하십시오.
| 용량 | 권장 크기 | 참고 |
|---|---|---|
MGS |
5–10 GiB |
구성 데이터만 |
MDT |
RAID 1 용량 ÷ MDT 개수 |
개당 약 1~2 TiB (일반적) |
OST |
RAID 6 또는 DDP 용량 ÷ 풀당 OST 개수 |
드라이브 용량에 따라 확장됩니다. 자세한 내용은 "사이즈 가이드"을 참조하십시오. |
기본 구성 요소 볼륨 배포
다음 그림은 기본 EF80 빌딩 블록에서 OSS/MDS 서버 노드와 E-Series 어레이 간의 Lustre 타겟 배치 및 NVMe-oF 연결 구성을 보여줍니다. 다이어그램에서 관리 타겟은 MGT(관리 타겟)로 표시되어 있으며, 하나의 MGT는 이 문서의 다른 부분에서 참조되는 MGS(관리 서버) 서비스를 호스팅합니다.
다음 표는 두 어레이에 걸쳐 볼륨이 어떻게 분산되는지, 그리고 각 대상이 어떤 서버를 선호하는지를 보여줍니다.
| 대상 유형 | 어레이 1 | 어레이 2 | Server 1 | 서버 2 | 참고 |
|---|---|---|---|---|---|
MGS |
1 |
0 |
1 |
0 |
기본 빌딩 블록만 해당 |
MDT |
4 |
4 |
4 |
4 |
각 서버는 각 어레이에서 2개의 MDT를 선호합니다. |
OST |
16 |
16 |
16 |
16 |
RAID 6 풀당 8개 × 어레이당 2개 풀 또는 이에 상응하는 DDP 할당 |
총 볼륨 |
21 |
20 |
21 |
20 |
스토리지 풀 선택: TLC vs QLC
어레이의 NVMe 드라이브 용량에 따라 E-Series 풀 유형을 선택하십시오.
-
3.84TB, 7.68TB 및 15.3TB 드라이브: OST 볼륨에는 *RAID 6 볼륨 그룹*을, MGS 및 MDT 볼륨에는 *RAID 1 볼륨 그룹*을 사용하거나 공유 드라이브 풀에 DDP를 사용하십시오.
-
30.7TB 및 61.4TB 용량의 플래시(QLC) 드라이브: *동적 디스크 풀(DDP)*만 사용하십시오. MGS 및 MDT 스토리지를 위해 DDP 내부에 RAID 1 볼륨을 생성하십시오. OST 스토리지를 위해 DDP에서 RAID 6 볼륨을 생성하십시오.
빌딩 블록별 드라이브 크기 및 레이아웃에 따른 사용 가능 용량 추정치는 "사이즈 가이드"을 참조하십시오.
네트워크 요구 사항
백엔드(NVMe-oF)
-
각 OSS/MDS 노드와 각 E-Series 어레이 간의 NVMe/InfiniBand 또는 NVMe/RoCE
-
NVMe/RoCE 백엔드 인터페이스의 MTU 9000(일반)
-
각 Lustre 노드에서 스토리지 어레이로 연결되는 경로는 총 8개입니다(어레이당 4개).
-
EF80은 노드당 6개의 HCA(NVMe-oF의 경우 i2, i3, i5 및 i6, LNet의 경우 i1 및 i4)를 사용합니다. 노드 A의 케이블을 레이블이
a`로 끝나는 컨트롤러 포트(예: `1a및2a)에 연결합니다. 노드 B의 케이블을 레이블이b`로 끝나는 컨트롤러 포트(예: `1b및2b)에 연결합니다. "EF80 6-HCA 백엔드 케이블링"을 참조하십시오.
프런트엔드(LNet)
-
LNet (
@o2ib네트워크 유형의 경우 IPoIB 또는 RoCE) -
RoCE 프런트엔드 인터페이스의 MTU 9000 (일반적인 경우)
-
프런트엔드 포트가 4개 사용 가능한 경우(EF80: i1 및 i4 HCA, 두 포트 모두) 멀티레일 LNet 사용을 권장합니다.
-
OSS/MDS 서버 노드와 Lustre 클라이언트를 연결하는 전용 InfiniBand 또는 RoCE 스위치 패브릭
-
RoCE 패브릭에는 무손실 RoCE(PFC)를 권장합니다.
관리
-
서버 BMC 및 어레이 관리 포트용 대역 외 관리 네트워크
-
전용 Corosync 네트워크 또는 공유 프런트엔드 패브릭(사이트에 따라 다름)