시작하십시오
모범 사례를 검토합니다
변경 제안
PDF
NetApp 솔루션에 BeeGFS를 구축할 때는 모범 사례 지침을 따르십시오.
표준 규약
Ansible 인벤토리 파일을 물리적으로 조립하고 생성할 때는 다음 표준 규칙을 따르십시오(자세한 내용은 을 참조하십시오 "Ansible 인벤토리를 작성합니다")를 클릭합니다.
-
파일 노드 호스트 이름은 랙 상단에 더 적은 숫자가 있고 하단에 더 높은 숫자가 있는 순서대로 번호가 지정됩니다(H01-HN).
예를 들어, 이름 지정 규칙 '[location][row][rack]hN'은 'ictad22h01'과 같습니다.
-
각 블록 노드는 각각 고유한 호스트 이름을 가진 두 개의 스토리지 컨트롤러로 구성됩니다.
스토리지 어레이 이름은 Ansible 인벤토리의 일부로 전체 블록 스토리지 시스템을 나타내는 데 사용됩니다. 스토리지 배열 이름은 순서대로 번호(A01-AN)로 지정되어야 하며, 개별 컨트롤러의 호스트 이름은 해당 명명 규칙에서 파생됩니다.
예를 들어, "ictad22a01"이라는 블록 노드는 일반적으로 "ictad22a01-a"와 "ictad22a01-b"와 같이 각 컨트롤러에 대해 구성된 호스트 이름을 가질 수 있지만, Ansible 재고에서는 "ictad22a01"이라고 합니다.
-
동일한 빌딩 블록 내의 파일 및 블록 노드는 동일한 번호 지정 체계를 공유하며, 랙의 서로 인접해 있으며 두 파일 노드 모두 위에 있고 두 블록 노드 바로 아래에 있습니다.
예를 들어 첫 번째 빌딩 블록에서 파일 노드 H01 및 H02는 모두 블록 노드 A01 및 A02에 직접 연결됩니다. 위에서 아래로 호스트 이름은 H01, H02, A01 및 A02입니다.
-
빌딩 블록은 호스트 이름을 기준으로 순차적으로 설치되므로 번호가 낮은 호스트 이름은 랙 상단에, 번호가 높은 호스트 이름은 하단에 표시됩니다.
이는 랙 스위치 상단으로 연결되는 케이블의 길이를 최소화하고 문제 해결을 단순화하기 위한 표준 배포 방법을 정의하는 것입니다. 랙 안정성 문제로 인해 이것이 허용되지 않는 데이터 센터의 경우, 맨 아래부터 랙을 채우는 역작업이 허용됩니다.
InfiniBand 스토리지 네트워크 구성
각 파일 노드의 InfiniBand 포트 중 절반은 블록 노드에 직접 연결하는 데 사용됩니다. 나머지 절반은 InfiniBand 스위치에 연결되며 BeeGFS 클라이언트-서버 연결에 사용됩니다. BeeGFS 클라이언트 및 서버에 사용되는 IPoIB 서브넷의 크기를 결정할 때 예상되는 컴퓨팅/GPU 클러스터 및 BeeGFS 파일 시스템 확장을 고려해야 합니다. 권장 IP 범위를 벗어나야 하는 경우, 단일 빌딩 블록의 각 직접 접속은 고유한 서브넷을 가지며 클라이언트-서버 접속에 사용되는 서브넷과 중복되지 않는다는 점에 유의하십시오.
직접 연결
각 빌딩 블록 내의 파일 및 블록 노드는 항상 직접 연결에 다음 표의 IP를 사용합니다.
|
이 주소 지정 체계는 다음 규칙을 따릅니다. 세 번째 옥텟은 항상 홀수이거나 짝수이며, 이는 파일 노드가 홀수인지 아니면 짝수인지에 따라 다릅니다. |
| 파일 노드 | IB 포트 | IP 주소입니다 | 블록 노드 | IB 포트 | 물리적 IP | 가상 IP |
|---|---|---|---|---|---|---|
홀수(h1) |
i1a |
192.168.1.10 |
홀수(C1) |
2A |
192.168.1.100 |
192.168.1.101 |
홀수(h1) |
i2a |
192.168.3.10 |
홀수(C1) |
2A |
192.168.3.100 |
192.168.3.101 |
홀수(h1) |
i3a |
192.168.5.10 |
짝수(C2) |
2A |
192.168.5.100 |
192.168.5.101 |
홀수(h1) |
i4a |
192.168.7.10 |
짝수(C2) |
2A |
192.168.7.100 |
192.168.7.101 |
짝수(H2) |
i1a |
192.168.2.10 |
홀수(C1) |
2B |
192.168.2.100 |
192.168.2.101 |
짝수(H2) |
i2a |
192.168.4.10 |
홀수(C1) |
2B |
192.168.4.100 |
192.168.4.101 |
짝수(H2) |
i3a |
192.168.6.10 |
짝수(C2) |
2B |
192.168.6.100 |
192.168.6.101 |
짝수(H2) |
i4a |
192.168.8.10 |
짝수(C2) |
2B |
192.168.8.100 |
192.168.8.101 |
BeeGFS 클라이언트-서버 IPoIB 주소 지정 체계(서브넷 2개)
BeeGFS 클라이언트가 두 개의 InfiniBand 포트를 사용할 수 있도록 하려면 각 서브넷에서 기본 IP로 구성된 BeeGFS 서버 서비스의 절반을 사용하여 IPoIB 서브넷 두 개가 필요합니다. 이를 통해 클라이언트가 두 개의 InfiniBand 포트를 사용하여 파일 시스템에 대한 이중화 및 처리량을 극대화할 수 있습니다.
각 파일 노드에서 여러 BeeGFS 서버 서비스(관리, 메타데이터 또는 스토리지)를 실행합니다. 각 서비스가 다른 파일 노드로 독립적으로 페일오버할 수 있도록 각 서비스마다 고유한 IP 주소가 구성되며 이 주소는 두 노드 간에 자유롭게 움직일 수 있습니다(LIF라고도 함).
필수 사항은 아니지만 이 구축 환경에서 이러한 연결에 다음 IPoIB 서브넷 범위가 사용 중인 것으로 가정하며 다음 규칙을 적용하는 표준 주소 지정 체계를 정의합니다.
-
두 번째 옥텟은 파일 노드 InfiniBand 포트가 홀수인지 또는 짝수인지에 따라 항상 홀수이거나 짝수 입니다.
-
BeeGFS 클러스터 IP는 항상 xxx입니다. 127.100.yyy 또는 xxx.128.100.yyy.
|
|
대역 내 OS 관리에 사용되는 인터페이스 외에도 클러스터 심장 박동 및 동기화를 위한 Corosync에서 추가 인터페이스를 사용할 수 있습니다. 따라서 단일 인터페이스가 손실되어도 전체 클러스터가 다운되지 않습니다. |
-
BeeGFS Management 서비스는 항상 xxx.yyy.101.0 또는 xxx.yyy.102.0 중 입니다.
-
BeeGFS 메타데이터 서비스는 항상 xxx.yyy.101.zzz 또는 xxx.yyy.102.zzz입니다.
-
BeeGFS 스토리지 서비스는 항상 xxx.yyy.103.zzz 또는 xxx.yyy.103.zzz로 제공됩니다.
-
100.xxx.1.1 ~ 100.xxx.99.255 범위의 주소는 고객용으로 예약되어 있습니다.
다음 표에는 서브넷 A:100.127.0.0/16의 범위가 나와 있습니다.
| 목적 | InfiniBand 포트입니다 | IP 주소 또는 범위입니다 |
|---|---|---|
BeeGFS 클러스터 IP입니다 |
i1b |
100.127.100.1-100.127.100.255 |
BeeGFS 관리 |
i1b |
100.127.101.0 |
BeeGFS 메타데이터 |
i1b 또는 i3b |
100.127.101.1 - 100.127.101.255 |
BeeGFS 스토리지 |
i1b 또는 i3b |
100.127.103.1 - 100.127.103.255 |
BeeGFS 클라이언트 |
(클라이언트에 따라 다름) |
100.127.1.1 - 100.127.99.255 |
다음 표에는 서브넷 B:100.128.0.0/16의 범위가 나와 있습니다.
| 목적 | InfiniBand 포트입니다 | IP 주소 또는 범위입니다 |
|---|---|---|
BeeGFS 클러스터 IP입니다 |
i4b |
100.128.100.1-100.128.100.255 |
BeeGFS 관리 |
i2b |
100.128.102.0 |
BeeGFS 메타데이터 |
i2b 또는 i4b |
100.128.102.1-100.128.102.255 |
BeeGFS 스토리지 |
i2b 또는 i4b |
100.128.104.1 - 100.128.104.255 |
BeeGFS 클라이언트 |
(클라이언트에 따라 다름) |
100.128.1.1-100.128.99.255 |
|
|
위 범위에 있는 모든 IP가 이 NetApp 검증 아키텍처에 사용되는 것은 아닙니다. 또한 IP 주소를 사전 할당하여 일관된 IP 주소 지정 체계를 사용하여 파일 시스템을 쉽게 확장할 수 있는 방법을 보여 줍니다. 이 스키마에서는 BeeGFS 파일 노드 및 서비스 ID가 잘 알려진 IP 범위의 네 번째 옥텟과 일치합니다. 필요한 경우 파일 시스템을 255개 노드 또는 서비스 이상으로 확장할 수 있습니다. |