Splunk 아키텍처
변경 제안
PDF
이 섹션에서는 Splunk 아키텍처에 대해 설명합니다. 여기에는 주요 정의, Splunk 분산 배포, Splunk SmartStore, 데이터 흐름, 하드웨어 및 소프트웨어 요구 사항, 단일 및 다중 사이트 요구 사항 등이 포함됩니다.
주요 정의
다음 두 표에는 분산형 Splunk 배포에 사용되는 Splunk 및 NetApp 구성 요소가 나열되어 있습니다.
이 표에는 분산형 Splunk Enterprise 구성을 위한 Splunk 하드웨어 구성 요소가 나열되어 있습니다.
| Splunk 구성 요소 | 일 |
|---|---|
인덱서 |
Splunk Enterprise 데이터 저장소 |
유니버설 포워더 |
데이터 수집 및 인덱서에 데이터 전달을 담당합니다. |
검색 헤드 |
인덱서에서 데이터를 검색하는 데 사용되는 사용자 프런트 엔드 |
클러스터 마스터 |
인덱서 및 검색 헤드의 Splunk 설치를 관리합니다. |
모니터링 콘솔 |
전체 배포에 사용되는 중앙 모니터링 도구 |
라이센스 마스터 |
라이선스 마스터는 Splunk Enterprise 라이선스를 처리합니다. |
배포 서버 |
구성을 업데이트하고 앱을 처리 구성 요소에 배포합니다. |
저장 구성요소 |
일 |
NetApp AFF |
핫 티어 데이터를 관리하는 데 사용되는 올플래시 스토리지입니다. 로컬 스토리지라고도 함. |
NetApp StorageGRID |
웜 티어 데이터를 관리하는 데 사용되는 S3 개체 스토리지입니다. SmartStore에서 핫 티어와 웜 티어 간에 데이터를 이동하는 데 사용됩니다. 원격 저장소라고도 함. |
이 표는 Splunk 스토리지 아키텍처의 구성 요소를 나열합니다.
| Splunk 구성 요소 | 일 | 책임 구성 요소 |
|---|---|---|
스마트스토어 |
인덱서에게 로컬 스토리지에서 개체 스토리지로 데이터를 계층화하는 기능을 제공합니다. |
스플렁크 |
더운 |
유니버설 포워더가 새로 작성된 데이터를 저장하는 도착 지점입니다. 저장소는 쓰기가 가능하며, 데이터는 검색이 가능합니다. 이 데이터 계층은 일반적으로 SSD나 빠른 HDD로 구성됩니다. |
ONTAP |
캐시 관리자 |
인덱싱된 데이터의 로컬 캐시를 관리하고, 검색이 발생하면 원격 저장소에서 웜 데이터를 가져오고, 가장 덜 자주 사용되는 데이터를 캐시에서 제거합니다. |
스마트스토어 |
따뜻한 |
데이터는 논리적으로 버킷에 롤링되고, 먼저 핫 티어에서 웜 티어로 이름이 변경됩니다. 이 계층의 데이터는 보호되며, 핫 계층과 마찬가지로 더 큰 용량의 SSD나 HDD로 구성될 수 있습니다. 일반적인 데이터 보호 솔루션을 사용하여 증분 백업과 전체 백업이 모두 지원됩니다. |
StorageGRID |
Splunk 분산 배포
많은 컴퓨터에서 데이터가 생성되는 대규모 환경을 지원하려면 대량의 데이터를 처리해야 합니다. 많은 사용자가 데이터를 검색해야 하는 경우 Splunk Enterprise 인스턴스를 여러 컴퓨터에 분산하여 배포를 확장할 수 있습니다. 이를 분산 배포라고 합니다.
일반적인 분산 배포에서 각 Splunk Enterprise 인스턴스는 특수화된 작업을 수행하며 주요 처리 기능에 해당하는 3개의 처리 계층 중 하나에 상주합니다.
다음 표에는 Splunk Enterprise 처리 계층이 나열되어 있습니다.
| 층 | 요소 | 설명 |
|---|---|---|
데이터 입력 |
포워더 |
포워더는 데이터를 사용한 후 해당 데이터를 인덱서 그룹에 전달합니다. |
인덱싱 |
인덱서 |
인덱서는 일반적으로 여러 포워더로부터 수신하는 수신 데이터를 인덱싱합니다. 인덱서는 데이터를 이벤트로 변환하고 이벤트를 인덱스에 저장합니다. 인덱서는 검색 헤드의 검색 요청에 응답하여 인덱싱된 데이터를 검색합니다. |
검색 관리 |
검색 헤드 |
검색 헤드는 검색을 위한 중앙 리소스 역할을 합니다. 클러스터의 검색 헤드는 상호 교환이 가능하며 검색 헤드 클러스터의 모든 멤버에서 동일한 검색, 대시보드, 지식 개체 등에 액세스할 수 있습니다. |
다음 표는 분산형 Splunk Enterprise 환경에서 사용되는 중요한 구성 요소를 나열합니다.
| 요소 | 설명 | 책임 |
|---|---|---|
인덱스 클러스터 마스터 |
인덱서 클러스터의 활동 및 업데이트를 조정합니다. |
인덱스 관리 |
인덱스 클러스터 |
서로 데이터를 복제하도록 구성된 Splunk Enterprise 인덱서 그룹 |
인덱싱 |
검색 헤드 배포자 |
클러스터 마스터에 대한 배포 및 업데이트를 처리합니다. |
검색 헤드 관리 |
검색 헤드 클러스터 |
검색을 위한 중앙 리소스 역할을 하는 검색 헤드 그룹 |
검색 관리 |
로드 밸런서 |
클러스터된 구성 요소에서 검색 헤드, 인덱서 및 S3 대상의 증가하는 수요를 처리하여 클러스터된 구성 요소 전반에 걸쳐 부하를 분산하는 데 사용됩니다. |
클러스터된 구성 요소에 대한 로드 관리 |
Splunk Enterprise 분산 배포의 이점은 다음과 같습니다.
-
다양하거나 분산된 데이터 소스에 접근
-
모든 규모와 복잡성을 갖춘 기업의 데이터 요구 사항을 처리할 수 있는 기능을 제공합니다.
-
데이터 복제 및 다중 사이트 배포를 통해 고가용성을 달성하고 재해 복구를 보장합니다.
스플렁크 스마트스토어
SmartStore는 Amazon S3와 같은 원격 객체 저장소가 인덱싱된 데이터를 저장할 수 있도록 하는 인덱서 기능입니다. 배포의 데이터 볼륨이 증가함에 따라 일반적으로 스토리지에 대한 수요가 컴퓨팅 리소스에 대한 수요를 앞지릅니다. SmartStore를 사용하면 리소스를 별도로 확장하여 인덱서 스토리지와 컴퓨팅 리소스를 비용 효율적으로 관리할 수 있습니다.
SmartStore는 원격 스토리지 계층과 캐시 관리자를 소개합니다. 이러한 기능을 사용하면 데이터를 인덱서의 로컬 저장소나 원격 저장소 계층에 저장할 수 있습니다. 캐시 관리자는 인덱서와 인덱서에 구성된 원격 스토리지 계층 간의 데이터 이동을 관리합니다.
SmartStore를 사용하면 인덱서 저장소 공간을 최소한으로 줄이고 I/O 최적화된 컴퓨팅 리소스를 선택할 수 있습니다. 대부분의 데이터는 원격 저장소에 저장됩니다. 인덱서는 최소한의 데이터(핫 버킷, 활성 또는 최근 검색에 참여하는 웜 버킷의 복사본, 버킷 메타데이터)가 포함된 로컬 캐시를 유지 관리합니다.
Splunk SmartStore 데이터 흐름
다양한 소스에서 들어오는 데이터가 인덱서에 도달하면 데이터는 인덱싱되어 핫 버킷에 로컬로 저장됩니다. 인덱서는 핫 버킷 데이터를 대상 인덱서에 복제하기도 합니다. 지금까지 데이터 흐름은 SmartStore가 아닌 인덱스의 데이터 흐름과 동일합니다.
뜨거운 양동이가 따뜻해지는 경우, 데이터 흐름이 갈라집니다. 소스 인덱서는 기존 복사본을 캐시에 남겨두고 따뜻한 버킷을 원격 개체 저장소(원격 스토리지 계층)에 복사합니다. 이는 검색이 최근에 인덱싱된 데이터를 대상으로 실행되는 경향이 있기 때문입니다. 그러나 원격 저장소는 여러 개의 로컬 복사본을 유지하지 않고도 높은 가용성을 제공하므로 대상 인덱서는 자신의 복사본을 삭제합니다. 버킷의 마스터 사본은 이제 원격 저장소에 있습니다.
다음 이미지는 Splunk SmartStore 데이터 흐름을 보여줍니다.
인덱서의 캐시 관리자는 SmartStore 데이터 흐름의 핵심입니다. 검색 요청을 처리하기 위해 필요에 따라 원격 저장소에서 버킷 사본을 가져옵니다. 또한, 검색에 참여할 가능성이 시간이 지남에 따라 감소하기 때문에 오래되었거나 검색 빈도가 낮은 버킷 사본을 캐시에서 제거합니다.
캐시 관리자의 역할은 사용 가능한 캐시의 사용을 최적화하는 동시에 검색에서 필요한 버킷에 즉시 액세스할 수 있도록 하는 것입니다.
소프트웨어 요구 사항
아래 표에는 솔루션을 구현하는 데 필요한 소프트웨어 구성 요소가 나열되어 있습니다. 솔루션 구현에 사용되는 소프트웨어 구성 요소는 고객 요구 사항에 따라 달라질 수 있습니다.
| 제품군 | 제품명 | 제품 버전 | 운영 체제 |
|---|---|---|---|
NetApp StorageGRID |
StorageGRID 객체 스토리지 |
11.6 |
해당 없음 |
센트OS |
센트OS |
8.1 |
센트OS 7.x |
스플렁크 엔터프라이즈 |
SmartStore가 포함된 Splunk Enterprise |
8.0.3 |
센트OS 7.x |
단일 및 다중 사이트 요구 사항
데이터가 여러 컴퓨터에서 생성되고 많은 사용자가 데이터를 검색해야 하는 Enterprise Splunk 환경(중간 및 대규모 배포)에서는 Splunk Enterprise 인스턴스를 단일 및 여러 사이트에 분산하여 배포를 확장할 수 있습니다.
Splunk Enterprise 분산 배포의 이점은 다음과 같습니다.
-
다양하거나 분산된 데이터 소스에 접근
-
모든 규모와 복잡성을 갖춘 기업의 데이터 요구 사항을 처리할 수 있는 기능을 제공합니다.
-
데이터 복제 및 다중 사이트 배포를 통해 고가용성을 달성하고 재해 복구를 보장합니다.
다음 표는 분산형 Splunk Enterprise 환경에서 사용되는 구성 요소를 나열합니다.
| 요소 | 설명 | 책임 |
|---|---|---|
인덱스 클러스터 마스터 |
인덱서 클러스터의 활동 및 업데이트를 조정합니다. |
인덱스 관리 |
인덱스 클러스터 |
서로의 데이터를 복제하도록 구성된 Splunk Enterprise 인덱서 그룹 |
인덱싱 |
검색 헤드 배포자 |
클러스터 마스터에 대한 배포 및 업데이트를 처리합니다. |
검색 헤드 관리 |
검색 헤드 클러스터 |
검색을 위한 중앙 리소스 역할을 하는 검색 헤드 그룹 |
검색 관리 |
로드 밸런서 |
클러스터된 구성 요소에서 검색 헤드, 인덱서 및 S3 대상의 증가하는 수요를 처리하여 클러스터된 구성 요소 전반에 걸쳐 부하를 분산하는 데 사용됩니다. |
클러스터된 구성 요소에 대한 로드 관리 |
이 그림은 단일 사이트 분산 배포의 예를 보여줍니다.
이 그림은 다중 사이트 분산 배포의 예를 보여줍니다.
하드웨어 요구 사항
다음 표에는 솔루션을 구현하는 데 필요한 최소 하드웨어 구성 요소 수가 나열되어 있습니다. 솔루션의 특정 구현에 사용되는 하드웨어 구성 요소는 고객 요구 사항에 따라 달라질 수 있습니다.
|
Splunk SmartStore와 StorageGRID 단일 사이트에 배포했든 여러 사이트에 배포했든 모든 시스템은 단일 창에서 StorageGRID GRID Manager를 통해 관리됩니다. 자세한 내용은 "Grid Manager를 사용한 간편한 관리" 섹션을 참조하세요. |
이 표는 단일 사이트에 사용된 하드웨어를 나열합니다.
| 하드웨어 | 수량 | 디스크 | 사용 가능 용량 | 참고 |
|---|---|---|---|---|
StorageGRID SG1000 |
1 |
해당 없음 |
해당 없음 |
관리 노드 및 로드 밸런서 |
StorageGRID SG6060 |
4 |
x48, 8TB(NL-SAS HDD) |
1PB |
원격 저장소 |
이 표는 다중 사이트 구성에 사용되는 하드웨어를 나열합니다(사이트별).
| 하드웨어 | 수량 | 디스크 | 사용 가능 용량 | 참고 |
|---|---|---|---|---|
StorageGRID SG1000 |
2 |
해당 없음 |
해당 없음 |
관리 노드 및 로드 밸런서 |
StorageGRID SG6060 |
4 |
x48, 8TB(NL-SAS HDD) |
1PB |
원격 저장소 |
NetApp StorageGRID 로드 밸런서: SG1000
개체 스토리지에는 클라우드 스토리지 네임스페이스를 제공하기 위해 로드 밸런서를 사용해야 합니다. StorageGRID F5 및 Citrix와 같은 주요 공급업체의 타사 로드 밸런서를 지원하지만 많은 고객은 단순성, 복원력 및 고성능을 위해 엔터프라이즈급 StorageGRID 밸런서를 선택합니다. StorageGRID 로드 밸런서는 VM, 컨테이너 또는 특수 목적 어플라이언스로 사용할 수 있습니다.
StorageGRID SG1000은 S3 데이터 경로 연결을 위한 고가용성(HA) 그룹과 지능형 부하 분산을 쉽게 사용할 수 있도록 해줍니다. 다른 온프레미스 개체 스토리지 시스템은 사용자 정의형 로드 밸런서를 제공하지 않습니다.
SG1000 어플라이언스는 다음과 같은 기능을 제공합니다.
-
StorageGRID 시스템을 위한 로드 밸런서 및 선택적으로 관리 노드 기능
-
노드 배포 및 구성을 단순화하는 StorageGRID Appliance 설치 프로그램
-
S3 엔드포인트 및 SSL의 간소화된 구성
-
전용 대역폭(다른 애플리케이션과 타사 로드 밸런서를 공유하는 것과 대비)
-
최대 4 x 100Gbps의 총 이더넷 대역폭
다음 이미지는 SG1000 Gateway Services 어플라이언스를 보여줍니다.
SG6060
StorageGRID SG6060 어플라이언스에는 컴퓨팅 컨트롤러(SG6060)와 스토리지 컨트롤러 셸프(E-Series E2860)가 포함되어 있으며, 스토리지 컨트롤러 셸프에는 스토리지 컨트롤러 2개와 드라이브 60개가 들어 있습니다. 이 기기는 다음과 같은 기능을 제공합니다.
-
단일 네임스페이스에서 최대 400PB까지 확장 가능합니다.
-
최대 4x 25Gbps의 총 이더넷 대역폭.
-
노드 배포 및 구성을 단순화하기 위해 StorageGRID Appliance Installer가 포함되어 있습니다.
-
각 SG6060 어플라이언스는 1~2개의 추가 확장 선반을 장착하여 총 180개의 드라이브를 장착할 수 있습니다.
-
스토리지 컨트롤러 장애 조치 지원을 제공하기 위한 2개의 E-시리즈 E2800 컨트롤러(듀플렉스 구성)
-
60개의 3.5인치 드라이브(2개의 솔리드 스테이트 드라이브와 58개의 NL-SAS 드라이브)를 보관할 수 있는 5개 서랍 드라이브 선반입니다.
다음 이미지는 SG6060 기기를 보여줍니다.
스플렁크 디자인
다음 표에는 단일 사이트에 대한 Splunk 구성이 나열되어 있습니다.
| Splunk 구성 요소 | 일 | 수량 | 코어 | 메모리 | 운영 체제 |
|---|---|---|---|---|---|
유니버설 포워더 |
데이터 수집 및 인덱서에 데이터 전달을 담당합니다. |
4 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
인덱서 |
사용자 데이터를 관리합니다 |
10 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
검색 헤드 |
사용자 프런트 엔드는 인덱서에서 데이터를 검색합니다. |
3 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
검색 헤드 배포자 |
검색 헤드 클러스터에 대한 업데이트를 처리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
클러스터 마스터 |
Splunk 설치 및 인덱서를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
모니터링 콘솔 및 라이센스 마스터 |
Splunk 배포 전체에 대한 중앙 모니터링을 수행하고 Splunk 라이선스를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
다음 표에서는 다중 사이트 구성을 위한 Splunk 구성을 설명합니다.
이 표는 다중 사이트 구성(사이트 A)에 대한 Splunk 구성을 나열합니다.
| Splunk 구성 요소 | 일 | 수량 | 코어 | 메모리 | 운영 체제 |
|---|---|---|---|---|---|
유니버설 포워더 |
데이터를 수집하고 인덱서에게 데이터를 전달하는 역할을 담당합니다. |
4 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
인덱서 |
사용자 데이터를 관리합니다 |
10 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
검색 헤드 |
사용자 프런트 엔드는 인덱서에서 데이터를 검색합니다. |
3 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
검색 헤드 배포자 |
검색 헤드 클러스터에 대한 업데이트를 처리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
클러스터 마스터 |
Splunk 설치 및 인덱서를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
모니터링 콘솔 및 라이센스 마스터 |
Splunk 배포 전체에 대한 중앙 모니터링을 수행하고 Splunk 라이선스를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
이 표는 다중 사이트 구성(사이트 B)에 대한 Splunk 구성을 나열합니다.
| Splunk 구성 요소 | 일 | 수량 | 코어 | 메모리 | 운영 체제 |
|---|---|---|---|---|---|
유니버설 포워더 |
데이터 수집 및 인덱서에 데이터 전달을 담당합니다. |
4 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
인덱서 |
사용자 데이터를 관리합니다 |
10 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
검색 헤드 |
사용자 프런트 엔드는 인덱서에서 데이터를 검색합니다. |
3 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
클러스터 마스터 |
Splunk 설치 및 인덱서를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |
모니터링 콘솔 및 라이센스 마스터 |
Splunk 배포 전체에 대한 중앙 모니터링을 수행하고 Splunk 라이선스를 관리합니다. |
1 |
16개의 코어 |
32GB 램 |
센트OS 8.1 |