Skip to main content
NetApp Solutions
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

Splunk 아키텍처

기여자

이 섹션에서는 Splunk 아키텍처와 관련한 주요 정의, Splunk 분산 구축, Splunk SmartStore, 데이터 흐름, 하드웨어/소프트웨어 요구사항, 단일 및 다중 사이트 요구사항 등

키 정의

다음 두 표에는 Splunk 구축 시 사용되는 Splunk 및 NetApp 구성요소가 나와 있습니다.

이 표에는 분산형 Splunk Enterprise 구성을 위한 Splunk 하드웨어 구성요소가 나와 있습니다.

Splunk 구성 요소 작업

인덱서

Splunk Enterprise 데이터를 위한 저장소입니다

범용 포워더

데이터를 수집하여 인덱서에 데이터를 전달하는 역할을 합니다

검색 헤드

인덱서의 데이터를 검색하는 데 사용되는 사용자 프런트 엔드

클러스터 마스터

인덱서와 검색 헤드의 Splunk 설치를 관리합니다

모니터링 콘솔

전체 구축 환경에서 사용되는 중앙 집중식 모니터링 툴입니다

라이선스 마스터

라이센스 마스터는 Splunk Enterprise 라이센스를 처리합니다

배포 서버

구성을 업데이트하고 애플리케이션을 처리 구성 요소에 배포합니다

스토리지 구성 요소

작업

NetApp AFF를 참조하십시오

핫 계층 데이터를 관리하는 데 사용되는 All-Flash 스토리지입니다. 로컬 스토리지라고도 합니다.

NetApp StorageGRID를 참조하십시오

계층 데이터를 관리하는 데 사용되는 S3 오브젝트 스토리지 SmartStore에서 핫 계층과 웜 계층 간에 데이터를 이동하는 데 사용됩니다. 원격 스토리지라고도 합니다.

이 표에는 Splunk 스토리지 아키텍처의 구성요소가 나와 있습니다.

Splunk 구성 요소 작업 책임 구성 요소

스마트 스토어

인덱서에 로컬 스토리지의 데이터를 오브젝트 스토리지로 계층화할 수 있는 기능을 제공합니다.

더 효율적인 데이터 센터

유니버설 포워더(Universal Forwarders)가 새로 작성된 데이터를 배치하는 착륙장. 스토리지는 쓰기 가능하며 데이터는 검색 가능합니다. 이 데이터 계층은 일반적으로 SSD 또는 고속 HDD로 구성됩니다.

ONTAP

캐시 관리자

인덱싱된 데이터의 로컬 캐시를 관리하고, 검색 시 원격 스토리지에서 웜 데이터를 가져오고, 캐시에서 가장 자주 사용되지 않는 데이터를 제거됩니다.

스마트 스토어

따뜻합니다

데이터는 버킷에 논리적으로 롤링되며, 핫 계층에서 먼저 웜 계층으로 이름이 변경됩니다. 이 계층 내의 데이터는 보호되며 핫 계층과 마찬가지로 대용량 SSD 또는 HDD로 구성될 수 있습니다. 공통 데이터 보호 솔루션을 사용하면 증분 백업과 전체 백업이 모두 지원됩니다.

StorageGRID

Splunk 분산 배포

많은 시스템에서 데이터가 생성되는 대규모 환경을 지원하려면 대용량 데이터를 처리해야 합니다. 많은 사용자가 데이터를 검색해야 하는 경우 Splunk Enterprise 인스턴스를 여러 시스템에 배포하여 배포를 확장할 수 있습니다. 이를 분산 배포라고 합니다.

일반적인 분산 구축에서 각 Splunk Enterprise 인스턴스는 특화된 작업을 수행하며 주요 처리 기능에 해당하는 세 가지 처리 계층 중 하나에 상주합니다.

다음 표에는 Splunk Enterprise 처리 계층이 나와 있습니다.

계층 구성 요소 설명

데이터 입력

운송주선인

전달자는 데이터를 소비한 다음 데이터를 인덱서 그룹으로 전달합니다.

인덱싱

인덱서

인덱서는 일반적으로 전달자 그룹에서 받는 들어오는 데이터를 인덱싱합니다. 인덱서를 사용하면 데이터가 이벤트로 변환되고 이벤트가 인덱스에 저장됩니다. 인덱서도 검색 헤드에서 검색 요청에 대한 응답으로 인덱싱된 데이터를 검색합니다.

검색 관리

검색 헤드

검색 헤드는 검색을 위한 중앙 리소스 역할을 합니다. 클러스터의 검색 헤드는 상호 교환이 가능하며 검색 헤드 클러스터의 모든 구성원으로부터 동일한 검색, 대시보드, 지식 개체 등에 액세스할 수 있습니다.

다음 표에는 분산 Splunk Enterprise 환경에서 사용되는 주요 구성요소가 나와 있습니다.

구성 요소 설명 책임

인덱스 클러스터 마스터입니다

인덱서 클러스터의 활동 및 업데이트를 조정합니다

인덱스 관리

인덱스 클러스터

데이터를 서로 복제하도록 구성된 Splunk Enterprise 인덱서의 그룹입니다

인덱싱

검색 헤드 배포자

클러스터 마스터에 대한 배포 및 업데이트를 처리합니다

검색 헤드 관리

검색 헤드 클러스터

검색을 위한 중앙 리소스 역할을 하는 검색 헤드 그룹입니다

검색 관리

부하 분산 장치

클러스터 구성 요소에서 사용되어 클러스터 구성 요소 간에 로드를 분산하기 위해 검색 헤드, 인덱서 및 S3 대상을 통해 증가하는 수요를 처리합니다.

클러스터링된 구성 요소에 대한 로드 관리

Splunk Enterprise 분산 구축의 다음과 같은 이점을 알아보십시오.

  • 다양한 데이터 소스 또는 분산된 데이터 소스에 액세스

  • 규모와 복잡성에 관계없이 기업의 데이터 요구사항을 처리할 수 있는 기능을 제공합니다

  • 데이터 복제 및 다중 사이트 구축을 통해 고가용성을 실현하고 재해 복구를 보장합니다

Splunk SmartStore를 참조하십시오

SmartStore는 Amazon S3와 같은 원격 오브젝트 저장소에서 인덱싱된 데이터를 저장할 수 있는 인덱서 기능입니다. 배포의 데이터 볼륨이 증가하면 일반적으로 스토리지 수요가 컴퓨팅 리소스에 대한 수요보다 앞입니다. SmartStore를 사용하면 개별 리소스를 확장하여 인덱서 스토리지를 관리하고 컴퓨팅 리소스를 비용 효율적으로 관리할 수 있습니다.

SmartStore는 원격 스토리지 계층과 캐시 관리자를 도입했습니다. 이러한 기능을 통해 데이터는 인덱서 또는 원격 스토리지 계층에 로컬로 상주할 수 있습니다. 캐시 관리자는 인덱서와 인덱서에 구성된 원격 스토리지 계층 간의 데이터 이동을 관리합니다.

SmartStore를 사용하면 인덱서 스토리지 공간을 최소한으로 줄이고 I/O에 최적화된 컴퓨팅 리소스를 선택할 수 있습니다. 대부분의 데이터는 원격 스토리지에 있습니다. 인덱서를 사용하면 핫 버킷, 활성 또는 최근 검색에 사용되는 웜 버킷 복제본, 버킷 메타데이터 등 최소한의 데이터가 포함된 로컬 캐시를 유지할 수 있습니다.

Splunk SmartStore 데이터 흐름

다양한 소스에서 들어오는 데이터가 인덱서에 도달하면 데이터가 인덱싱되어 핫 버킷에 로컬로 저장됩니다. 인덱서는 또한 핫 버킷 데이터를 타겟 인덱서에 복제합니다. 지금까지 데이터 흐름은 비 SmartStore 인덱스의 데이터 흐름과 동일합니다.

핫 버킷이 웜(Warm)으로 롤링되면 데이터 흐름은 분기됩니다. 소스 인덱서를 사용하면 웜 버킷이 원격 객체 저장소(원격 스토리지 계층)에 복제되는 동시에 기존 복제본이 캐시에 남아 있게 됩니다. 이는 검색이 최근에 인덱싱된 데이터에 걸쳐 실행되는 경향이 있기 때문입니다. 그러나 원격 저장소가 여러 로컬 복제본을 유지 관리하지 않고 고가용성을 제공하므로 타겟 인덱서는 복제본을 삭제합니다. 이제 버켓의 마스터 카피가 원격 저장소에 상주합니다.

다음 이미지는 Splunk SmartStore 데이터 흐름을 보여줍니다.

오류: 그래픽 이미지가 없습니다

인덱서의 캐시 관리자는 SmartStore 데이터 흐름의 핵심입니다. 검색 요청을 처리하는 데 필요한 경우 원격 저장소에서 버킷 복사본을 가져옵니다. 또한 검색에 참여할 가능성이 시간이 지남에 따라 줄어들기 때문에 캐시에서 버킷 복사본이 오래되거나 적게 검색됩니다.

캐시 관리자의 작업은 사용 가능한 캐시의 사용을 최적화하는 동시에 검색에 필요한 버킷에 즉시 액세스할 수 있도록 하는 것입니다.

소프트웨어 요구 사항

아래 표에는 솔루션을 구현하는 데 필요한 소프트웨어 구성요소가 나와 있습니다. 솔루션 구현에 사용되는 소프트웨어 구성요소는 고객 요구사항에 따라 다를 수 있습니다.

제품군 제품 이름 제품 버전 운영 체제

NetApp StorageGRID를 참조하십시오

StorageGRID 오브젝트 스토리지

11.6

해당 없음

CentOS

CentOS

8.1

CentOS 7.x

Splunk Enterprise

Splunk Enterprise 및 SmartStore

8.0.3

CentOS 7.x

단일 및 다중 사이트 요구 사항

데이터가 많은 시스템에서 발생하며 많은 사용자가 데이터를 검색해야 하는 엔터프라이즈 Splunk 환경(중간 규모 및 대규모 구축)에서는 단일 및 여러 사이트에 Splunk Enterprise 인스턴스를 배포하여 배포를 확장할 수 있습니다.

Splunk Enterprise 분산 구축의 다음과 같은 이점을 알아보십시오.

  • 다양한 데이터 소스 또는 분산된 데이터 소스에 액세스

  • 규모와 복잡성에 관계없이 기업의 데이터 요구사항을 처리할 수 있는 기능을 제공합니다

  • 데이터 복제 및 다중 사이트 구축을 통해 고가용성을 실현하고 재해 복구를 보장합니다

다음 표에는 분산 Splunk Enterprise 환경에서 사용되는 구성요소가 나와 있습니다.

구성 요소 설명 책임

인덱스 클러스터 마스터입니다

인덱서 클러스터의 활동 및 업데이트를 조정합니다

인덱스 관리

인덱스 클러스터

서로 데이터를 복제하도록 구성된 Splunk Enterprise 인덱서의 그룹입니다

인덱싱

검색 헤드 배포자

클러스터 마스터에 대한 배포 및 업데이트를 처리합니다

검색 헤드 관리

검색 헤드 클러스터

검색을 위한 중앙 리소스 역할을 하는 검색 헤드 그룹입니다

검색 관리

부하 분산 장치

클러스터 구성 요소에서 사용되어 클러스터 구성 요소 간에 로드를 분산하기 위해 검색 헤드, 인덱서 및 S3 대상을 통해 증가하는 수요를 처리합니다.

클러스터링된 구성 요소에 대한 로드 관리

이 그림은 단일 사이트 분산 배포의 예를 보여 줍니다.

오류: 그래픽 이미지가 없습니다

이 그림은 다중 사이트 분산 구축의 예를 보여 줍니다.

오류: 그래픽 이미지가 없습니다

하드웨어 요구 사항

다음 표에는 솔루션을 구현하는 데 필요한 최소 하드웨어 구성 요소 수가 나와 있습니다. 특정 솔루션 구현에 사용되는 하드웨어 구성요소는 고객 요구사항에 따라 다를 수 있습니다.

참고 단일 사이트 또는 여러 사이트에 Splunk SmartStore 및 StorageGRID를 구축했는지와 관계없이 모든 시스템은 단일 창에서 StorageGRID 그리드 관리자에서 관리됩니다. 자세한 내용은 "Grid Manager를 사용한 간단한 관리" 섹션을 참조하십시오.

이 표에는 단일 사이트에 사용되는 하드웨어가 나열되어 있습니다.

하드웨어 수량 디스크 사용 가능한 용량 참고

StorageGRID SG1000

1

해당 없음

해당 없음

관리 노드 및 로드 밸런서

StorageGRID SG6060

4

X48, 8TB(NL-SAS HDD)

1PB

원격 스토리지

이 표에는 사이트별 다중 사이트 구성에 사용되는 하드웨어가 나와 있습니다.

하드웨어 수량 디스크 사용 가능한 용량 참고

StorageGRID SG1000

2

해당 없음

해당 없음

관리 노드 및 로드 밸런서

StorageGRID SG6060

4

X48, 8TB(NL-SAS HDD)

1PB

원격 스토리지

NetApp StorageGRID 로드 밸런서: SG1000

오브젝트 스토리지에는 클라우드 스토리지 네임스페이스를 제공하는 로드 밸런서가 필요합니다. StorageGRID는 F5 및 Citrix와 같은 주요 공급업체의 타사 로드 밸런싱 장치를 지원하지만 많은 고객이 단순성, 복원력 및 고성능을 위해 엔터프라이즈급 StorageGRID 밸런서를 선택합니다. StorageGRID 로드 밸런서는 VM, 컨테이너 또는 특수 제작된 어플라이언스로 사용할 수 있습니다.

StorageGRID SG1000은 S3 데이터 경로 연결을 위한 고가용성(HA) 그룹 및 지능형 로드 밸런싱을 손쉽게 사용합니다. 다른 온프레미스 오브젝트 스토리지 시스템은 맞춤형 로드 밸런서를 제공하지 않습니다.

SG1000 어플라이언스는 다음과 같은 기능을 제공합니다.

  • 로드 밸런서와 선택적으로 StorageGRID 시스템에 대한 관리 노드가 작동합니다

  • 노드 배포 및 구성을 간소화하는 StorageGRID 어플라이언스 설치 프로그램

  • S3 엔드포인트 및 SSL의 간편한 구성

  • 전용 대역폭(타사 로드 밸런싱 장치를 다른 애플리케이션과 공유하는 대신)

  • 최대 4 x 100Gbps 통합 이더넷 대역폭

다음 이미지는 SG1000 게이트웨이 서비스 어플라이언스를 나타냅니다.

오류: 그래픽 이미지가 없습니다

SG6060

StorageGRID SG6060 어플라이언스에는 2개의 스토리지 컨트롤러와 60개의 드라이브를 포함하는 컴퓨팅 컨트롤러(SG6060) 및 스토리지 컨트롤러 쉘프(E-Series E2860)가 포함되어 있습니다. 본 제품은 다음과 같은 기능을 제공합니다.

  • 단일 네임스페이스에서 최대 400PB까지 확장 가능

  • 최대 4배의 25Gbps 애그리게이트 이더넷 대역폭

  • 노드 배포 및 구성을 간소화하는 StorageGRID 어플라이언스 설치 프로그램이 포함되어 있습니다.

  • 각 SG6060 어플라이언스는 총 180개 드라이브에 대해 하나 또는 두 개의 추가 확장 쉘프를 가질 수 있습니다.

  • 스토리지 컨트롤러 페일오버를 지원하기 위한 2개의 E-Series E2800 컨트롤러(이중 구성)

  • 60개의 3.5인치 드라이브(SSD 2개, NL-SAS 드라이브 58개)를 보관하는 5개의 드로어 드라이브 쉘프

다음 이미지는 SG6060 어플라이언스를 나타냅니다.

오류: 그래픽 이미지가 없습니다

Splunk 설계

다음 표에는 단일 사이트를 위한 Splunk 구성이 나와 있습니다.

Splunk 구성 요소 작업 수량 코어 메모리 OS

범용 포워더

데이터를 수집하여 인덱서에 데이터를 전달하는 역할을 합니다

4

16개 코어

32GB RAM

CentOS 8.1

인덱서

사용자 데이터를 관리합니다

10

16개 코어

32GB RAM

CentOS 8.1

검색 헤드

사용자 프런트 엔드에서 인덱서의 데이터를 검색합니다

3

16개 코어

32GB RAM

CentOS 8.1

검색 헤드 배포자

검색 헤드 클러스터에 대한 업데이트를 처리합니다

1

16개 코어

32GB RAM

CentOS 8.1

클러스터 마스터

Splunk 설치 및 인덱싱을 관리합니다

1

16개 코어

32GB RAM

CentOS 8.1

모니터링 콘솔 및 라이센스 마스터

전체 Splunk 구축을 중앙 집중식으로 모니터링하고 Splunk 라이센스를 관리합니다

1

16개 코어

32GB RAM

CentOS 8.1

다음 표에서는 다중 사이트 구성을 위한 Splunk 구성에 대해 설명합니다.

이 표에는 다중 사이트 구성(사이트 A)을 위한 Splunk 구성이 나와 있습니다.

Splunk 구성 요소 작업 수량 코어 메모리 OS

범용 포워더

데이터를 수집하여 인덱서에 데이터를 전달하는 역할을 합니다.

4

16개 코어

32GB RAM

CentOS 8.1

인덱서

사용자 데이터를 관리합니다

10

16개 코어

32GB RAM

CentOS 8.1

검색 헤드

사용자 프런트 엔드에서 인덱서의 데이터를 검색합니다

3

16개 코어

32GB RAM

CentOS 8.1

검색 헤드 배포자

검색 헤드 클러스터에 대한 업데이트를 처리합니다

1

16개 코어

32GB RAM

CentOS 8.1

클러스터 마스터

Splunk 설치 및 인덱싱을 관리합니다

1

16개 코어

32GB RAM

CentOS 8.1

모니터링 콘솔 및 라이센스 마스터

전체 Splunk 구축을 중앙 집중식으로 모니터링하고 Splunk 라이센스를 관리합니다.

1

16개 코어

32GB RAM

CentOS 8.1

이 표에는 다중 사이트 구성(사이트 B)을 위한 Splunk 구성이 나와 있습니다.

Splunk 구성 요소 작업 수량 코어 메모리 OS

범용 포워더

데이터를 수집하여 인덱서에 데이터를 전달하는 역할을 합니다

4

16개 코어

32GB RAM

CentOS 8.1

인덱서

사용자 데이터를 관리합니다

10

16개 코어

32GB RAM

CentOS 8.1

검색 헤드

사용자 프런트 엔드에서 인덱서의 데이터를 검색합니다

3

16개 코어

32GB RAM

CentOS 8.1

클러스터 마스터

Splunk 설치 및 인덱싱을 관리합니다

1

16개 코어

32GB RAM

CentOS 8.1

모니터링 콘솔 및 라이센스 마스터

전체 Splunk 구축을 중앙 집중식으로 모니터링하고 Splunk 라이센스를 관리합니다

1

16개 코어

32GB RAM

CentOS 8.1