TR-4947: NetApp NFS 스토리지의 Apache Kafka 워크로드 - 기능 검증 및 성능
변경 제안
PDF
Shantanu Chakole, Karthikeyan Nagalingam 및 NetApp의 Joe Scott입니다
Kafka는 많은 양의 메시지 데이터를 수용할 수 있는 강력한 큐가 있는 분산 게시 구독 메시징 시스템입니다. Kafka를 사용하면 응용 프로그램에서 매우 빠른 방법으로 주제에 데이터를 쓰고 읽을 수 있습니다. 내결함성 및 확장성 덕분에 Kafka는 많은 데이터 스트림을 매우 빠르게 수집하고 이동하는 안정적인 방법으로 빅 데이터 공간에서 자주 사용됩니다. 사용 사례에는 스트림 처리, 웹 사이트 활동 추적, 메트릭 수집 및 모니터링, 로그 집계, 실시간 분석 등이 포함됩니다.
NFS에서 일반적인 Kafka 작업은 잘 작동하지만, Silly 이름 변경 문제는 NFS에서 실행되는 Kafka 클러스터의 크기 조정 또는 재파티셔닝 중에 애플리케이션이 충돌합니다. 로드 밸런싱 또는 유지 관리를 위해 Kafka 클러스터의 크기를 조정하거나 재분할해야 하기 때문에 이는 중요한 문제입니다. 추가 세부 정보를 찾을 수 "여기" 있습니다.
이 문서에서는 다음 주제에 대해 설명합니다.
-
이름 바꾸기 문제 및 솔루션 유효성 검사가 어리석은 문제입니다
-
CPU 활용률을 줄여 I/O 대기 시간을 줄입니다
-
Kafka 브로커 복구 시간 단축
-
클라우드 및 사내 성능
Kafka 워크로드를 위해 NFS 스토리지를 사용하는 이유는 무엇입니까?
운영 애플리케이션의 Kafka 워크로드는 애플리케이션 간에 방대한 양의 데이터를 스트리밍할 수 있습니다. 이 데이터는 Kafka 클러스터의 Kafka 브로커 노드에 저장되어 저장됩니다. Kafka는 또한 가용성 및 병렬 처리도 잘 알려져 있으며, 이를 위해 여러 주제를 파티션으로 분할한 다음 클러스터 전체에 파티션을 복제합니다. 이는 결국 Kafka 클러스터를 통해 흐르는 엄청난 양의 데이터가 일반적으로 크기에 배가된다는 것을 의미합니다. 브로커들의 수가 매우 빠르고 쉽게 변경됨에 따라 NFS에서 데이터의 균형을 재조정합니다. 대규모 환경에서는 브로커 변경 횟수가 매우 많은 경우 DAS 전반에서 데이터 균형을 재조정하는 데 많은 시간이 걸리며, 대부분의 Kafka 환경에서는 브로커 수가 자주 변경됩니다.
그 밖의 이점은 다음과 같습니다.
-
성숙도. * NFS는 완성도 높은 프로토콜입니다. 즉, NFS를 구현, 보안 및 사용하는 대부분의 측면을 충분히 이해할 수 있습니다.
-
* Open. * NFS는 개방형 프로토콜이며, 지속적인 개발은 인터넷 사양에 무료 개방형 네트워크 프로토콜로 문서화되어 있습니다.
-
비용 효율성 * NFS는 기존 네트워크 인프라를 사용하기 때문에 설정하기 쉬운 네트워크 파일 공유를 위한 저렴한 솔루션입니다.
-
* 중앙 집중식 관리. * NFS의 중앙 집중식 관리로 개별 사용자 시스템에 소프트웨어 및 디스크 공간을 추가할 필요가 없습니다.
-
* Distributed. * NFS는 분산 파일 시스템으로 사용할 수 있으므로 이동식 미디어 저장 장치의 필요성을 줄여줍니다.
Kafka 워크로드를 위해 NetApp을 선택해야 하는 이유
NetApp NFS 구현은 프로토콜의 골드 표준으로 간주되며 수많은 엔터프라이즈 NAS 환경에서 사용됩니다. 또한 NetApp의 신용도와 더불어 다음과 같은 이점도 제공합니다.
-
안정성 및 효율성
-
확장성 및 성능
-
고가용성(NetApp ONTAP 클러스터의 HA 파트너)
-
데이터 보호
-
* 재해 복구(NetApp SnapMirror). * 사이트가 다운되거나 다른 사이트에서 바로 시작하여 중단된 부분부터 계속 진행하려고 합니다.
-
스토리지 시스템의 관리 효율성(NetApp OnCommand를 사용한 관리 및 관리).
-
* 로드 밸런싱. * 이 클러스터를 사용하면 다른 노드에 호스팅된 데이터 LIF에서 서로 다른 볼륨에 액세스할 수 있습니다.
-
* 무중단 운영 * LIF 또는 볼륨 이동은 NFS 클라이언트에 영향을 미치지 않습니다.
-