이미지, 비디오, 기록 등의 객체가 담긴 페타바이트 규모의 글로벌 분산 저장소를 관리합니다.

그리드 노드와 서비스를 모니터링하여 객체 가용성을 보장합니다.

정보 수명 주기 관리(ILM) 규칙을 사용하여 시간 경과에 따른 개체 데이터의 배치를 관리합니다. 이러한 규칙은 객체 데이터가 수집된 후 어떻게 처리되는지, 데이터가 손실로부터 어떻게 보호되는지, 객체 데이터가 어디에 저장되는지, 얼마 동안 저장되는지를 관리합니다.

시스템 내에서 거래, 성능 및 운영을 모니터링합니다.

카프카는 처리량이 개선되었고, 분할 기능, 복제 기능, 내결함성 등이 내장되어 있어 대규모 메시지 처리 애플리케이션에 적합한 솔루션입니다.

카프카는 사용자 활동(페이지 뷰, 검색)을 추적 파이프라인에서 실시간 게시-구독 피드 세트로 재구성할 수 있습니다.

카프카는 종종 운영 모니터링 데이터에 사용됩니다. 여기에는 분산된 애플리케이션의 통계를 집계하여 운영 데이터의 중앙 집중식 피드를 생성하는 작업이 포함됩니다.

많은 사람들이 로그 집계 솔루션의 대체 솔루션으로 Kafka를 사용합니다. 로그 집계는 일반적으로 서버에서 물리적인 로그 파일을 수집하여 처리를 위해 중앙 장소(예: 파일 서버나 HDFS)에 저장합니다. 카프카는 파일 세부 정보를 추상화하고 로그나 이벤트 데이터를 메시지 스트림으로 더욱 깔끔하게 추상화합니다. 이를 통해 처리 지연 시간을 줄이고 여러 데이터 소스와 분산된 데이터 소비에 대한 지원을 보다 쉽게 할 수 있습니다.

많은 카프카 사용자는 여러 단계로 구성된 처리 파이프라인에서 데이터를 처리합니다. 여기서 원시 입력 데이터는 카프카 토픽에서 소비된 후 집계, 강화되거나 추가 소비 또는 후속 처리를 위해 새로운 토픽으로 변환됩니다. 예를 들어, 뉴스 기사를 추천하는 처리 파이프라인은 RSS 피드에서 기사 콘텐츠를 크롤링하여 "기사" 주제에 게시할 수 있습니다. 추가 처리 단계에서는 이 콘텐츠를 정규화하거나 중복을 제거하고 정리된 기사 콘텐츠를 새로운 주제에 게시할 수 있으며, 최종 처리 단계에서는 이 콘텐츠를 사용자에게 추천하려고 시도할 수 있습니다. 이러한 처리 파이프라인은 개별 주제를 기반으로 실시간 데이터 흐름의 그래프를 생성합니다.

이벤트 소싱은 상태 변경 사항을 시간순으로 기록하는 애플리케이션 디자인 스타일입니다. Kafka는 매우 큰 규모의 저장된 로그 데이터를 지원하므로 이 스타일로 구축된 애플리케이션에 적합한 백엔드입니다.

카프카는 분산 시스템에 대한 일종의 외부 커밋 로그 역할을 할 수 있습니다. 로그는 노드 간에 데이터를 복제하는 데 도움이 되며, 실패한 노드가 데이터를 복원할 수 있는 재동기화 메커니즘 역할을 합니다. Kafka의 로그 압축 기능은 이러한 사용 사례를 지원하는 데 도움이 됩니다.

레코드 스트림을 게시하고 구독합니다.

장애에 견딜 수 있는 방식으로 레코드 스트림을 저장합니다.

레코드 스트림을 처리합니다.

Confluent 제어 센터. Kafka를 관리하고 모니터링하기 위한 GUI 기반 시스템입니다. Kafka Connect를 쉽게 관리하고 다른 시스템에 대한 연결을 생성, 편집, 관리할 수 있습니다.

Kubernetes용 Confluent. Kubernetes용 Confluent는 Kubernetes 운영자입니다. 쿠버네티스 운영자는 특정 플랫폼 애플리케이션에 대한 고유한 기능과 요구 사항을 제공하여 쿠버네티스의 오케스트레이션 기능을 확장합니다. Confluent Platform의 경우, 여기에는 Kubernetes에서 Kafka의 배포 프로세스를 크게 단순화하고 일반적인 인프라 수명 주기 작업을 자동화하는 것이 포함됩니다.

Kafka에 대한 합류 커넥터. 커넥터는 Kafka Connect API를 사용하여 Kafka를 데이터베이스, 키-값 저장소, 검색 인덱스, 파일 시스템 등의 다른 시스템에 연결합니다. Confluent Hub에는 가장 인기 있는 데이터 소스와 싱크에 대한 다운로드 가능한 커넥터가 있으며, 여기에는 Confluent Platform에서 이러한 커넥터의 완전히 테스트되고 지원되는 버전이 포함됩니다. 더 자세한 내용은 다음을 참조하세요. "여기" .

자체 균형 클러스터. 자동화된 부하 분산, 장애 감지 및 자체 복구 기능을 제공합니다. 필요에 따라 브로커를 추가하거나 해제하는 데 대한 지원을 제공하며, 수동 조정은 필요하지 않습니다.

합류 클러스터 연결. 링크 브리지를 통해 클러스터를 직접 연결하고 한 클러스터의 주제를 다른 클러스터로 미러링합니다. 클러스터 연결을 통해 다중 데이터 센터, 다중 클러스터 및 하이브리드 클라우드 배포 설정이 간소화됩니다.

Confluent 자동 데이터 밸런서. 클러스터 내의 브로커 수, 파티션 크기, 파티션 수, 리더 수를 모니터링합니다. 이 기능을 사용하면 클러스터 전체에서 균일한 작업 부하를 생성하기 위해 데이터를 이동할 수 있으며, 재조정하는 동안 프로덕션 작업 부하에 미치는 영향을 최소화하기 위해 재조정 트래픽을 조절할 수 있습니다.

합류 복제기. 여러 데이터 센터에서 여러 Kafka 클러스터를 유지 관리하는 것이 그 어느 때보다 쉬워졌습니다.

계층화된 스토리지. 선호하는 클라우드 공급업체를 사용하여 대용량의 Kafka 데이터를 저장할 수 있는 옵션을 제공하므로 운영 부담과 비용이 줄어듭니다. 계층형 스토리지를 사용하면 비용 효율적인 개체 스토리지에 데이터를 보관하고, 더 많은 컴퓨팅 리소스가 필요할 때만 확장 브로커를 사용할 수 있습니다.

Confluent JMS 클라이언트. Confluent Platform에는 Kafka용 JMS 호환 클라이언트가 포함되어 있습니다. 이 Kafka 클라이언트는 Kafka 브로커를 백엔드로 사용하여 JMS 1.1 표준 API를 구현합니다. 이 기능은 JMS를 사용하는 레거시 애플리케이션이 있고 기존 JMS 메시지 브로커를 Kafka로 교체하려는 경우에 유용합니다.

Confluent MQTT 프록시. 중간에 MQTT 브로커가 필요 없이 MQTT 장치 및 게이트웨이에서 Kafka로 직접 데이터를 게시하는 방법을 제공합니다.

Confluent 보안 플러그인. Confluent 보안 플러그인은 다양한 Confluent Platform 도구와 제품에 보안 기능을 추가하는 데 사용됩니다. 현재 Confluent REST 프록시에 사용할 수 있는 플러그인이 있는데, 이 플러그인은 들어오는 요청을 인증하고 인증된 주체를 Kafka에 대한 요청에 전파하는 데 도움이 됩니다. 이를 통해 Confluent REST 프록시 클라이언트는 Kafka 브로커의 멀티테넌트 보안 기능을 활용할 수 있습니다.