검증 결과, Confluent가 데이터를 보관하는 데는 S3 개체 스토리지가 가장 적합합니다.

Confluent 계층형 스토리지 구성에서 브로커 데이터 디렉토리에 보관되는 데이터 크기는 세그먼트 크기와 데이터가 개체 스토리지로 이동될 때의 보존 시간에 따라 결정되므로, 고처리량 SAN(특히 FC)을 사용하여 브로커의 핫 데이터나 로컬 디스크를 유지할 수 있습니다.

segment.bytes가 높을수록 개체 저장소의 성능이 더 좋습니다. 테스트에서는 512MB를 사용했습니다.

Kafka에서는 주제에 생성된 각 레코드의 키 또는 값의 길이(바이트)가 다음에 의해 제어됩니다. length.key.value 매개변수. StorageGRID 의 경우 S3 객체 수집 및 검색 성능이 더 높은 값으로 향상되었습니다. 예를 들어, 512바이트는 5.8GBps 검색 속도를 제공하고, 1024바이트는 7.5GBps s3 검색 속도를 제공하며, 2048바이트는 거의 10GBps 검색 속도를 제공합니다.

카프카 튜닝. 계층형 저장소의 성능을 개선하려면 TierFetcherNumThreads와 TierArchiverNumThreads를 늘릴 수 있습니다. 일반적인 지침으로, TierFetcherNumThreads를 실제 CPU 코어 수와 일치하도록 늘리고 TierArchiverNumThreads를 CPU 코어 수의 절반으로 늘리는 것이 좋습니다. 예를 들어, 서버 속성에서 물리적 코어가 8개인 머신이 있는 경우 confluent.tier.fetcher.num.threads = 8, confluent.tier.archiver.num.threads = 4로 설정합니다.

주제 삭제 시간 간격. 주제가 삭제되면 개체 스토리지에 있는 로그 세그먼트 파일의 삭제가 즉시 시작되지 않습니다. 대신, 해당 파일이 삭제되기 전에 기본값인 3시간의 시간 간격이 있습니다. confluent.tier.topic.delete.check.interval.ms 구성을 수정하여 이 간격의 값을 변경할 수 있습니다. 주제나 클러스터를 삭제하는 경우 해당 버킷에 있는 객체를 수동으로 삭제할 수도 있습니다.

계층화된 스토리지 내부 주제에 대한 ACL. 온프레미스 배포에 권장되는 모범 사례는 계층형 저장소에 사용되는 내부 항목에 ACL 권한 부여자를 활성화하는 것입니다. ACL 규칙을 설정하여 이 데이터에 대한 액세스를 브로커 사용자로만 제한합니다. 이를 통해 내부 주제가 보호되고 계층형 스토리지 데이터와 메타데이터에 대한 무단 액세스가 방지됩니다.