私たちのラボでは、クラスター トポロジの変更や負荷の不均一性に基づいて再バランス調整を自動化する Confluent の自己バランス調整クラスター機能をテストしました。 Confluent の再バランス テストは、ノード障害が発生したとき、またはスケーリング ノードでブローカー間でデータの再バランス調整が必要になったときに、新しいブローカーを追加する時間を測定するのに役立ちます。従来の Kafka 構成では、クラスターの拡大に伴って再バランス調整するデータの量も増加しますが、階層型ストレージでは再バランス調整は少量のデータに制限されます。当社の検証によると、階層型ストレージの再バランス調整は、従来の Kafka アーキテクチャでは数秒または数分かかり、クラスターの拡大に伴って直線的に増加します。

自己バランス型クラスターでは、パーティションの再バランスが完全に自動化され、Kafka のスループットが最適化され、ブローカーのスケーリングが加速され、大規模なクラスターを実行する際の運用上の負担が軽減されます。定常状態では、自己バランス型クラスターがブローカー間のデータの偏りを監視し、パーティションを継続的に再割り当てしてクラスターのパフォーマンスを最適化します。プラットフォームを拡大または縮小する場合、自己バランス型クラスターは新しいブローカーの存在または古いブローカーの削除を自動的に認識し、後続のパーティションの再割り当てをトリガーします。これにより、ブローカーを簡単に追加および廃止できるようになり、Kafka クラスターの弾力性が根本的に向上します。これらの利点は、手動による介入、複雑な計算、またはパーティションの再割り当てに通常伴う人的エラーのリスクを必要とせずに得られます。その結果、データの再バランス調整ははるかに短い時間で完了し、クラスターを常に監視する必要がなくなり、より価値の高いイベント ストリーミング プロジェクトに集中できるようになります。