In unserem Labor haben wir die Funktion Confluent Self-Balancing Cluster getestet, die die Ausbalancierung auf Basis von Cluster-Topologieänderungen oder unausgeglichenen Lasten automatisiert. Der Test zur Neuverteilung bei einem Knoten hilft dabei, die Zeit zu messen, die zum Hinzufügen eines neuen Brokers erforderlich ist, wenn ein Node ausfällt oder der Skalierungsknoten eine Ausbalancierung der Daten zwischen Brokern erfordert. In klassischen Kafka-Konfigurationen wächst die Menge der auszubalancieren, während der Cluster wächst. Bei Tiered Storage ist die Ausbalancierung jedoch auf kleine Datenmengen beschränkt. Basierend auf unserer Validierung dauert die Lastverteilung im Tiered Storage in einer klassischen Kafka-Architektur nur Sekunden oder Minuten und wächst linear mit dem Cluster.

In Self-Balancing-Clustern sind Partitions-Rebalons vollständig automatisiert. Dies optimiert den Durchsatz von Kafka, beschleunigt die Skalierung von Vermittlern und entlastet den Betrieb eines großen Clusters. Bei Clustern mit Selbstausgleich überwachen die Verzerrung der Daten zwischen den Brokern und weist Partitionen kontinuierlich neu zu, um die Cluster-Performance zu optimieren. Bei der Skalierung der Plattform nach oben oder unten erkennen Self-Balancing-Cluster automatisch das Vorhandensein neuer Broker oder das Entfernen alter Broker und lösen eine nachfolgende Neuzuweisung von Partitionen aus. So können Sie problemlos Broker hinzufügen und ausmustern und Ihre Kafka Cluster damit im Wesentlichen flexibler gestalten. Diese Vorteile entstehen ohne manuelles Eingreifen, komplexe Mathematik oder das Risiko menschlicher Fehler, die für gewöhnlich eine Partition neu zugewiesen werden. Auf diese Weise werden Datenabstände in wesentlich kürzerer Zeit abgeschlossen und Sie können sich auf wichtigere Event-Streaming-Projekte konzentrieren, anstatt Ihre Cluster ständig zu überwachen.