Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Confluent Self balancing Clusters

Beitragende

Wenn Sie bereits einen Kafka Cluster gemanagt haben, kennen Sie die Herausforderungen, die sich aus der manuellen Neuzuteilung von Partitionen an verschiedene Broker ergeben, um sicherzustellen, dass der Workload über das Cluster hinweg ausgeglichen wird. Für Unternehmen mit großen Implementierungen im Kafka-Bereich kann das Umstellen großer Datenmengen eine enorme Herausforderung, ein mühsames und riskantes sein, vor allem, wenn geschäftskritische Applikationen auf dem Cluster basieren. Selbst für die kleinsten Anwendungsfälle von Kafka ist dieser Vorgang allerdings zeitaufwändig und fehleranfällig.

In unserem Labor haben wir die Funktion Confluent Self-Balancing Cluster getestet, die die Ausbalancierung auf Basis von Cluster-Topologieänderungen oder unausgeglichenen Lasten automatisiert. Der Test zur Neuverteilung bei einem Knoten hilft dabei, die Zeit zu messen, die zum Hinzufügen eines neuen Brokers erforderlich ist, wenn ein Node ausfällt oder der Skalierungsknoten eine Ausbalancierung der Daten zwischen Brokern erfordert. In klassischen Kafka-Konfigurationen wächst die Menge der auszubalancieren, während der Cluster wächst. Bei Tiered Storage ist die Ausbalancierung jedoch auf kleine Datenmengen beschränkt. Basierend auf unserer Validierung dauert die Lastverteilung im Tiered Storage in einer klassischen Kafka-Architektur nur Sekunden oder Minuten und wächst linear mit dem Cluster.

In Self-Balancing-Clustern sind Partitions-Rebalons vollständig automatisiert. Dies optimiert den Durchsatz von Kafka, beschleunigt die Skalierung von Vermittlern und entlastet den Betrieb eines großen Clusters. Bei Clustern mit Selbstausgleich überwachen die Verzerrung der Daten zwischen den Brokern und weist Partitionen kontinuierlich neu zu, um die Cluster-Performance zu optimieren. Bei der Skalierung der Plattform nach oben oder unten erkennen Self-Balancing-Cluster automatisch das Vorhandensein neuer Broker oder das Entfernen alter Broker und lösen eine nachfolgende Neuzuweisung von Partitionen aus. So können Sie problemlos Broker hinzufügen und ausmustern und Ihre Kafka Cluster damit im Wesentlichen flexibler gestalten. Diese Vorteile entstehen ohne manuelles Eingreifen, komplexe Mathematik oder das Risiko menschlicher Fehler, die für gewöhnlich eine Partition neu zugewiesen werden. Auf diese Weise werden Datenabstände in wesentlich kürzerer Zeit abgeschlossen und Sie können sich auf wichtigere Event-Streaming-Projekte konzentrieren, anstatt Ihre Cluster ständig zu überwachen.