Em nosso laboratório, testamos o recurso de clusters de autobalanceamento do Confluent, que automatiza o rebalanceamento com base em alterações na topologia do cluster ou carga irregular. O teste de rebalanceamento do Confluent ajuda a medir o tempo para adicionar um novo broker quando ocorre uma falha no nó ou o nó de dimensionamento exige o rebalanceamento de dados entre os brokers. Em configurações clássicas do Kafka, a quantidade de dados a serem rebalanceados aumenta à medida que o cluster cresce, mas, no armazenamento em camadas, o rebalanceamento é restrito a uma pequena quantidade de dados. Com base em nossa validação, o rebalanceamento no armazenamento em camadas leva segundos ou minutos em uma arquitetura Kafka clássica e cresce linearmente conforme o cluster cresce.

Em clusters de autobalanceamento, os rebalanceamentos de partições são totalmente automatizados para otimizar a taxa de transferência do Kafka, acelerar o dimensionamento do broker e reduzir a carga operacional de execução de um cluster grande. Em estado estável, os clusters autobalanceados monitoram a distorção de dados entre os corretores e reatribuem partições continuamente para otimizar o desempenho do cluster. Ao dimensionar a plataforma para cima ou para baixo, os clusters de autobalanceamento reconhecem automaticamente a presença de novos corretores ou a remoção de corretores antigos e acionam uma reatribuição de partição subsequente. Isso permite que você adicione e desative corretores facilmente, tornando seus clusters Kafka fundamentalmente mais elásticos. Esses benefícios não exigem intervenção manual, cálculos matemáticos complexos ou o risco de erro humano que as reatribuições de partições normalmente envolvem. Como resultado, os rebalanceamentos de dados são concluídos em muito menos tempo, e você fica livre para se concentrar em projetos de streaming de eventos de maior valor, em vez de precisar supervisionar constantemente seus clusters.