在實驗室中、我們測試了Confluent自我平衡叢集功能、此功能可根據叢集拓撲變更或負載不均而自動重新平衡。當節點故障或擴充節點需要跨代理程式重新平衡資料時、「Confluent reBalance」測試有助於測量新增代理程式的時間。在傳統的Kafka組態中、隨著叢集成長、要重新平衡的資料量會隨之增加、但在階層式儲存設備中、重新平衡的資料量僅限於少量資料。根據我們的驗證結果、在傳統的Kafka架構中重新平衡階層式儲存設備需要數秒鐘或數分鐘、並隨著叢集成長線性成長。

在自我平衡叢集中、磁碟分割重新平衡已完全自動化、可最佳化Kafka的處理量、加速代理程式擴充、並減輕執行大型叢集的作業負擔。在穩定狀態下、自我平衡叢集會監控所有代理程式的資料偏移、並持續重新分配分割區、以最佳化叢集效能。當垂直或向下擴充平台時、自我平衡叢集會自動辨識新的代理人是否存在、或移除舊的代理人、並觸發後續的分割區重新指派。這可讓您輕鬆新增及取消委任代理人、讓Kafka叢集更具彈性。這些效益不需要手動介入、複雜的數學運算、或是分割區重新指派通常會造成人為錯誤的風險。如此一來、資料重新平衡的完成時間就會大幅縮短、您可以專注於價值更高的事件串流專案、而不需要持續監督叢集。