Skip to main content
Data Infrastructure Insights
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

Kafka 資料收集器

貢獻者 netapp-alavoie
PDF

Data Infrastructure Insights使用此數據收集器從 Kafka 收集指標。

安裝

  1. 從*可觀察性 > 收集器*中，按一下*+資料收集器*。選擇 Kafka。

    選擇安裝 Telegraf 代理程式的作業系統或平台。

  2. 如果您尚未安裝用於收集的代理，或者您希望為不同的作業系統或平台安裝代理，請按一下「顯示說明」以展開"代理安裝"指示。

  3. 選擇用於此資料收集器的代理存取金鑰。您可以透過點擊 + 代理存取金鑰 按鈕新增新的代理存取金鑰。最佳實務：只有當您想要對資料收集器進行分組（例如按作業系統/平台）時才使用不同的代理存取金鑰。

  4. 依照設定步驟配置資料收集器。說明根據您用於收集資料的作業系統或平台的類型而有所不同。

Kafka 配置

設定

Kafka插件基於telegraf的Jolokia插件。由於需要從所有 Kafka 代理程式收集信息，因此需要在所有元件上配置並透過 Jolokia 公開 JMX。

相容性

配置是針對 Kafka 版本 0.11.0.2 開發的。

設定

以下所有說明均假設 kafka 的安裝位置是「/opt/kafka」。您可以調整以下說明以反映您的安裝位置。

鬼椒特效罐

Jolokia 代理 jar 檔案必須是"下載"。測試的版本是 Jolokia 代理 1.6.0。

以下說明假設下載的 jar 檔案（jolokia-jvm-1.6.0-agent.jar）位於「/opt/kafka/libs/」位置下。

Kafka 經紀人

要設定 Kafka Brokers 以公開 Jolokia API，您可以在 <KAFKA_HOME>/bin/kafka-server-start.sh 中的「kafka-run-class.sh」呼叫之前新增以下內容：

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

請注意，上面的範例使用“hostname -I”來設定“RMI_HOSTNAME”環境變數。在多個 IP 機器中，需要進行調整以收集您關心的 RMI 連線 IP。

您可以為 JMX（9999 以上）和 Jolokia（8778）選擇不同的連接埠。如果您有一個內部 IP 來鎖定 Jolokia，您可以用自己的 IP 替換「catch all」 0.0.0.0。請注意，此 IP 需要可從 telegraf 插件存取。如果您不想進行身份驗證，可以使用選項「-Dcom.sun.management.jmxremote.authenticate=false」。使用風險自負。

物體和計數器

收集以下物件及其計數器：

目的： 標識符： 屬性：

卡夫卡經紀人

叢集命名空間代理

節點名稱 節點IP

故障排除

更多資訊可從"支援"頁。