Skip to main content
Data Infrastructure Insights
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

Kafka 数据收集器

贡献者 netapp-alavoie
PDF

Data Infrastructure Insights使用此数据收集器从 Kafka 收集指标。

安装

  1. 从*可观察性 > 收集器*中，单击*+数据收集器*。选择 Kafka。

    选择安装 Telegraf 代理的操作系统或平台。

  2. 如果您尚未安装用于收集的代理，或者您希望为不同的操作系统或平台安装代理，请单击“显示说明”以展开"代理安装"指示。

  3. 选择用于此数据收集器的代理访问密钥。您可以通过单击 + 代理访问密钥 按钮添加新的代理访问密钥。最佳实践：仅当您想要对数据收集器进行分组（例如按操作系统/平台）时才使用不同的代理访问密钥。

  4. 按照配置步骤配置数据收集器。说明根据您用于收集数据的操作系统或平台的类型而有所不同。

Kafka 配置

设置

Kafka插件基于telegraf的Jolokia插件。由于需要从所有 Kafka 代理收集信息，因此需要在所有组件上配置并通过 Jolokia 公开 JMX。

兼容性

配置是针对 Kafka 版本 0.11.0.2 开发的。

设置

以下所有说明均假定 kafka 的安装位置是“/opt/kafka”。您可以调整以下说明以反映您的安装位置。

鬼椒特效罐

Jolokia 代理 jar 文件必须是"下载"。测试的版本是 Jolokia 代理 1.6.0。

以下说明假设下载的 jar 文件（jolokia-jvm-1.6.0-agent.jar）位于“/opt/kafka/libs/”位置下。

Kafka 经纪人

要配置 Kafka Brokers 以公开 Jolokia API，您可以在 <KAFKA_HOME>/bin/kafka-server-start.sh 中的“kafka-run-class.sh”调用之前添加以下内容：

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

请注意，上面的示例使用“hostname -I”来设置“RMI_HOSTNAME”环境变量。在多个 IP 机器中，需要进行调整以收集您关心的 RMI 连接 IP。

您可以为 JMX（9999 以上）和 Jolokia（8778）选择不同的端口。如果您有一个内部 IP 来锁定 Jolokia，您可以用自己的 IP 替换“catch all” 0.0.0.0。请注意，此 IP 需要可从 telegraf 插件访问。如果您不想进行身份验证，可以使用选项“-Dcom.sun.management.jmxremote.authenticate=false”。使用风险自负。

物体和计数器

收集以下对象及其计数器：

目的： 标识符： 属性：

卡夫卡经纪人

集群命名空间代理

节点名称 节点IP

故障排除

更多信息可从"支持"页。