Skip to main content
Data Infrastructure Insights
简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

Kafka 数据收集器

贡献者
PDF

Data Infrastructure Insight使用此数据收集器从Kafka收集指标。

安装

  1. 从*Observability > Collectors*中，单击*+Data Collector*。选择Kafka。

    选择安装了 Telegraf 代理的操作系统或平台。

  2. 如果尚未安装用于收集的代理，或者要为其他操作系统或平台安装代理，请单击_Show Instructions _展开说明。"代理安装"

  3. 选择要用于此数据收集器的代理访问密钥。您可以通过单击 * + 代理访问密钥 * 按钮来添加新的代理访问密钥。最佳实践：仅当您要按操作系统 / 平台对数据收集器进行分组时，才使用其他代理访问密钥。

  4. 按照配置步骤配置数据收集器。这些说明因用于收集数据的操作系统或平台的类型而异。

Kafka 配置

设置

Kafka 插件基于此电报的 JOLokia 插件。例如，需要从所有 Kafka 代理收集信息，因此需要在所有组件上通过 Jallokia 配置和公开 JMX 。

兼容性

此配置是根据 Kafka 0.11.0.2 版开发的。

设置

以下所有说明均假定您的 Kafka 安装位置为 "/opt/Kafka" 。您可以根据安装位置调整以下说明。

JOLokia Agent Jar

Jolokia代理jar文件的版本必须为"已下载"。测试的版本为 JOLokia 代理 1.6.0 。

以下说明假定下载的 JAR 文件（ jolokia-jvm-1.6.0-agent.jar ）位于 "/opt/Kafka/libs/" 位置下。

Kafka 代理

要配置 Kafka 代理以公开此 JOLokia API ，您可以在调用 "Kafka-run-class.sh" 之前的 <Kafka_home>/bin/Kafka-server-start.sh 中添加以下内容：

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

请注意，上述示例使用 "hostname -i" 设置 "RMI_HOSTNAME" 环境变量。在多个 IP 计算机中，需要对其进行调整，以收集您关心的用于 RMI 连接的 IP 。

您可以为 JMX （上面为 9999 ）和朱洛基亚（ 8778 ）选择其他端口。如果您有一个内部 IP 来锁定 Jallokia ，则可以将 "catch all" 0.0.0.0 替换为您自己的 IP 。请注意，此 IP 需要可从电报插件访问。如果您不想进行身份验证，可以使用选项 -Dcom.sun.management.jmxremote.authenticate=false' 。使用风险自行承担。

对象和计数器

将收集以下对象及其计数器：

对象： 标识符： 属性：

Kafka Broker

集群命名空间代理

节点名称节点 IP

故障排除

有关其他信息、请参见"支持"页面。