Skip to main content
Data Infrastructure Insights
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Recopilador de datos Kafka

Colaboradores
PDF

Data Infrastructure Insights usa este recopilador de datos para recopilar métricas de Kafka.

Instalación

  1. En Observabilidad > Colectores, haz clic en +Recopilador de datos. Elige Kafka.

    Seleccione el sistema operativo o la plataforma en la que está instalado el agente Telegraf.

  2. Si aún no ha instalado un agente para la recopilación, o si desea instalar un agente para un sistema operativo o plataforma diferente, haga clic en Mostrar instrucciones para ampliar las "Instalación del agente" instrucciones.

  3. Seleccione la clave de acceso del agente para utilizarla con este recopilador de datos. Puede agregar una nueva clave de acceso del agente haciendo clic en el botón + clave de acceso del agente. Práctica recomendada: Utilice una clave de acceso de agente diferente sólo cuando desee agrupar recopiladores de datos, por ejemplo, por sistema operativo/plataforma.

  4. Siga los pasos de configuración para configurar el recopilador de datos. Las instrucciones varían en función del tipo de sistema operativo o plataforma que utilice para recopilar datos.

Configuración de Kafka

Configuración

El complemento Kafka se basa en el complemento Jolokia de telegraf. Como un requisito para recopilar información de todos los corredores Kafka, JMX debe configurarse y exponerse a través de Jolokia en todos los componentes.

Compatibilidad

La configuración se desarrolló contra Kafka versión 0.11.0.2.

Configuración

Todas las instrucciones a continuación suponen que su ubicación de instalación para kafka es '/opt/kafka'. Puede adaptar las instrucciones siguientes para reflejar la ubicación de la instalación.

Agente Jolokia Jar

Una versión El archivo jar del agente Jolokia debe ser "descargado". La versión probada en contra fue el agente Jolokia 1.6.0.

Las instrucciones siguientes asumen que el archivo JAR descargado (jolokia-jvm-1.6.0-agent.jar) se coloca bajo la ubicación '/opt/kafka/libs/'.

Kafka Brokers

Para configurar Kafka Brokers para exponer la API de Jolokia, puede agregar lo siguiente en <KAFKA_HOME>/bin/kafka-Server-start.sh, justo antes de la llamada 'kafka-run-class.sh':

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Tenga en cuenta que el ejemplo anterior utiliza 'hostname -i' para configurar la variable de entorno 'RMI_HOSTNAME'. En múltiples equipos IP, esto tendrá que ser ajustado para reunir la IP que usted cuida para las conexiones RMI.

Puede elegir un puerto diferente para JMX (9999 arriba) y Jolokia (8778). Si usted tiene un IP interno para bloquear Jolokia en usted puede reemplazar el "Catch all" 0.0.0.0 por su propio IP. Tenga en cuenta que este IP debe ser accesible desde el plugin de telegraf. Puede utilizar la opción '-Dcom.sun.management.jmxremote.authenticate=false' si no desea autenticar. Uso bajo su propio riesgo.

Objetos y contadores

Se recopilan los objetos siguientes y sus contadores:

Objeto: Identificadores: Atributos:

Kafka Broker

Agente de espacio de nombres del clúster

Dirección IP del nodo de nombre

Resolución de problemas

Puede encontrar información adicional en la "Soporte técnico" página.