Skip to main content
Data Infrastructure Insights
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Recopilador de datos de Kafka

Colaboradores netapp-alavoie
PDF

Data Infrastructure Insights utiliza este recopilador de datos para recopilar métricas de Kafka.

Instalación

  1. Desde Observabilidad > Recopiladores, haga clic en +Recopilador de datos. Elige Kafka.

    Seleccione el sistema operativo o la plataforma en la que está instalado el agente Telegraf.

  2. Si aún no ha instalado un Agente para la recopilación, o desea instalar un Agente para un Sistema operativo o Plataforma diferente, haga clic en Mostrar instrucciones para expandir la"Instalación del agente" instrucciones.

  3. Seleccione la clave de acceso del agente para utilizarla con este recopilador de datos. Puede agregar una nueva clave de acceso de agente haciendo clic en el botón + Clave de acceso de agente. Práctica recomendada: utilice una clave de acceso de agente diferente solo cuando desee agrupar recopiladores de datos, por ejemplo, por sistema operativo o plataforma.

  4. Siga los pasos de configuración para configurar el recopilador de datos. Las instrucciones varían según el tipo de sistema operativo o plataforma que esté utilizando para recopilar datos.

Configuración de Kafka

Configuración

El complemento Kafka se basa en el complemento Jolokia de Telegraf. Como requisito para recopilar información de todos los agentes de Kafka, JMX debe configurarse y exponerse a través de Jolokia en todos los componentes.

Compatibilidad

La configuración se desarrolló con la versión 0.11.0.2 de Kafka.

Configuración

Todas las instrucciones a continuación asumen que la ubicación de instalación de Kafka es '/opt/kafka'. Puede adaptar las instrucciones a continuación para reflejar su ubicación de instalación.

Agente Jolokia Jar

Una versión del archivo jar del agente Jolokia debe ser"descargado" . La versión probada fue Jolokia agent 1.6.0.

Las instrucciones a continuación asumen que el archivo jar descargado (jolokia-jvm-1.6.0-agent.jar) se encuentra en la ubicación '/opt/kafka/libs/'.

Corredores de Kafka

Para configurar Kafka Brokers para exponer la API de Jolokia, puede agregar lo siguiente en <KAFKA_HOME>/bin/kafka-server-start.sh, justo antes de la llamada 'kafka-run-class.sh':

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Tenga en cuenta que el ejemplo anterior utiliza 'hostname -I' para configurar la variable de entorno 'RMI_HOSTNAME'. En máquinas con varias IP, será necesario ajustar esto para recopilar la IP que le interesa para las conexiones RMI.

Puede elegir un puerto diferente para JMX (9999 arriba) y Jolokia (8778). Si tienes una IP interna para bloquear a Jolokia, puedes reemplazar el "catch all" 0.0.0.0 por tu propia IP. Tenga en cuenta que esta IP debe ser accesible desde el complemento Telegraf. Puede utilizar la opción '-Dcom.sun.management.jmxremote.authenticate=false' si no desea autenticarse. Úselo bajo su propio riesgo.

Objetos y contadores

Se recogen los siguientes objetos y sus contadores:

Objeto: Identificadores: Atributos:

Corredor de Kafka

Broker de espacio de nombres de clúster

Nombre del nodo IP del nodo

Solución de problemas

Información adicional se puede encontrar en el"Soporte" página.