Skip to main content
Data Infrastructure Insights
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Data Collector Kafka

Collaboratori
PDF

Data Infrastructure Insights utilizza questo data collector per raccogliere metriche da Kafka.

Installazione

  1. Da osservabilità > Collector, fare clic su +Data Collector. Scegli Kafka.

    Selezionare il sistema operativo o la piattaforma su cui è installato Telegraf Agent.

  2. Se non è già stato installato un Agent per il ritiro o se si desidera installare un Agent per un sistema operativo o una piattaforma diversi, fare clic su Mostra istruzioni per espandere le "Installazione dell'agente" istruzioni.

  3. Selezionare il tasto di accesso dell'agente da utilizzare con questo data collector. È possibile aggiungere un nuovo Agent Access Key facendo clic sul pulsante + Agent Access Key. Best practice: Utilizzare un Agent Access Key diverso solo quando si desidera raggruppare i data raccoglitori, ad esempio per sistema operativo/piattaforma.

  4. Seguire la procedura di configurazione per configurare il data collector. Le istruzioni variano a seconda del tipo di sistema operativo o piattaforma utilizzata per la raccolta dei dati.

Configurazione di Kafka

Setup (Configurazione)

Il plugin Kafka si basa sul plugin di telegraf, Jolokia. Come requisito per raccogliere informazioni da tutti i broker Kafka, JMX deve essere configurato ed esposto tramite Jolokia su tutti i componenti.

Compatibilità

La configurazione è stata sviluppata rispetto alla versione 0.11.0 di Kafka.

Configurazione

Tutte le istruzioni riportate di seguito presuppongono che la posizione di installazione di kafka sia "/opt/kafka". È possibile adattare le istruzioni riportate di seguito in base alla posizione di installazione.

Jolokia Agent Jar

Una versione il file Jolokia Agent jar deve essere "scaricato". La versione testata era l'agente di Jookia 1.6.0.

Le istruzioni riportate di seguito presuppongono che il file jar scaricato (jookia-jvm-1.6.0-Agent.jar) si trovi nella posizione '/opt/kafka/libs/'.

Kafka Brokers

Per configurare i broker Kafka in modo che espongano l'API di Jokia, è possibile aggiungere quanto segue in <KAFKA_HOME>/bin/kafka-server-start.sh, appena prima della chiamata 'kafka-run-class.sh':

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Si noti che l'esempio precedente utilizza 'hostname -i' per impostare la variabile di ambiente 'RMI_HOSTNAME'. In più computer IP, questo dovrà essere modificato per raccogliere l'IP che si occupa delle connessioni RMI.

È possibile scegliere una porta diversa per JMX (9999 sopra) e Jlokia (8778). Se si dispone di un IP interno su cui bloccare Jolokia, è possibile sostituire il "catch all" 0.0.0.0 con il proprio IP. Si noti che questo IP deve essere accessibile dal plugin telegraf. Se non si desidera autenticare, è possibile utilizzare l'opzione '-Dcom.sun.management.jmxremote.authenticate=false'. Utilizzare a proprio rischio.

Oggetti e contatori

Vengono raccolti i seguenti oggetti e i relativi contatori:

Oggetto: Identificatori: Attributi:

Broker Kafka

Cluster namespace Broker

Nome nodo IP nodo

Risoluzione dei problemi

Ulteriori informazioni sono disponibili nella "Supporto" pagina .