Skip to main content
Data Infrastructure Insights
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Raccoglitore di dati Kafka

Collaboratori netapp-alavoie
PDF

Data Infrastructure Insights utilizza questo strumento di raccolta dati per raccogliere metriche da Kafka.

Installazione

  1. Da Osservabilità > Collettori, fare clic su +Collettore dati. Scegli Kafka.

    Selezionare il sistema operativo o la piattaforma su cui è installato l'agente Telegraf.

  2. Se non hai ancora installato un agente per la raccolta o desideri installare un agente per un sistema operativo o una piattaforma diversi, fai clic su Mostra istruzioni per espandere la"Installazione dell'agente" istruzioni.

  3. Selezionare la chiave di accesso dell'agente da utilizzare con questo raccoglitore dati. È possibile aggiungere una nuova chiave di accesso agente facendo clic sul pulsante + Chiave di accesso agente. Procedura consigliata: utilizzare una chiave di accesso agente diversa solo quando si desidera raggruppare i raccoglitori di dati, ad esempio in base al sistema operativo/piattaforma.

  4. Seguire i passaggi di configurazione per configurare il raccoglitore dati. Le istruzioni variano a seconda del tipo di sistema operativo o piattaforma utilizzata per raccogliere i dati.

Configurazione di Kafka

Impostare

Il plugin Kafka è basato sul plugin Jolokia di Telegraf. Poiché è un requisito per raccogliere informazioni da tutti i broker Kafka, JMX deve essere configurato ed esposto tramite Jolokia su tutti i componenti.

Compatibilità

La configurazione è stata sviluppata per la versione 0.11.0.2 di Kafka.

Impostazione

Tutte le istruzioni riportate di seguito presuppongono che il percorso di installazione di Kafka sia '/opt/kafka'. Puoi adattare le istruzioni riportate di seguito in base alla tua posizione di installazione.

Barattolo dell'agente Jolokia

Una versione del file jar dell'agente Jolokia deve essere"scaricato" . La versione testata era Jolokia Agent 1.6.0.

Le istruzioni riportate di seguito presuppongono che il file jar scaricato (jolokia-jvm-1.6.0-agent.jar) si trovi nel percorso '/opt/kafka/libs/'.

Kafka Brokers

Per configurare Kafka Brokers in modo che esponga l'API Jolokia, puoi aggiungere quanto segue in <KAFKA_HOME>/bin/kafka-server-start.sh, subito prima della chiamata 'kafka-run-class.sh':

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Si noti che nell'esempio precedente si utilizza 'hostname -I' per impostare la variabile di ambiente 'RMI_HOSTNAME'. Nelle macchine con più IP, sarà necessario apportare modifiche per raccogliere l'IP di interesse per le connessioni RMI.

È possibile scegliere una porta diversa per JMX (9999 sopra) e Jolokia (8778). Se hai un IP interno su cui bloccare Jolokia, puoi sostituire "catch all" 0.0.0.0 con il tuo IP. Si noti che questo IP deve essere accessibile dal plugin Telegraf. Se non si desidera eseguire l'autenticazione, è possibile utilizzare l'opzione '-Dcom.sun.management.jmxremote.authenticate=false'. Da utilizzare a proprio rischio e pericolo.

Oggetti e contatori

Vengono raccolti i seguenti oggetti e i relativi contatori:

Oggetto: Identificatori: Attributi:

Kafka Broker

Cluster Namespace Broker

Nome nodo IP nodo

Risoluzione dei problemi

Ulteriori informazioni possono essere trovate presso"Supporto" pagina.