La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Data Collector Kafka

04/02/2024 Collaboratori

PDF

Sommario

Installazione
Setup (Configurazione)
Oggetti e contatori
Risoluzione dei problemi

Cloud Insights utilizza questo data collector per raccogliere le metriche da Kafka.

Installazione

Da osservabilità > Collector, fare clic su +Data Collector. Scegli Kafka.

Selezionare il sistema operativo o la piattaforma su cui è installato Telegraf Agent.
Se non è già stato installato un Agent per la raccolta o se si desidera installare un Agent per un sistema operativo o una piattaforma differente, fare clic su Show Instructions (Mostra istruzioni) per espandere la "Installazione dell'agente" istruzioni.
Selezionare il tasto di accesso dell'agente da utilizzare con questo data collector. È possibile aggiungere un nuovo Agent Access Key facendo clic sul pulsante + Agent Access Key. Best practice: Utilizzare un Agent Access Key diverso solo quando si desidera raggruppare i data raccoglitori, ad esempio per sistema operativo/piattaforma.
Seguire la procedura di configurazione per configurare il data collector. Le istruzioni variano a seconda del tipo di sistema operativo o piattaforma utilizzata per la raccolta dei dati.

Configurazione di Kafka

Setup (Configurazione)

Il plugin Kafka si basa sul plugin di telegraf, Jolokia. Come requisito per raccogliere informazioni da tutti i broker Kafka, JMX deve essere configurato ed esposto tramite Jolokia su tutti i componenti.

Compatibilità

La configurazione è stata sviluppata rispetto alla versione 0.11.0 di Kafka.

Configurazione

Tutte le istruzioni riportate di seguito presuppongono che la posizione di installazione di kafka sia "/opt/kafka". È possibile adattare le istruzioni riportate di seguito in base alla posizione di installazione.

Jolokia Agent Jar

Una versione del file Jar dell'agente di Jlokia "scaricato". La versione testata era l'agente di Jookia 1.6.0.

Le istruzioni riportate di seguito presuppongono che il file jar scaricato (jookia-jvm-1.6.0-Agent.jar) si trovi nella posizione '/opt/kafka/libs/'.

Kafka Brokers

Per configurare i broker Kafka in modo che espongano l'API di Jokia, è possibile aggiungere quanto segue in <KAFKA_HOME>/bin/kafka-server-start.sh, appena prima della chiamata 'kafka-run-class.sh':

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Si noti che l'esempio precedente utilizza 'hostname -i' per impostare la variabile di ambiente 'RMI_HOSTNAME'. In più computer IP, questo dovrà essere modificato per raccogliere l'IP che si occupa delle connessioni RMI.

È possibile scegliere una porta diversa per JMX (9999 sopra) e Jlokia (8778). Se si dispone di un IP interno su cui bloccare Jolokia, è possibile sostituire il "catch all" 0.0.0.0 con il proprio IP. Si noti che questo IP deve essere accessibile dal plugin telegraf. Se non si desidera autenticare, è possibile utilizzare l'opzione '-Dcom.sun.management.jmxremote.authenticate=false'. Utilizzare a proprio rischio.

Oggetti e contatori

Vengono raccolti i seguenti oggetti e i relativi contatori:

Oggetto:	Identificatori:	Attributi:	Punti dati:
Broker Kafka	Cluster namespace Broker	Nome nodo IP nodo	Replica Manager Fetcher Max Lag Zooseeper connessioni client Zooseeper connessioni client (velocità di 15 m) Zooseeper connessioni client (velocità di 5 m) Zooseeper connessioni client (velocità media) Zooseeper connessioni client (velocità di 1 m) Replica Manager Conteggio partizioni Conteggio thread Demon Conteggio thread picco Conteggio thread corrente Conteggio thread totale iniziato le partizioni offline producono le richieste tempo totale (50° percentile) produrre le richieste tempo totale (75° percentile) produrre le richieste tempo totale (95° percentile) produrre le richieste tempo totale (98° percentile) produrre le richieste tempo totale (999° percentile) Richieste di produzione tempo totale (99a percentile) Richieste di produzione tempo totale richieste di produzione tempo totale richieste di produzione tempo totale richieste di produzione media tempo totale richieste di produzione minima tempo totale Stddev Replica Manager ISR si restringe Replica Manager ISR si restringe (15m rate) Replica Manager ISR si restringe (5 m rate) Replica Manager ISR si restringe (Velocità media) Replicate Manager ISR (velocità 1 m) Request Handler AVG Idle Request Handler AVG Idle Handler (velocità 15 m) Request Handler AVG Idle (velocità 5 m) Request Handler AVG Idle (velocità media) Request Handler AVG Idle (velocità 1 m) Garbage Collection G1 Old Generation Count Garbage Collection G1 Old Generation Time Garbage Collection G1 Young Generation Count Garbage Collection G1 Young Generation Time Zoosekeeper Read only connetta Zooseeper Read only connetta (15m rate) Zooseeper Read only connetta (media rate) Zooseeper Read only connetta (1 m di velocità) Network Processor Avg Idle Requests Fetch Follower Total Time (50° percentile) Requests Fetch Follower Total Time (75° percentile) Requests Fetch Follower Total Time (98° percentile) Requests Fetch Follower Total Time (999° percentile) Requests Fetch Follower Total Time (99° percentile) Richieste Fetch follower tempo totale richieste Fetch follower tempo totale richieste Max Fetch follower tempo totale richieste medie Fetch follower tempo totale richieste min Fetch follower tempo totale richieste Stddev in attesa in produzione Purgatory Richieste di rete Fetch richieste Consumer Network Fetch Consumer (tasso 5 m) Richieste di rete Fetch Consumer (tasso 15 m) Richieste di rete Recupera Consumer (tasso medio) Richieste di rete Recupera Consumer (tasso di 1 m) elezioni leader non pulite elezioni leader (tasso di 15 m) elezioni leader non pulite (tasso di 5 m) elezioni leader non pulite (tasso medio) elezioni leader non pulite (tasso di 1 m) Controller attivi memoria heap impegnata memoria heap Init Heap memoria Max Heap memoria utilizzata Zooseeper sessione scade sessione Zooseeper sessione scade (15m rate) sessione di Zooseeper scade (5 m rate) sessione di Zooseeper scade (media rate) sessione di Zooseeper scade (1m rate) errori di autenticazione di Zooseeper errori di autenticazione di Zooseeper (15m rate) errori di autenticazione di Zooseeper (5 m rate) Errori di autenticazione dello Zoosekeeper (tasso medio) errori di autenticazione dello Zooseeper (1 m tasso) tempo di elezione del leader (50° percentile) tempo di elezione del leader (75° percentile) tempo di elezione del leader (95° percentile) tempo di elezione del leader (98° percentile) tempo di elezione del leader (99° percentile) tempo di elezione del leader (15 m tasso) Tempo di elezione del leader (tasso di 5 m) tempo di elezione del leader tempo massimo di elezione del leader tempo medio di elezione del leader (tasso medio) tempo minimo di elezione del leader (tasso di 1 m) tempo di elezione del leader (stddev) Richieste di rete Fetch Follower Richieste di rete Fetch Follower (tasso di 15 m) richieste di rete Fetch Follower (tasso di 5 m) Richieste di rete Fetch follower (tasso medio) Richieste di rete Fetch follower (1m rate) Broker Topic messages Broker Topic messages (15m rate) Broker Topic messages (5m rate) Broker Topic messages (tasso medio) Broker Topic messages (1m rate) Broker Topic Bytes in Broker Topic Bytes in (15m rate) Broker Topic Bytes in (Tasso di 5 m) Broker byte topic in (tasso medio) Broker byte topic in (tasso di 1 m) Zoosekeeper disconnette Conte Zooseeper disconnette (tasso di 15 m) Zooseeper disconnette (tasso di 5 m) Zooseeper disconnette (tasso medio) Zooseeper disconnette (tasso di 1 m) Richieste di rete recupero Consumer tempo totale (50° percentile) richieste di rete recupero (tempo totale) Richieste di rete recupero Consumer Total Time (95° percentile) Richieste di rete recupero Consumer Total Time (98° percentile) Richieste di rete recupero Consumer Total Time (999° percentile) Richieste di rete recupero Consumer Total Time (99° percentile) Richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale Stddev LeaderCount richieste in attesa in Fetch Purgatory Broker argomento byte out Broker argomento byte out (15m rate) Broker Topic byte out (tasso 5 m) Broker Topic byte out (tasso medio) Broker Topic byte out (tasso 1 m) Zooseeper Authentications Zooseeper Authentications (tasso 15 m) Zooseeper Authentications (tasso 5 m) Zooseeper Authentications (tasso medio) Zooseeper Authentication (tasso 1 m) Richieste produce (tasso 15 m) richieste produrre (tasso 5 m) (Tasso medio) le richieste producono (tasso di 1 m) Replicate Manager ISR espande Replicate Manager ISR (tasso di 15 m) Replicate Manager ISR espande (tasso di 5 m) Replicate Manager ISR espande (tasso medio) Replicate Manager ISR (tasso di 1 m) Replicate Manager sotto le partizioni replicate

Oggetto:

Identificatori:

Attributi:

Punti dati:

Broker Kafka

Cluster namespace Broker

Nome nodo IP nodo

Replica Manager Fetcher Max Lag Zooseeper connessioni client Zooseeper connessioni client (velocità di 15 m) Zooseeper connessioni client (velocità di 5 m) Zooseeper connessioni client (velocità media) Zooseeper connessioni client (velocità di 1 m) Replica Manager Conteggio partizioni Conteggio thread Demon Conteggio thread picco Conteggio thread corrente Conteggio thread totale iniziato le partizioni offline producono le richieste tempo totale (50° percentile) produrre le richieste tempo totale (75° percentile) produrre le richieste tempo totale (95° percentile) produrre le richieste tempo totale (98° percentile) produrre le richieste tempo totale (999° percentile) Richieste di produzione tempo totale (99a percentile) Richieste di produzione tempo totale richieste di produzione tempo totale richieste di produzione tempo totale richieste di produzione media tempo totale richieste di produzione minima tempo totale Stddev Replica Manager ISR si restringe Replica Manager ISR si restringe (15m rate) Replica Manager ISR si restringe (5 m rate) Replica Manager ISR si restringe (Velocità media) Replicate Manager ISR (velocità 1 m) Request Handler AVG Idle Request Handler AVG Idle Handler (velocità 15 m) Request Handler AVG Idle (velocità 5 m) Request Handler AVG Idle (velocità media) Request Handler AVG Idle (velocità 1 m) Garbage Collection G1 Old Generation Count Garbage Collection G1 Old Generation Time Garbage Collection G1 Young Generation Count Garbage Collection G1 Young Generation Time Zoosekeeper Read only connetta Zooseeper Read only connetta (15m rate) Zooseeper Read only connetta (media rate) Zooseeper Read only connetta (1 m di velocità) Network Processor Avg Idle Requests Fetch Follower Total Time (50° percentile) Requests Fetch Follower Total Time (75° percentile) Requests Fetch Follower Total Time (98° percentile) Requests Fetch Follower Total Time (999° percentile) Requests Fetch Follower Total Time (99° percentile) Richieste Fetch follower tempo totale richieste Fetch follower tempo totale richieste Max Fetch follower tempo totale richieste medie Fetch follower tempo totale richieste min Fetch follower tempo totale richieste Stddev in attesa in produzione Purgatory Richieste di rete Fetch richieste Consumer Network Fetch Consumer (tasso 5 m) Richieste di rete Fetch Consumer (tasso 15 m) Richieste di rete Recupera Consumer (tasso medio) Richieste di rete Recupera Consumer (tasso di 1 m) elezioni leader non pulite elezioni leader (tasso di 15 m) elezioni leader non pulite (tasso di 5 m) elezioni leader non pulite (tasso medio) elezioni leader non pulite (tasso di 1 m) Controller attivi memoria heap impegnata memoria heap Init Heap memoria Max Heap memoria utilizzata Zooseeper sessione scade sessione Zooseeper sessione scade (15m rate) sessione di Zooseeper scade (5 m rate) sessione di Zooseeper scade (media rate) sessione di Zooseeper scade (1m rate) errori di autenticazione di Zooseeper errori di autenticazione di Zooseeper (15m rate) errori di autenticazione di Zooseeper (5 m rate) Errori di autenticazione dello Zoosekeeper (tasso medio) errori di autenticazione dello Zooseeper (1 m tasso) tempo di elezione del leader (50° percentile) tempo di elezione del leader (75° percentile) tempo di elezione del leader (95° percentile) tempo di elezione del leader (98° percentile) tempo di elezione del leader (99° percentile) tempo di elezione del leader (15 m tasso) Tempo di elezione del leader (tasso di 5 m) tempo di elezione del leader tempo massimo di elezione del leader tempo medio di elezione del leader (tasso medio) tempo minimo di elezione del leader (tasso di 1 m) tempo di elezione del leader (stddev) Richieste di rete Fetch Follower Richieste di rete Fetch Follower (tasso di 15 m) richieste di rete Fetch Follower (tasso di 5 m) Richieste di rete Fetch follower (tasso medio) Richieste di rete Fetch follower (1m rate) Broker Topic messages Broker Topic messages (15m rate) Broker Topic messages (5m rate) Broker Topic messages (tasso medio) Broker Topic messages (1m rate) Broker Topic Bytes in Broker Topic Bytes in (15m rate) Broker Topic Bytes in (Tasso di 5 m) Broker byte topic in (tasso medio) Broker byte topic in (tasso di 1 m) Zoosekeeper disconnette Conte Zooseeper disconnette (tasso di 15 m) Zooseeper disconnette (tasso di 5 m) Zooseeper disconnette (tasso medio) Zooseeper disconnette (tasso di 1 m) Richieste di rete recupero Consumer tempo totale (50° percentile) richieste di rete recupero (tempo totale) Richieste di rete recupero Consumer Total Time (95° percentile) Richieste di rete recupero Consumer Total Time (98° percentile) Richieste di rete recupero Consumer Total Time (999° percentile) Richieste di rete recupero Consumer Total Time (99° percentile) Richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale richieste di rete recupero Consumer tempo totale Stddev LeaderCount richieste in attesa in Fetch Purgatory Broker argomento byte out Broker argomento byte out (15m rate) Broker Topic byte out (tasso 5 m) Broker Topic byte out (tasso medio) Broker Topic byte out (tasso 1 m) Zooseeper Authentications Zooseeper Authentications (tasso 15 m) Zooseeper Authentications (tasso 5 m) Zooseeper Authentications (tasso medio) Zooseeper Authentication (tasso 1 m) Richieste produce (tasso 15 m) richieste produrre (tasso 5 m) (Tasso medio) le richieste producono (tasso di 1 m) Replicate Manager ISR espande Replicate Manager ISR (tasso di 15 m) Replicate Manager ISR espande (tasso di 5 m) Replicate Manager ISR espande (tasso medio) Replicate Manager ISR (tasso di 1 m) Replicate Manager sotto le partizioni replicate

Risoluzione dei problemi

Per ulteriori informazioni, consultare "Supporto" pagina.