La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Flink Data Collector

10/14/2025 Collaboratori

PDF

Data Infrastructure Insights utilizza questo strumento di raccolta dati per raccogliere metriche da Flink.

Installazione

Da Osservabilità > Collettori, fare clic su +Collettore dati. Scegli Flink.

Selezionare il sistema operativo o la piattaforma su cui è installato l'agente Telegraf.
Se non hai ancora installato un agente per la raccolta o desideri installare un agente per un sistema operativo o una piattaforma diversi, fai clic su Mostra istruzioni per espandere la"Installazione dell'agente" istruzioni.
Selezionare la chiave di accesso dell'agente da utilizzare con questo raccoglitore dati. È possibile aggiungere una nuova chiave di accesso agente facendo clic sul pulsante + Chiave di accesso agente. Procedura consigliata: utilizzare una chiave di accesso agente diversa solo quando si desidera raggruppare i raccoglitori di dati, ad esempio in base al sistema operativo/piattaforma.
Seguire i passaggi di configurazione per configurare il raccoglitore dati. Le istruzioni variano a seconda del tipo di sistema operativo o piattaforma utilizzata per raccogliere i dati.

Configurazione Flink

Impostare

Una distribuzione completa di Flink prevede i seguenti componenti:

JobManager: il sistema primario Flink. Coordina una serie di TaskManager. In una configurazione ad alta disponibilità, il sistema avrà più di un JobManager. TaskManager: è qui che vengono eseguiti gli operatori Flink. Il plugin Flink è basato sul plugin Jolokia di Telegraf. Poiché è un requisito per raccogliere informazioni da tutti i componenti Flink, JMX deve essere configurato ed esposto tramite Jolokia su tutti i componenti.

Compatibilità

La configurazione è stata sviluppata per la versione 1.7.0 di Flink.

Impostazione

Barattolo dell'agente Jolokia

Per tutti i singoli componenti è necessario scaricare una versione del file jar dell'agente Jolokia. La versione testata era"Agente Jolokia 1.6.0" .

Le istruzioni riportate di seguito presuppongono che il file jar scaricato (jolokia-jvm-1.6.0-agent.jar) sia posizionato nel percorso '/opt/flink/lib/'.

Gestore di lavori

Per configurare JobManager in modo che esponga l'API Jolokia, puoi impostare la seguente variabile di ambiente sui tuoi nodi, quindi riavviare JobManager:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Puoi scegliere una porta diversa per Jolokia (8778).  Se hai un IP interno su cui bloccare Jolokia, puoi sostituire "catch all" 0.0.0.0 con il tuo IP.  Si noti che questo IP deve essere accessibile dal plugin Telegraf.

Task Manager

Per configurare TaskManager in modo che esponga l'API Jolokia, puoi impostare la seguente variabile di ambiente sui tuoi nodi, quindi riavviare TaskManager:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Puoi scegliere una porta diversa per Jolokia (8778).  Se hai un IP interno su cui bloccare Jolokia, puoi sostituire "catch all" 0.0.0.0 con il tuo IP.  Si noti che questo IP deve essere accessibile dal plugin Telegraf.

Oggetti e contatori

Vengono raccolti i seguenti oggetti e i relativi contatori:

Oggetto:	Identificatori:	Attributi:	Punti dati:
Gestore attività Flink	Server dello spazio dei nomi del cluster	Nome nodo ID Task Manager IP nodo	Segmenti di memoria disponibili in rete Segmenti di memoria totali in rete Garbage Collection PS MarkSweep Count Tempo di Garbage Collection PS MarkSweep Count Scavenge PS Garbage Collection PS Scavenge Count Tempo di Scavenge PS Garbage Collection Heap Memory Memoria Heap impegnata Heap di inizializzazione Heap Memory massima utilizzata Thread Count Thread Daemon Count Thread di picco Thread Count Totale avviato
Lavoro Flink	ID processo del server dello spazio dei nomi del cluster	Nome nodo Nome lavoro IP nodo Ultimo checkpoint Percorso esterno Ora di riavvio	Tempo di inattività Riavvii completi Allineamento ultimo checkpoint Durata ultimo checkpoint in buffer Dimensione ultimo checkpoint Numero di checkpoint completati Numero di checkpoint non riusciti Numero di checkpoint in corso Numero di checkpoint Tempo di attività
Gestore di lavori Flink	Server dello spazio dei nomi del cluster	Nome nodo IP nodo	Conteggio PS MarkSweep di Garbage Collection Tempo PS MarkSweep di Garbage Collection Conteggio PS Scavenge di Garbage Collection Tempo PS Scavenge di Garbage Collection Memoria heap Memoria heap impegnata Memoria heap di inizializzazione Memoria heap massima utilizzata Numero di task manager registrati Numero di processi in esecuzione Slot attività Slot attività disponibili Conteggio thread totale Conteggio thread daemon Conteggio thread di picco Conteggio thread totale avviato
Compito Flink	ID lavoro spazio dei nomi cluster ID attività	Nome nodo server Nome lavoro Indice sottoattività ID tentativo attività Numero tentativo attività Nome attività ID gestore attività IP nodo Input corrente Filigrana	Utilizzo del pool di buffer Lunghezza della coda di buffer Utilizzo del pool di buffer Lunghezza della coda di buffer Numero buffer in locale Numero buffer in locale al secondo Conteggio Numero buffer in locale al secondo Numero buffer in remoto Numero buffer in remoto al secondo Conteggio Numero buffer in remoto al secondo Numero buffer in uscita Numero buffer in uscita al secondo Conteggio Numero buffer in uscita al secondo Numero byte in locale Numero byte in locale al secondo Conteggio Numero byte in locale al secondo Numero byte in remoto Numero byte in remoto al secondo Conteggio Numero byte in remoto al secondo Numero byte in uscita Numero byte in uscita al secondo Conteggio Numero byte in uscita al secondo Numero record in ingresso Numero record in ingresso al secondo Numero record in ingresso al secondo Numero record in uscita Numero record in uscita al secondo Numero record in uscita al secondo
Operatore di attività Flink	ID lavoro spazio dei nomi cluster ID operatore ID attività	Nome nodo server Nome lavoro Nome operatore Indice sottoattività ID tentativo attività Numero tentativo attività Nome attività ID gestore attività IP nodo	Filigrana di input corrente Filigrana di output corrente Numero record in ingresso Numero record in ingresso al secondo Conteggio Numero record in ingresso al secondo Numero record in uscita Numero record in uscita al secondo Conteggio Numero record in uscita al secondo Numero record in ritardo eliminati Partizioni assegnate Byte consumati Tasso Latenza commit Latenza commit media Tasso massimo commit Commit non riusciti Commit riusciti Tasso di chiusura connessione Conteggio connessioni Tasso di creazione connessione Conteggio Latenza fetch media Latenza fetch massima Tasso fetch Dimensione fetch Dimensione fetch media Tempo massimo di limitazione fetch Tempo medio di limitazione fetch Frequenza heartbeat massima Frequenza byte in ingresso Rapporto IO Tempo IO medio (ns) Rapporto di attesa IO Tempo di attesa IO medio (ns) Frequenza di unione Tempo di unione Ultimo heartbeat medio fa Frequenza IO di rete Tasso byte in uscita Record consumati Tasso Ritardo record Record massimi per richiesta Tasso medio di richiesta Dimensione richiesta Dimensione media richiesta Frequenza di risposta massima Seleziona frequenza Frequenza di sincronizzazione Tempo di sincronizzazione Tempo medio di risposta heartbeat Tempo di unione massimo Tempo di sincronizzazione massimo

Oggetto:

Identificatori:

Attributi:

Punti dati:

Gestore attività Flink

Server dello spazio dei nomi del cluster

Nome nodo ID Task Manager IP nodo

Segmenti di memoria disponibili in rete Segmenti di memoria totali in rete Garbage Collection PS MarkSweep Count Tempo di Garbage Collection PS MarkSweep Count Scavenge PS Garbage Collection PS Scavenge Count Tempo di Scavenge PS Garbage Collection Heap Memory Memoria Heap impegnata Heap di inizializzazione Heap Memory massima utilizzata Thread Count Thread Daemon Count Thread di picco Thread Count Totale avviato

Lavoro Flink

ID processo del server dello spazio dei nomi del cluster

Nome nodo Nome lavoro IP nodo Ultimo checkpoint Percorso esterno Ora di riavvio

Tempo di inattività Riavvii completi Allineamento ultimo checkpoint Durata ultimo checkpoint in buffer Dimensione ultimo checkpoint Numero di checkpoint completati Numero di checkpoint non riusciti Numero di checkpoint in corso Numero di checkpoint Tempo di attività

Gestore di lavori Flink

Server dello spazio dei nomi del cluster

Nome nodo IP nodo

Conteggio PS MarkSweep di Garbage Collection Tempo PS MarkSweep di Garbage Collection Conteggio PS Scavenge di Garbage Collection Tempo PS Scavenge di Garbage Collection Memoria heap Memoria heap impegnata Memoria heap di inizializzazione Memoria heap massima utilizzata Numero di task manager registrati Numero di processi in esecuzione Slot attività Slot attività disponibili Conteggio thread totale Conteggio thread daemon Conteggio thread di picco Conteggio thread totale avviato

Compito Flink

ID lavoro spazio dei nomi cluster ID attività

Nome nodo server Nome lavoro Indice sottoattività ID tentativo attività Numero tentativo attività Nome attività ID gestore attività IP nodo Input corrente Filigrana

Utilizzo del pool di buffer Lunghezza della coda di buffer Utilizzo del pool di buffer Lunghezza della coda di buffer Numero buffer in locale Numero buffer in locale al secondo Conteggio Numero buffer in locale al secondo Numero buffer in remoto Numero buffer in remoto al secondo Conteggio Numero buffer in remoto al secondo Numero buffer in uscita Numero buffer in uscita al secondo Conteggio Numero buffer in uscita al secondo Numero byte in locale Numero byte in locale al secondo Conteggio Numero byte in locale al secondo Numero byte in remoto Numero byte in remoto al secondo Conteggio Numero byte in remoto al secondo Numero byte in uscita Numero byte in uscita al secondo Conteggio Numero byte in uscita al secondo Numero record in ingresso Numero record in ingresso al secondo Numero record in ingresso al secondo Numero record in uscita Numero record in uscita al secondo Numero record in uscita al secondo

Operatore di attività Flink

ID lavoro spazio dei nomi cluster ID operatore ID attività

Nome nodo server Nome lavoro Nome operatore Indice sottoattività ID tentativo attività Numero tentativo attività Nome attività ID gestore attività IP nodo

Filigrana di input corrente Filigrana di output corrente Numero record in ingresso Numero record in ingresso al secondo Conteggio Numero record in ingresso al secondo Numero record in uscita Numero record in uscita al secondo Conteggio Numero record in uscita al secondo Numero record in ritardo eliminati Partizioni assegnate Byte consumati Tasso Latenza commit Latenza commit media Tasso massimo commit Commit non riusciti Commit riusciti Tasso di chiusura connessione Conteggio connessioni Tasso di creazione connessione Conteggio Latenza fetch media Latenza fetch massima Tasso fetch Dimensione fetch Dimensione fetch media Tempo massimo di limitazione fetch Tempo medio di limitazione fetch Frequenza heartbeat massima Frequenza byte in ingresso Rapporto IO Tempo IO medio (ns) Rapporto di attesa IO Tempo di attesa IO medio (ns) Frequenza di unione Tempo di unione Ultimo heartbeat medio fa Frequenza IO di rete Tasso byte in uscita Record consumati Tasso Ritardo record Record massimi per richiesta Tasso medio di richiesta Dimensione richiesta Dimensione media richiesta Frequenza di risposta massima Seleziona frequenza Frequenza di sincronizzazione Tempo di sincronizzazione Tempo medio di risposta heartbeat Tempo di unione massimo Tempo di sincronizzazione massimo

Risoluzione dei problemi

Ulteriori informazioni possono essere trovate presso"Supporto" pagina.