Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Flink-Datensammler

10/14/2025 Beitragende

PDFs

Data Infrastructure Insights verwendet diesen Datensammler, um Metriken von Flink zu sammeln.

Installation

Klicken Sie unter Observability > Collectors auf +Data Collector. Wählen Sie Flink.

Wählen Sie das Betriebssystem oder die Plattform aus, auf der der Telegraf-Agent installiert ist.
Wenn Sie noch keinen Agenten für die Sammlung installiert haben oder einen Agenten für ein anderes Betriebssystem oder eine andere Plattform installieren möchten, klicken Sie auf Anweisungen anzeigen, um das"Agenteninstallation" Anweisungen.
Wählen Sie den Agent-Zugriffsschlüssel zur Verwendung mit diesem Datensammler aus. Sie können einen neuen Agentenzugriffsschlüssel hinzufügen, indem Sie auf die Schaltfläche + Agentenzugriffsschlüssel klicken. Best Practice: Verwenden Sie nur dann einen anderen Agent-Zugriffsschlüssel, wenn Sie Datensammler beispielsweise nach Betriebssystem/Plattform gruppieren möchten.
Befolgen Sie die Konfigurationsschritte, um den Datensammler zu konfigurieren. Die Anweisungen variieren je nach Art des Betriebssystems oder der Plattform, die Sie zum Sammeln von Daten verwenden.

Flink-Konfiguration

Aufstellen

Eine vollständige Flink-Bereitstellung umfasst die folgenden Komponenten:

JobManager: Das Flink-Primärsystem. Koordiniert eine Reihe von TaskManagern. In einer Hochverfügbarkeitskonfiguration verfügt das System über mehr als einen JobManager. TaskManager: Hier werden Flink-Operatoren ausgeführt. Das Flink-Plugin basiert auf dem Jolokia-Plugin von Telegraf. Um beispielsweise Informationen von allen Flink-Komponenten zu sammeln, muss JMX auf allen Komponenten konfiguriert und über Jolokia verfügbar gemacht werden.

Kompatibilität

Die Konfiguration wurde für Flink Version 1.7.0 entwickelt.

Einrichten

Jolokia Agent Jar

Für alle Einzelkomponenten muss eine Version der Jolokia-Agent-JAR-Datei heruntergeladen werden. Die getestete Version war"Jolokia-Agent 1.6.0" .

Die folgenden Anweisungen gehen davon aus, dass die heruntergeladene JAR-Datei (jolokia-jvm-1.6.0-agent.jar) am Speicherort „/opt/flink/lib/“ abgelegt ist.

JobManager

Um JobManager so zu konfigurieren, dass die Jolokia-API verfügbar gemacht wird, können Sie die folgende Umgebungsvariable auf Ihren Knoten einrichten und dann den JobManager neu starten:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Sie können für Jolokia einen anderen Port (8778) wählen.  Wenn Sie eine interne IP haben, auf die Sie Jolokia sperren möchten, können Sie die „Catch-All“-IP 0.0.0.0 durch Ihre eigene IP ersetzen.  Beachten Sie, dass diese IP vom Telegraf-Plugin aus zugänglich sein muss.

Task-Manager

Um TaskManager so zu konfigurieren, dass sie die Jolokia-API verfügbar machen, können Sie die folgende Umgebungsvariable auf Ihren Knoten einrichten und dann den TaskManager neu starten:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Sie können für Jolokia einen anderen Port (8778) wählen.  Wenn Sie eine interne IP haben, auf die Sie Jolokia sperren möchten, können Sie die „Catch-All“-IP 0.0.0.0 durch Ihre eigene IP ersetzen.  Beachten Sie, dass diese IP vom Telegraf-Plugin aus zugänglich sein muss.

Objekte und Zähler

Die folgenden Objekte und ihre Zähler werden gesammelt:

Objekt:	Kennungen:	Merkmale:	Datenpunkte:
Flink Task-Manager	Cluster-Namespace-Server	Knotenname Task-Manager-ID Knoten-IP	Verfügbare Netzwerkspeichersegmente Netzwerkspeichersegmente gesamt Garbage Collection PS MarkSweep-Anzahl Garbage Collection PS MarkSweep-Zeit Garbage Collection PS Scavenge-Anzahl Garbage Collection PS Scavenge-Zeit Heap-Speicher zugesichert Heap-Speicher initialisieren Heap-Speicher max. Verwendeter Heap-Speicher Thread-Anzahl Daemon-Threads Spitzen-Thread-Anzahl Thread-Anzahl insgesamt gestartet
Flink Job	Job-ID des Cluster-Namespace-Servers	Knotenname Jobname Knoten-IP Letzter Prüfpunkt Externer Pfad Neustartzeit	Ausfallzeit Vollständige Neustarts Ausrichtung des letzten Prüfpunkts Gepuffert Dauer des letzten Prüfpunkts Größe des letzten Prüfpunkts Anzahl abgeschlossener Prüfpunkte Anzahl fehlgeschlagener Prüfpunkte Anzahl laufender Prüfpunkte Anzahl Prüfpunkte Betriebszeit
Flink Job Manager	Cluster-Namespace-Server	Knotenname Knoten-IP	Garbage Collection PS MarkSweep-Anzahl Garbage Collection PS MarkSweep-Zeit Garbage Collection PS Scavenge-Anzahl Garbage Collection PS Scavenge-Zeit Heap-Speicher zugesichert Heap-Speicher initialisieren Heap-Speicher max. verwendeter Heap-Speicher Anzahl registrierter Task-Manager Anzahl laufender Jobs Verfügbare Task-Slots Gesamt-Thread-Anzahl Daemon-Thread-Anzahl Spitzen-Thread-Anzahl Threads insgesamt gestartet
Flink-Aufgabe	Cluster-Namespace Job-ID Aufgaben-ID	Serverknotenname Jobname Sub-Task-Index Task-Versuchs-ID Task-Versuchsnummer Taskname Task-Manager-ID Knoten-IP Aktuelles Eingabewasserzeichen	Puffer im Pool, Nutzung, Puffer in Warteschlangenlänge, Puffer aus, Pool, Nutzung, Puffer aus, Warteschlangenlänge, Anzahl, Puffer lokal, Anzahl, Puffer lokal pro Sekunde, Anzahl, Puffer lokal pro Sekunde, Rate, Anzahl, Puffer extern, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Rate, Anzahl, Puffer extern, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Rate, Anzahl, Bytes lokal, Anzahl, Bytes lokal pro Sekunde, Anzahl, Bytes lokal pro Sekunde, Rate, Anzahl, Bytes lokal pro Sekunde, Rate, Anzahl, Bytes extern, Anzahl, Bytes extern pro Sekunde, Anzahl, Bytes extern pro Sekunde, Rate, Anzahl, Bytes extern pro Sekunde, Anzahl, Bytes extern pro Sekunde, Rate, Anzahl, Datensätze extern, Anzahl, Datensätze extern pro Sekunde, Rate, Anzahl, Datensätze extern, Anzahl, Datensätze extern pro Sekunde, Rate, Anzahl, Datensätze extern pro Sekunde
Flink-Task-Operator	Cluster-Namespace Job-ID Operator-ID Aufgaben-ID	Serverknotenname Jobname Operatorname Sub-Task-Index Task-Versuchs-ID Task-Versuchsnummer Taskname Task-Manager-ID Knoten-IP	Aktuelles Eingabe-Wasserzeichen Aktuelles Ausgabe-Wasserzeichen Anzahl Datensätze (ein) Anzahl Datensätze (ein) pro Sekunde Anzahl Datensätze (ein) pro Sekunde Rate Anzahl Datensätze (aus) Anzahl Datensätze (aus) pro Sekunde Anzahl Datensätze (aus) pro Sekunde Rate Anzahl verspätet gelöschte Datensätze Zugewiesene Partitionen Verbrauchte Byte-Rate Commit-Latenz (Durchschnitt) Commit-Latenz (Maximal) Commit-Rate Fehlgeschlagene Commits Erfolgreiche Commits Verbindungsabschlussrate Anzahl Verbindungen Anzahl Verbindungserstellungsrate Anzahl Abruflatenz (Durchschnitt) Max. Abruflatenz Abrufrate (Durchschnitt) Abrufgröße (Maximal) Abrufgröße (Maximal) Abrufdrosselzeit (Durchschnitt) Max. Abrufdrosselzeit Heartbeat-Rate Eingehende Byte-Rate IO-Verhältnis IO-Zeit (Durchschnitt) (ns) IO-Warteverhältnis IO-Wartezeit (Durchschnitt) Join-Rate durchschnittliche Join-Zeit vor dem letzten Heartbeat Netzwerk-IO-Rate Ausgehende Byte-Rate Verbrauchte Datensätze Rate der Datensätze Verzögerung (Maximal) Datensätze pro Anfrage durchschnittliche Anfragerate Anfragegröße durchschnittliche Anfragegröße (Maximal) Antwortrate Auswahlrate Synchronisierungsrate Synchronisierungszeit durchschnittliche Heartbeat-Antwortzeit (Maximal)

Objekt:

Kennungen:

Merkmale:

Datenpunkte:

Flink Task-Manager

Cluster-Namespace-Server

Knotenname Task-Manager-ID Knoten-IP

Verfügbare Netzwerkspeichersegmente Netzwerkspeichersegmente gesamt Garbage Collection PS MarkSweep-Anzahl Garbage Collection PS MarkSweep-Zeit Garbage Collection PS Scavenge-Anzahl Garbage Collection PS Scavenge-Zeit Heap-Speicher zugesichert Heap-Speicher initialisieren Heap-Speicher max. Verwendeter Heap-Speicher Thread-Anzahl Daemon-Threads Spitzen-Thread-Anzahl Thread-Anzahl insgesamt gestartet

Flink Job

Job-ID des Cluster-Namespace-Servers

Knotenname Jobname Knoten-IP Letzter Prüfpunkt Externer Pfad Neustartzeit

Ausfallzeit Vollständige Neustarts Ausrichtung des letzten Prüfpunkts Gepuffert Dauer des letzten Prüfpunkts Größe des letzten Prüfpunkts Anzahl abgeschlossener Prüfpunkte Anzahl fehlgeschlagener Prüfpunkte Anzahl laufender Prüfpunkte Anzahl Prüfpunkte Betriebszeit

Flink Job Manager

Cluster-Namespace-Server

Knotenname Knoten-IP

Garbage Collection PS MarkSweep-Anzahl Garbage Collection PS MarkSweep-Zeit Garbage Collection PS Scavenge-Anzahl Garbage Collection PS Scavenge-Zeit Heap-Speicher zugesichert Heap-Speicher initialisieren Heap-Speicher max. verwendeter Heap-Speicher Anzahl registrierter Task-Manager Anzahl laufender Jobs Verfügbare Task-Slots Gesamt-Thread-Anzahl Daemon-Thread-Anzahl Spitzen-Thread-Anzahl Threads insgesamt gestartet

Flink-Aufgabe

Cluster-Namespace Job-ID Aufgaben-ID

Serverknotenname Jobname Sub-Task-Index Task-Versuchs-ID Task-Versuchsnummer Taskname Task-Manager-ID Knoten-IP Aktuelles Eingabewasserzeichen

Puffer im Pool, Nutzung, Puffer in Warteschlangenlänge, Puffer aus, Pool, Nutzung, Puffer aus, Warteschlangenlänge, Anzahl, Puffer lokal, Anzahl, Puffer lokal pro Sekunde, Anzahl, Puffer lokal pro Sekunde, Rate, Anzahl, Puffer extern, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Rate, Anzahl, Puffer extern, Anzahl, Puffer extern pro Sekunde, Anzahl, Puffer extern pro Sekunde, Rate, Anzahl, Bytes lokal, Anzahl, Bytes lokal pro Sekunde, Anzahl, Bytes lokal pro Sekunde, Rate, Anzahl, Bytes lokal pro Sekunde, Rate, Anzahl, Bytes extern, Anzahl, Bytes extern pro Sekunde, Anzahl, Bytes extern pro Sekunde, Rate, Anzahl, Bytes extern pro Sekunde, Anzahl, Bytes extern pro Sekunde, Rate, Anzahl, Datensätze extern, Anzahl, Datensätze extern pro Sekunde, Rate, Anzahl, Datensätze extern, Anzahl, Datensätze extern pro Sekunde, Rate, Anzahl, Datensätze extern pro Sekunde

Flink-Task-Operator

Cluster-Namespace Job-ID Operator-ID Aufgaben-ID

Serverknotenname Jobname Operatorname Sub-Task-Index Task-Versuchs-ID Task-Versuchsnummer Taskname Task-Manager-ID Knoten-IP

Aktuelles Eingabe-Wasserzeichen Aktuelles Ausgabe-Wasserzeichen Anzahl Datensätze (ein) Anzahl Datensätze (ein) pro Sekunde Anzahl Datensätze (ein) pro Sekunde Rate Anzahl Datensätze (aus) Anzahl Datensätze (aus) pro Sekunde Anzahl Datensätze (aus) pro Sekunde Rate Anzahl verspätet gelöschte Datensätze Zugewiesene Partitionen Verbrauchte Byte-Rate Commit-Latenz (Durchschnitt) Commit-Latenz (Maximal) Commit-Rate Fehlgeschlagene Commits Erfolgreiche Commits Verbindungsabschlussrate Anzahl Verbindungen Anzahl Verbindungserstellungsrate Anzahl Abruflatenz (Durchschnitt) Max. Abruflatenz Abrufrate (Durchschnitt) Abrufgröße (Maximal) Abrufgröße (Maximal) Abrufdrosselzeit (Durchschnitt) Max. Abrufdrosselzeit Heartbeat-Rate Eingehende Byte-Rate IO-Verhältnis IO-Zeit (Durchschnitt) (ns) IO-Warteverhältnis IO-Wartezeit (Durchschnitt) Join-Rate durchschnittliche Join-Zeit vor dem letzten Heartbeat Netzwerk-IO-Rate Ausgehende Byte-Rate Verbrauchte Datensätze Rate der Datensätze Verzögerung (Maximal) Datensätze pro Anfrage durchschnittliche Anfragerate Anfragegröße durchschnittliche Anfragegröße (Maximal) Antwortrate Auswahlrate Synchronisierungsrate Synchronisierungszeit durchschnittliche Heartbeat-Antwortzeit (Maximal)

Fehlerbehebung

Weitere Informationen finden Sie in der"Support" Seite.