Skip to main content
Cloud Insights
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Kafka Data Collector

Beitragende

Cloud Insights verwendet diese Datensammler, um Metriken aus Kafka zu sammeln.

Installation

  1. Klicken Sie unter Observability > Collectors auf +Data Collector. Wählen Sie Kafka.

    Wählen Sie das Betriebssystem oder die Plattform aus, auf dem der Telegraf-Agent installiert ist.

  2. Wenn Sie noch keinen Agent für die Sammlung installiert haben oder einen Agent für ein anderes Betriebssystem oder eine andere Plattform installieren möchten, klicken Sie auf Anweisungen anzeigen, um das zu erweitern "Agenten-Installation" Anweisungen.

  3. Wählen Sie den Agent-Zugriffsschlüssel für diesen Datensammler aus. Sie können einen neuen Agent-Zugriffsschlüssel hinzufügen, indem Sie auf die Schaltfläche + Agent Access Key klicken. Best Practice: Verwenden Sie einen anderen Agent-Zugriffsschlüssel nur, wenn Sie Datensammler gruppieren möchten, zum Beispiel nach Betriebssystem/Plattform.

  4. Befolgen Sie die Konfigurationsschritte, um den Datensammler zu konfigurieren. Die Anweisungen hängen vom Betriebssystem oder der Plattform ab, die Sie zur Datenerfassung verwenden.

Konfiguration von Kafka

Einrichtung

Das Kafka Plugin basiert auf dem telegraf's Jolokia Plugin. Um Informationen aus allen Kafka-Brokern zu sammeln, muss JMX über Jolokia auf allen Komponenten konfiguriert und zugänglich gemacht werden.

Kompatibilität

Konfiguration wurde gegen Kafka Version 0.11.0 entwickelt.

Einrichtung

Alle Anweisungen unten Nehmen wir an, dass Ihr Installationsort für kafka '/opt/kafka' ist. Sie können die nachfolgenden Anweisungen an Ihren Installationsort anpassen.

Jolokia Agent Jar

Eine Version die Jolokia Agent jar-Datei muss sein "Heruntergeladen". Die gegen die Version getestete war Jolokia Agent 1.6.0.

Anweisungen unten gehen davon aus, dass die heruntergeladene JAR-Datei (jolokia-jvm-1.6.0-Agent.jar) unter dem Speicherort '/opt/kafka/libs/' abgelegt wird.

Kafka Brokers

Um Kafka Brokers so zu konfigurieren, dass sie die Jolokia API aussetzen, können Sie in <KAFKA_HOME>/bin/kafka-Server-Start.sh kurz vor dem Anruf „kafka-run-class.sh“ Folgendes hinzufügen:

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Beachten Sie, dass das obige Beispiel 'Hostname -i' verwendet, um die Umgebungsvariable 'RMI_HOSTNAME' einzurichten. In mehreren IP-Maschinen muss dies optimiert werden, um die IP, die Sie für RMI-Verbindungen interessieren, zu erfassen.

Sie können einen anderen Port für JMX (9999 oben) und Jolokia (8778) wählen. Wenn Sie eine interne IP haben, um Jolokia zu sperren, können Sie die „Catch all“ 0.0.0.0 durch Ihre eigene IP ersetzen. Beachten Sie, dass diese IP über das telegraf-Plugin zugänglich sein muss. Sie können die Option '-Dcom.sun.management.jmxremote.authenticate=false' verwenden, wenn Sie nicht authentifizieren möchten. Nutzung auf eigenes Risiko.

Objekte und Zähler

Folgende Objekte und ihre Zähler werden gesammelt:

Objekt: Kennungen: Attribute: Datenpunkte:

Kafka Broker

Cluster Namespace Broker

Node Name Node-IP

Replikatmanager Fetcher Max Lag Zookeeper Client-Verbindungen Zookeeper Client-Verbindungen (15 m Rate) Zookeeper Client-Verbindungen (5 m Rate) Zookeeper Client-Verbindungen (mittlere Rate) Zookeeper Client-Verbindungen (1 m Rate) Anzahl der Threads des Replikatmanagers Anzahl der Threads Anzahl der Threads Anzahl der Threads Anzahl der Threads Anzahl der aktuellen Lesevorgänge Anzahl der insgesamt gestarteten Offline-Partitionen Anfragen Gesamtzeit (50. Perzentil) Anfragen produzieren Gesamtzeit (75. Perzentil) Anfragen produzieren Gesamtzeit (98 Perzentil) Anfragen produzieren Gesamtzeit (999. Perzentil) Erstellen von Anfragen Gesamtzeit (9th Perzentil) Erstellen von Anfragen Gesamt Zeit produzieren Anfragen Gesamt Zeit produzieren Max produzieren Anfragen Gesamt Zeit Mittelwert produzieren Anfragen Gesamtzeit Min Erzeugungsanforderungen Total Zeit Max Gesamtzeit Gesamt Zeit Stddev Replica Manager ISR reduziert Replikatmanager verkleinert ISR (15 m Rate) Replica Manager ISR reduziert (5 m Rate) Replica Manager ISR reduziert (Mittlere Rate) Replica Manager ISR-Shrink (1-m-Rate) Anforderung Handler durchschn. Leerlaufanfrage (15-m-Rate) Anforderung Handler durchschn. Leerlaufabsatz (5-m-Rate) Anforderung Handler durchschn. Idle (1-m-Rate) Garbage Collection G1 Anzahl der alten Generationen Garbage Collection G1 Old Generation Time Garbage Collection G1 Young Generation Time Zookeeper Read Only Connects Zookeeper Read Only Connects (15 m Rate) Zookeeper Read Only Connects (5 m Rate) Zookeeper Read Only Connects (mittlere Rate) Zookeeper Read Only Connects (1m Rate) Netzwerkprozessor, durchschn. Leerlaufanforderungen, die folgende Total Time (50. Perzentil)-Anforderungen abrufen, um folgende Anfragen zu holen (75. Perzentil), die folgende Total Time (98. Perzentil)-Anforderungen (99. Perzentil) abrufen, um folgende Anfragen zu erfüllen (99. Perzentil) Anfragen holen follower Gesamtzeit Anfragen holen Follower Gesamtzeit Max Anfragen holen Follower Gesamtzeit Mittelwert Anfragen holen Follower Gesamtzeit Min Anfragen holen Follower Gesamtzeit Stddev-Anfragen warten auf produzieren Purgatory Netzwerkanfragen holen Consumer Network Requests holen Consumer (5m Rate) Netzwerkanfragen fetch Consumer (15m Rate) Netzwerkanfragen holen Verbraucher (Mittelwert) Netzwerkanfragen holen Verbraucher (1 Mio. Satz) unreine Wahlen von Anführern Unreine Wahlen (15 Mio. Rate) unreine Wahlen von Anführern (5 Mio. Rate) unreine Wahlen von Anführern (Mittelwert) unreine Wahlen von Anführern (1 Mio.) Aktive Controller Heap Memory engagierte Heap-Speicher Init Heap-Speicher Max Heap-Speicher verwendete Zookeeper-Sitzung läuft ab Zookeeper-Sitzung läuft ab (15 m Rate) Zookeeper-Sitzung läuft ab (5 m Rate) Zookeeper-Sitzung läuft ab (1 m Rate) Zookeeper-Authentifizierungsfehler Zookeeper-Authentifizierung (15 m-Rate) ZooKeeper Authentication Failures (Mean Rate) Zookeeper Authentication Failures (1m Rate) Leader Election time (50th perzentile) Leader Election time (75th perzentile) Leader Election time (98. Perzentil) Leader Election Time (999. Perzentil) Leader Election Time (15m Rate) Leader Wahlzeit (5m Rate) Leader Wahlzeit Max Leader Wahlzeit Mittelwert Wahlzeit (mittlere Rate) Wahlzeit der Anführer Wahlzeit Min. Wahlzeit (1m Rate) Leader Wahlzeit (stddev) Netzwerkanfragen fetch follower Netzwerkanfragen fetch follower (15m Rate) Netzwerkanfragen fetch follower (5m Rate) Netzwerkanfragen Holen follower (Mean Rate) Netzwerkanfragen fetch follower (1m Rate) Broker Topic Messages Broker Topic Messages (15 m Rate) Broker Topic Messages (5 m Rate) Broker Topic Messages (mittlere Rate) Broker Topic Bytes in (15 m Rate) Broker Topic Bytes in (5-m-Rate) Broker-Themenbytes in (mittlere Rate) Broker-Themenbytes in (1-m-Rate) Zookeeper trennt Verbindungen Anzahl Zookeeper trennt (15-m-Rate) Zookeeper trennt Verbindungen (5-m-Rate) Zookeeper trennt (1-m-Rate) Netzwerkanforderungen holen Endzeit (50. Perzentil) Netzwerkanfragen holen Konsumdauer (75. Perzentil) Netzwerkanforderungen holen Netzwerkanfragen vom Verbraucher (95. Perzentil), die die Gesamtzeit des Verbrauchers (98. Perzentil) holen Netzwerkanfragen vom Verbraucher die Gesamtzeit (999. Perzentil) ab. Netzwerkanfragen holen die Gesamtzeit für den Verbraucher (99. Perzentil). Netzwerkanforderungen abrufen Gesamtzeit Netzwerkanforderungen abrufen Verbraucher Gesamtzeit Max Netzwerkanforderungen abrufen Gesamt Zeit abrufen Gesamt Mittelwerte Netzwerkanforderungen abrufen Verbraucher Gesamtzeit Min Netzwerkanfragen abrufen Verbrauchszähler Anfragen warten in Abrufen von Purgatory Broker Thema Bytes out Broker Thema Bytes out (15 m Rate) Broker Thema Byte Out (5m Rate) Broker Thema Bytes out (mittlere Rate) Broker Thema Bytes out (1m Rate) Zookeeper-Authentifizierungen Zookeeper-Authentifizierungen (15 m Rate) Zookeeper-Authentifizierungen (5 m Rate) Zookeeper-Authentifizierungen (1 m Rate) Requests produzieren Anzahl Anfragen produzieren (15 m Rate) Anfragen produzieren (5 m Rate) Anfragen produzieren (Mittlere Rate) Anfragen produzieren (1 m Rate) Replica Manager ISR erweitert Replica Manager ISR erweitert (15 m Rate) Replica Manager ISR erweitert (5 m Rate) Replica Manager ISR erweitert (mittlere Rate) Replica Manager ISR erweitert (1 m Rate) Replica Manager unter replizierte Partitionen

Fehlerbehebung

Weitere Informationen finden Sie im "Unterstützung" Seite.