Skip to main content
Data Infrastructure Insights
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Kafka-Datensammler

Beitragende netapp-alavoie
PDFs

Data Infrastructure Insights verwendet diesen Datensammler, um Metriken von Kafka zu sammeln.

Installation

  1. Klicken Sie unter Observability > Collectors auf +Data Collector. Wählen Sie Kafka.

    Wählen Sie das Betriebssystem oder die Plattform aus, auf der der Telegraf-Agent installiert ist.

  2. Wenn Sie noch keinen Agenten für die Sammlung installiert haben oder einen Agenten für ein anderes Betriebssystem oder eine andere Plattform installieren möchten, klicken Sie auf Anweisungen anzeigen, um das"Agenteninstallation" Anweisungen.

  3. Wählen Sie den Agent-Zugriffsschlüssel zur Verwendung mit diesem Datensammler aus. Sie können einen neuen Agentenzugriffsschlüssel hinzufügen, indem Sie auf die Schaltfläche + Agentenzugriffsschlüssel klicken. Best Practice: Verwenden Sie nur dann einen anderen Agent-Zugriffsschlüssel, wenn Sie Datensammler beispielsweise nach Betriebssystem/Plattform gruppieren möchten.

  4. Befolgen Sie die Konfigurationsschritte, um den Datensammler zu konfigurieren. Die Anweisungen variieren je nach Art des Betriebssystems oder der Plattform, die Sie zum Sammeln von Daten verwenden.

Kafka-Konfiguration

Aufstellen

Das Kafka-Plugin basiert auf dem Jolokia-Plugin von Telegraf. Um beispielsweise Informationen von allen Kafka-Brokern zu sammeln, muss JMX auf allen Komponenten konfiguriert und über Jolokia verfügbar gemacht werden.

Kompatibilität

Die Konfiguration wurde für Kafka Version 0.11.0.2 entwickelt.

Einrichten

Bei allen folgenden Anweisungen wird davon ausgegangen, dass Ihr Installationsort für Kafka „/opt/kafka“ ist. Sie können die folgenden Anweisungen an Ihren Installationsort anpassen.

Jolokia Agent Jar

Eine Version, die die Jolokia-Agent-JAR-Datei haben muss"heruntergeladen" . Die getestete Version war Jolokia Agent 1.6.0.

Die folgenden Anweisungen gehen davon aus, dass die heruntergeladene JAR-Datei (jolokia-jvm-1.6.0-agent.jar) am Speicherort „/opt/kafka/libs/“ abgelegt ist.

Kafka-Broker

Um Kafka Brokers so zu konfigurieren, dass die Jolokia-API verfügbar gemacht wird, können Sie Folgendes in <KAFKA_HOME>/bin/kafka-server-start.sh direkt vor dem Aufruf von „kafka-run-class.sh“ hinzufügen:

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Beachten Sie, dass im obigen Beispiel „hostname -I“ verwendet wird, um die Umgebungsvariable „RMI_HOSTNAME“ einzurichten. Bei Maschinen mit mehreren IP-Adressen muss dies angepasst werden, um die IP-Adresse zu erfassen, die für RMI-Verbindungen von Bedeutung ist.

Sie können für JMX (9999 oben) und Jolokia (8778) einen anderen Port wählen. Wenn Sie eine interne IP haben, auf die Sie Jolokia sperren möchten, können Sie die „Catch-All“-IP 0.0.0.0 durch Ihre eigene IP ersetzen. Beachten Sie, dass diese IP vom Telegraf-Plugin aus zugänglich sein muss. Sie können die Option „-Dcom.sun.management.jmxremote.authenticate=false“ verwenden, wenn Sie keine Authentifizierung wünschen. Die Nutzung erfolgt auf eigene Gefahr.

Objekte und Zähler

Die folgenden Objekte und ihre Zähler werden gesammelt:

Objekt: Kennungen: Merkmale:

Kafka Broker

Cluster-Namespace-Broker

Knotenname Knoten-IP

Fehlerbehebung

Weitere Informationen finden Sie in der"Support" Seite.