Skip to main content
Data Infrastructure Insights
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Collecteur de données Kafka

Contributeurs
PDF

Data Infrastructure Insights utilise ce collecteur de données pour collecter les metrics de Kafka.

Installation

  1. Dans observabilité > Collectors, cliquez sur +Data Collector. Choisissez Kafka.

    Sélectionnez le système d'exploitation ou la plate-forme sur laquelle l'agent Telegraf est installé.

  2. Si vous n'avez pas déjà installé un agent pour la collecte ou si vous souhaitez installer un agent pour un autre système d'exploitation ou une autre plate-forme, cliquez sur Afficher les instructions pour développer les "Installation de l'agent"instructions.

  3. Sélectionnez la clé d'accès de l'agent à utiliser avec ce collecteur de données. Vous pouvez ajouter une nouvelle clé d'accès à l'agent en cliquant sur le bouton * + clé d'accès à l'agent*. Meilleure pratique : utilisez une clé d'accès d'agent différente uniquement lorsque vous souhaitez regrouper des collecteurs de données, par exemple, par OS/plate-forme.

  4. Suivez les étapes de configuration pour configurer le collecteur de données. Les instructions varient en fonction du type de système d'exploitation ou de plate-forme utilisé pour collecter des données.

Configuration Kafka

Configuration

Le plug-in Kafka est basé sur le plug-in Jolokia de telegraf. Par exemple, pour recueillir des informations auprès de tous les courtiers Kafka, JMX doit être configuré et exposé via Jolokia sur tous les composants.

Compatibilité

La configuration a été développée par rapport à Kafka version 0.11.0.2.

Configuration

Toutes les instructions ci-dessous supposent que votre emplacement d'installation pour kafka est '/opt/kafka'. Vous pouvez adapter les instructions ci-dessous en fonction de votre emplacement d'installation.

Bol d'agent Jolokia

Une version le fichier JAR de l'agent Jolokia doit être "téléchargé". La version testée était l'agent Jolokia 1.6.0.

Les instructions ci-dessous supposent que le fichier jar téléchargé (jolokia-jvm-1.6.0-agent.jar) est placé sous l'emplacement '/opt/kafka/libs/'.

Kafka Brokers

Pour configurer Kafka Brokers afin d'exposer l'API Jolokia, vous pouvez ajouter ce qui suit dans <KAFKA_HOME>/bin/kafka-Server-start.sh, juste avant l'appel kafka-run-class.sh :

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Notez que l'exemple ci-dessus utilise 'hostname -i' pour configurer la variable d'environnement 'RMI_HOSTNAME'. Dans plusieurs machines IP, vous devez modifier cette configuration pour recueillir l'IP sur laquelle vous vous prenez en charge pour les connexions RMI.

Vous pouvez choisir un autre port pour JMX (9999 ci-dessus) et Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf. Vous pouvez utiliser l'option -Dcom.sun.management.jmxremote.authenticate=false' si vous ne souhaitez pas vous authentifier. Utilisation à vos propres risques.

Objets et compteurs

Les objets suivants et leurs compteurs sont collectés :

Objet : Identifiants : Attributs :

Courtier Kafka

Courtier d'espace de noms de cluster

IP du nœud de nom de nœud

Dépannage

Vous trouverez des informations supplémentaires sur la "Assistance" page.