Skip to main content
Cloud Insights
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Collecteur de données Kafka

Contributeurs

Cloud Insights utilise ce collecteur de données pour collecter les mesures à partir de Kafka.

Installation

  1. Dans observabilité > Collectors, cliquez sur +Data Collector. Choisissez Kafka.

    Sélectionnez le système d'exploitation ou la plate-forme sur laquelle l'agent Telegraf est installé.

  2. Si vous n'avez pas déjà installé un agent pour la collecte ou si vous souhaitez installer un agent pour un autre système d'exploitation ou plate-forme, cliquez sur Afficher les instructions pour développer le "Installation de l'agent" instructions.

  3. Sélectionnez la clé d'accès de l'agent à utiliser avec ce collecteur de données. Vous pouvez ajouter une nouvelle clé d'accès à l'agent en cliquant sur le bouton * + clé d'accès à l'agent*. Meilleure pratique : utilisez une clé d'accès d'agent différente uniquement lorsque vous souhaitez regrouper des collecteurs de données, par exemple, par OS/plate-forme.

  4. Suivez les étapes de configuration pour configurer le collecteur de données. Les instructions varient en fonction du type de système d'exploitation ou de plate-forme utilisé pour collecter des données.

Configuration Kafka

Configuration

Le plug-in Kafka est basé sur le plug-in Jolokia de telegraf. Par exemple, pour recueillir des informations auprès de tous les courtiers Kafka, JMX doit être configuré et exposé via Jolokia sur tous les composants.

Compatibilité

La configuration a été développée par rapport à Kafka version 0.11.0.2.

Configuration

Toutes les instructions ci-dessous supposent que votre emplacement d'installation pour kafka est '/opt/kafka'. Vous pouvez adapter les instructions ci-dessous en fonction de votre emplacement d'installation.

Bol d'agent Jolokia

Une version le fichier JAR de l'agent Jolokia doit être "téléchargé". La version testée était l'agent Jolokia 1.6.0.

Les instructions ci-dessous supposent que le fichier jar téléchargé (jolokia-jvm-1.6.0-agent.jar) est placé sous l'emplacement '/opt/kafka/libs/'.

Kafka Brokers

Pour configurer Kafka Brokers afin d'exposer l'API Jolokia, vous pouvez ajouter ce qui suit dans <KAFKA_HOME>/bin/kafka-Server-start.sh, juste avant l'appel kafka-run-class.sh :

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

Notez que l'exemple ci-dessus utilise 'hostname -i' pour configurer la variable d'environnement 'RMI_HOSTNAME'. Dans plusieurs machines IP, vous devez modifier cette configuration pour recueillir l'IP sur laquelle vous vous prenez en charge pour les connexions RMI.

Vous pouvez choisir un autre port pour JMX (9999 ci-dessus) et Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf. Vous pouvez utiliser l'option -Dcom.sun.management.jmxremote.authenticate=false' si vous ne souhaitez pas vous authentifier. Utilisation à vos propres risques.

Objets et compteurs

Les objets suivants et leurs compteurs sont collectés :

Objet : Identifiants : Attributs : Points de données :

Courtier Kafka

Courtier d'espace de noms de cluster

IP du nœud de nom de nœud

Replica Manager fetcher Max Lag Zookeeper connexions client Zookeeper (débit de 15 m) connexions client Zookeeper (débit de 5 m) connexions client Zookeeper (taux moyen) connexions client Zookeeper (taux de 1 m) Nombre de partitions de Replica Manager nombre de threads nombre maximal de threads nombre de threads nombre de threads nombre total de partitions hors ligne lancées nombre de requêtes durée totale (50 percentile) production de demandes durée totale (75 e percentile) production de demandes durée totale (95e percentile) production de demandes durée totale (98 centile) production de requêtes Total de requêtes (99e percentile) 9ème Production de demandes temps total (99e percentile) produire des demandes temps total produire des demandes temps total Max produire des demandes temps total moyenne produire des demandes temps total nombre min produire demandes temps total stddev Replica Manager ISR réduire le gestionnaire de répliques diminue le ISR RSR (15m taux) Replica Manager diminue (5m taux) Replica Manager ISR diminue (Taux moyen) ISR de Replica Manager réduit (1 m de taux) le gestionnaire de demande de support moyen au ralenti (15 m de taux) le gestionnaire de demande est en attente moyen au ralenti (5 m de taux) le gestionnaire de demande est en moyenne inactif (taux moyen) le gestionnaire de demande a ralenti moyen (1 m de taux) Garbage Collection G1 Old Generation Count Garbage Collection G1 Old Generation Time Garbage Collection G1 Young Generation Count Garbage Collection G1 Young Generation Time Zookeeper lecture seule connecte Zookeeper lecture seule (débit de 15 m) Zookeeper lecture seule connexions (taux de 5 m) Zookeeper lecture seule connexions (taux moyen) Zookeeper lecture seule connexions (Taux de 1 m) demandes de temps d'inactivité moyen du processeur réseau durée totale de l'extraction (50e percentile) demandes de temps total de l'extraction de l'unité de récolte (75e percentile) demande de temps total de l'unité de récolte (95e percentile) temps total de l'unité de récupération (9ème percentile) demande de la durée totale de l'unité de récolte (99e percentile) Demandes extraction de la fonction de fond demandes de temps total extraction de la fonction de fond nombre de requêtes max. Extraction de la fonction de longueur totale requêtes moyenne extraction de la fonction de longueur totale nombre de requêtes min. Extraction de la fonction de longueur totale en attente de la production requêtes de réseau Purgatoire Fetch requêtes de réseau grand public Fetch (5m rate) demandes de réseau Fetch Consumer (15m rate) Demandes réseau Fetch Consumer (taux moyen) demandes de réseau Fetch Consumer (1 m de taux) élections pour leader impur (taux de 15 m) élections pour responsable impurs (taux de 5 m) élections pour responsable impurs (taux moyen) élections pour chef impures (taux de 1 m) Contrôleurs actifs Heap mémoire engagée Heap mémoire Init Heap mémoire Max Heap mémoire utilisée la session Zookeeper expire (taux de 15 m) la session Zookeeper expire (taux de 5 m) la session du Zookeeper expire (taux moyen) la session du Zookeeper expire (taux de 1 m) échecs de l'authentification du Zookeeper (taux d'authentification de 5 m) Échecs d'authentification du Zookeeper (taux moyen) échecs d'authentification du Zookeeper (taux de 1 m) temps d'élection du leader (50e percentile) temps d'élection du leader (75e percentile) temps d'élection du leader (98e percentile) temps d'élection du leader (999e percentile) temps d'élection du leader (99e percentile) temps d'élection du leader (taux de 15 m) Temps d'élection du leader (taux de 5 m) temps d'élection du leader max. Temps d'élection du leader moyen (taux moyen) temps d'élection du leader min. Temps d'élection du leader (taux de 1 m) temps d'élection du leader (stddev) demandes de réseau Fetch Follwer demandes de réseau Fetch Follwer (taux de 15 m) demandes de réseau fetch Follwer (taux de 5 m) Demandes réseau Fetch Follawer (taux moyen) demandes réseau Fetch Follawer (taux de 1 m) Courtier messages sujet de courtier (taux de 15 m) messages sujet de courtier (taux de 5 m) messages sujet de courtier (taux moyen) messages sujet de courtier (taux de 1 m) octets de sujet de courtier en octets de sujet de courtier en (taux de 15 m) octets de sujet de courtier en octets de sujet dans (Taux de 5 m) octets de sujet de courtier en octets (taux moyen) octets de sujet de courtier en octets (taux de 1 m) déconnexions de Zookeeper (taux de 15 m) déconnexions de Zookeeper (taux moyen) déconnexions de Zookeeper (taux de 1 m) demandes de réseau demandes de déstockage Total du consommateur (centile) demandes de réseau Fetch durée totale (50 percentile) Demandes réseau extraction du temps total du consommateur (95e percentile) demandes réseau extraction du temps total du consommateur (98e percentile) demandes réseau extraction du temps total du consommateur (999e centile) requêtes réseau extraction du temps total du consommateur (99e centile) Demandes réseau extraction du temps total du consommateur demandes réseau extraction du temps total du consommateur nombre total de demandes réseau extraction du temps total du consommateur moyenne des demandes réseau extraction du temps total du consommateur min demandes réseau extraction du temps total du client stddev LeaderCount en attente dans extraction du broker Purgatoire rubrique octets du courtier en sortie de rubrique (15 m taux) Courtier sujet octets OUT (5m rate) Broker sujet Bytes out (taux moyen) Broker sujet Bytes out (1m rate) Zookeeper authentification Zookeeper (taux de 15m) authentification Zookeeper (taux moyen de 5m) authentification Zookeeper (taux moyen) authentification Zookeeper (taux de 1m) demandes de production (taux de 15m) demandes de production (taux de 5m (Taux moyen) requêtes produire (taux moyen de 1 m) Replica Manager ISR développe le service ISR de Replica Manager (taux de 15 m) Replica Manager étend ISR (taux de 5 m) Replica Manager agrandit (taux moyen) Replica Manager ISR développe (taux de 1 m) Replica Manager sous les partitions répliquées

Dépannage

Pour plus d'informations, consultez le "Assistance" page.