Skip to main content
Cloud Insights
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Collecteur de données Flink

Contributeurs

Cloud Insights utilise ce collecteur de données pour collecter des mesures de Flink.

Installation

  1. Dans observabilité > Collectors, cliquez sur +Data Collector. Choisissez Flink.

    Sélectionnez le système d'exploitation ou la plate-forme sur laquelle l'agent Telegraf est installé.

  2. Si vous n'avez pas déjà installé un agent pour la collecte ou si vous souhaitez installer un agent pour un autre système d'exploitation ou plate-forme, cliquez sur Afficher les instructions pour développer le "Installation de l'agent" instructions.

  3. Sélectionnez la clé d'accès de l'agent à utiliser avec ce collecteur de données. Vous pouvez ajouter une nouvelle clé d'accès à l'agent en cliquant sur le bouton * + clé d'accès à l'agent*. Meilleure pratique : utilisez une clé d'accès d'agent différente uniquement lorsque vous souhaitez regrouper des collecteurs de données, par exemple, par OS/plate-forme.

  4. Suivez les étapes de configuration pour configurer le collecteur de données. Les instructions varient en fonction du type de système d'exploitation ou de plate-forme utilisé pour collecter des données.

Configuration de la fonction encre

Configuration

Un déploiement de Flink complet implique les composants suivants :

JobManager : système principal de Flink. Coordonne une série de gestionnaires de tâches. Dans une configuration haute disponibilité, le système aura plusieurs JobManager. TaskManager : c'est là que les opérateurs Flink sont exécutés. Le plug-in Flink est basé sur le plug-in Jolokia de telegraf. Par exemple, pour collecter des informations de tous les composants de Flink, JMX doit être configuré et exposé via Jolokia sur tous les composants.

Compatibilité

La configuration a été développée par rapport à la version 1.7.0 de Flink.

Configuration

Bol d'agent Jolokia

Pour tous les composants individuels, une version du fichier JAR de l'agent Jolokia doit être téléchargée. La version testée sur était "Agent de Jolokia 1.6.0".

Les instructions ci-dessous supposent que le fichier jar téléchargé (jolokia-jvm-1.6.0-agent.jar) est placé sous l'emplacement '/opt/flink/lib/'.

JobManager

Pour configurer JobManager de manière à exposer l’API Jolokia, vous pouvez configurer la variable d’environnement suivante sur vos nœuds, puis redémarrer JobManager :

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Vous pouvez choisir un autre port pour Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf.

Gestionnaire des tâches

Pour configurer TaskManager(s) pour exposer l’API Jolokia, vous pouvez configurer la variable d’environnement suivante sur vos nœuds, puis redémarrer TaskManager :

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
Vous pouvez choisir un autre port pour Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf.

Objets et compteurs

Les objets suivants et leurs compteurs sont collectés :

Objet : Identifiants : Attributs : Points de données :

Gestionnaire de tâches Flink

Serveur d'espace de noms de cluster

Nom du nœud ID du gestionnaire de tâches IP du nœud

Segments de mémoire disponibles réseau Total des segments de mémoire Garbage Collection PS MarkSweep nombre de déchets collecte PS MarkSweep temps Garbage Collection PS Svenge Combage Collection PS Scravenge temps démon de récupération mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive maximale nombre de threads utilisés nombre de threads maximum nombre de threads Total démarré

Travail de cartouche

ID du travail du serveur d'espace de noms de cluster

Nom du nœud Nom du travail noeud IP dernier point de contrôle chemin externe heure de redémarrage

Temps d'arrêt redémarrage complet dernière alignement du point de contrôle durée du dernier point de contrôle Date du dernier point de contrôle taille nombre de points de contrôle terminés nombre de points de contrôle en cours nombre de points de contrôle en cours nombre de points de contrôle disponibilité

Gestionnaire des travaux de Flink

Serveur d'espace de noms de cluster

IP du nœud de nom de nœud

Garbage Collection PS MarkSweep nombre Garbage Collection PS MarkSweep temps Garbage Collection PS Scravenge nombre Garbage Collection PS Scravenge temps mémoire Heap mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive saturée nombre maximum de mémoire utilisée nombre de tâches enregistrées gestionnaires nombre de tâches exécution tâches nombre de tâches nombre de threads disponibles emplacements de tâches du démon total Nombre maximum de threads nombre total de threads démarré

Tâche de Flink

ID de tâche d'espace de noms de cluster

Nom du nœud du serveur Nom du travail sous-index des tâches ID de la tâche tentative Numéro Nom de la tâche ID du gestionnaire des tâches noeud IP filigrane actuel

Tampons dans utilisation de pool tampons dans longueur de file tampons utilisation de pool tampons utilisation de pool tampons sortie longueur de file d'attente tampons dans nombre local Buffers dans local nombre par seconde nombre de tampons dans local par seconde nombre de taux nombre de tampons dans nombre distant tampons dans nombre distant par seconde nombre de tampons dans Remote par distant Second Rate Number tampons Out Number tampons Out Number Buffers Out par seconde Count Number Buffers Out par seconde Rate Number Bytes in local Number Bytes in local par seconde Count Number Bytes in local par seconde Rate Number Bytes in Remote Number Bytes in Remote Number Bytes in Remote per second Count Number Bytes in Remote Par seconde Numéro de taux octets hors nombre octets hors par seconde nombre nombre octets hors par seconde Numéro de taux enregistrements nombre enregistrements en nombre en nombre par seconde nombre enregistrements en nombre de taux en nombre de seconde nombre de taux enregistrements hors nombre par seconde nombre de nombres enregistrements hors nombre par seconde nombre de nombres enregistrements hors taux par seconde

Opérateur de tâche Flink

Nom du cluster ID de tâche ID d'opérateur ID de tâche

Nom du noeud du serveur Nom du travail Nom de l'opérateur sous-index des tâches ID de la tâche tentative Numéro Nom de la tâche ID du gestionnaire des tâches IP du noeud

Watermark Current Input Current Output Watermark Number enregistrements en nombre enregistrements en nombre enregistrements par seconde nombre nombre enregistrements en par seconde nombre de débits en dehors nombre enregistrements en dehors par seconde nombre d'enregistrements en dehors par seconde nombre de débits en retard enregistrements en chute partitions attribuées octets en retard latence de validation de taux en moyenne Le taux maximal de validation a échoué les validations de connexion a réussi le nombre de connexions de fermeture nombre de connexions nombre de taux de création de connexion durée de récupération moyenne de latence de récupération débit maximal taille de récupération taille de récupération moyenne de l'accélérateur temps de récupération moyenne de l'accélérateur vitesse de transfert max. Taux de pulsation nombre d'octets entrants taux d'E/S moy Rapport d'attente temps d'attente d'E/S moy (ns) temps d'assemblage temps d'attente moy. Dernier Heartbeat ago débit d'E/S débit d'octets sortant enregistrements taux de consommation décalage max enregistrements par demande débit moyen taille de demande moyenne vitesse de réponse max. Sélection temps de synchronisation de taux moyenne réponse de fréquence de réponse de fréquence de signal de détection Temps d'assemblage max. Temps de synchronisation max

Dépannage

Pour plus d'informations, consultez le "Assistance" page.