Collecteur de données Flink
Data Infrastructure Insights utilise ce collecteur de données pour collecter des metrics à partir de Flink.
Installation
-
Dans observabilité > Collectors, cliquez sur +Data Collector. Choisissez Flink.
Sélectionnez le système d'exploitation ou la plate-forme sur laquelle l'agent Telegraf est installé.
-
Si vous n'avez pas déjà installé un agent pour la collecte ou si vous souhaitez installer un agent pour un autre système d'exploitation ou une autre plate-forme, cliquez sur Afficher les instructions pour développer les "Installation de l'agent"instructions.
-
Sélectionnez la clé d'accès de l'agent à utiliser avec ce collecteur de données. Vous pouvez ajouter une nouvelle clé d'accès à l'agent en cliquant sur le bouton * + clé d'accès à l'agent*. Meilleure pratique : utilisez une clé d'accès d'agent différente uniquement lorsque vous souhaitez regrouper des collecteurs de données, par exemple, par OS/plate-forme.
-
Suivez les étapes de configuration pour configurer le collecteur de données. Les instructions varient en fonction du type de système d'exploitation ou de plate-forme utilisé pour collecter des données.
Configuration
Un déploiement de Flink complet implique les composants suivants :
JobManager : système principal de Flink. Coordonne une série de gestionnaires de tâches. Dans une configuration haute disponibilité, le système aura plusieurs JobManager. TaskManager : c'est là que les opérateurs Flink sont exécutés. Le plug-in Flink est basé sur le plug-in Jolokia de telegraf. Par exemple, pour collecter des informations de tous les composants de Flink, JMX doit être configuré et exposé via Jolokia sur tous les composants.
Compatibilité
La configuration a été développée par rapport à la version 1.7.0 de Flink.
Configuration
Bol d'agent Jolokia
Pour tous les composants individuels, une version du fichier JAR de l'agent Jolokia doit être téléchargée. La version testée était "Agent de Jolokia 1.6.0".
Les instructions ci-dessous supposent que le fichier jar téléchargé (jolokia-jvm-1.6.0-agent.jar) est placé sous l'emplacement '/opt/flink/lib/'.
JobManager
Pour configurer JobManager de manière à exposer l’API Jolokia, vous pouvez configurer la variable d’environnement suivante sur vos nœuds, puis redémarrer JobManager :
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Vous pouvez choisir un autre port pour Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf.
Gestionnaire des tâches
Pour configurer TaskManager(s) pour exposer l’API Jolokia, vous pouvez configurer la variable d’environnement suivante sur vos nœuds, puis redémarrer TaskManager :
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Vous pouvez choisir un autre port pour Jolokia (8778). Si vous avez un IP interne pour verrouiller Jolokia sur vous pouvez remplacer le 0.0.0.0 "tout capturer" par votre propre IP. Notez que cette adresse IP doit être accessible à partir du plug-in telegraf.
Objets et compteurs
Les objets suivants et leurs compteurs sont collectés :
Objet : | Identifiants : | Attributs : | Points de données : |
---|---|---|---|
Gestionnaire de tâches Flink |
Serveur d'espace de noms de cluster |
Nom du nœud ID du gestionnaire de tâches IP du nœud |
Segments de mémoire disponibles réseau Total des segments de mémoire Garbage Collection PS MarkSweep nombre de déchets collecte PS MarkSweep temps Garbage Collection PS Svenge Combage Collection PS Scravenge temps démon de récupération mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive maximale nombre de threads utilisés nombre de threads maximum nombre de threads Total démarré |
Travail de cartouche |
ID du travail du serveur d'espace de noms de cluster |
Nom du nœud Nom du travail noeud IP dernier point de contrôle chemin externe heure de redémarrage |
Temps d'arrêt redémarrage complet dernière alignement du point de contrôle durée du dernier point de contrôle Date du dernier point de contrôle taille nombre de points de contrôle terminés nombre de points de contrôle en cours nombre de points de contrôle en cours nombre de points de contrôle disponibilité |
Gestionnaire des travaux de Flink |
Serveur d'espace de noms de cluster |
IP du nœud de nom de nœud |
Garbage Collection PS MarkSweep nombre Garbage Collection PS MarkSweep temps Garbage Collection PS Scravenge nombre Garbage Collection PS Scravenge temps mémoire Heap mémoire vive mémoire vive mémoire vive mémoire vive mémoire vive saturée nombre maximum de mémoire utilisée nombre de tâches enregistrées gestionnaires nombre de tâches exécution tâches nombre de tâches nombre de threads disponibles emplacements de tâches du démon total Nombre maximum de threads nombre total de threads démarré |
Tâche de Flink |
ID de tâche d'espace de noms de cluster |
Nom du nœud du serveur Nom du travail sous-index des tâches ID de la tâche tentative Numéro Nom de la tâche ID du gestionnaire des tâches noeud IP filigrane actuel |
Tampons dans utilisation de pool tampons dans longueur de file tampons utilisation de pool tampons utilisation de pool tampons sortie longueur de file d'attente tampons dans nombre local Buffers dans local nombre par seconde nombre de tampons dans local par seconde nombre de taux nombre de tampons dans nombre distant tampons dans nombre distant par seconde nombre de tampons dans Remote par distant Second Rate Number tampons Out Number tampons Out Number Buffers Out par seconde Count Number Buffers Out par seconde Rate Number Bytes in local Number Bytes in local par seconde Count Number Bytes in local par seconde Rate Number Bytes in Remote Number Bytes in Remote Number Bytes in Remote per second Count Number Bytes in Remote Par seconde Numéro de taux octets hors nombre octets hors par seconde nombre nombre octets hors par seconde Numéro de taux enregistrements nombre enregistrements en nombre en nombre par seconde nombre enregistrements en nombre de taux en nombre de seconde nombre de taux enregistrements hors nombre par seconde nombre de nombres enregistrements hors nombre par seconde nombre de nombres enregistrements hors taux par seconde |
Opérateur de tâche Flink |
Nom du cluster ID de tâche ID d'opérateur ID de tâche |
Nom du noeud du serveur Nom du travail Nom de l'opérateur sous-index des tâches ID de la tâche tentative Numéro Nom de la tâche ID du gestionnaire des tâches IP du noeud |
Watermark Current Input Current Output Watermark Number enregistrements en nombre enregistrements en nombre enregistrements par seconde nombre nombre enregistrements en par seconde nombre de débits en dehors nombre enregistrements en dehors par seconde nombre d'enregistrements en dehors par seconde nombre de débits en retard enregistrements en chute partitions attribuées octets en retard latence de validation de taux en moyenne Le taux maximal de validation a échoué les validations de connexion a réussi le nombre de connexions de fermeture nombre de connexions nombre de taux de création de connexion durée de récupération moyenne de latence de récupération débit maximal taille de récupération taille de récupération moyenne de l'accélérateur temps de récupération moyenne de l'accélérateur vitesse de transfert max. Taux de pulsation nombre d'octets entrants taux d'E/S moy Rapport d'attente temps d'attente d'E/S moy (ns) temps d'assemblage temps d'attente moy. Dernier Heartbeat ago débit d'E/S débit d'octets sortant enregistrements taux de consommation décalage max enregistrements par demande débit moyen taille de demande moyenne vitesse de réponse max. Sélection temps de synchronisation de taux moyenne réponse de fréquence de réponse de fréquence de signal de détection Temps d'assemblage max. Temps de synchronisation max |
Dépannage
Vous trouverez des informations supplémentaires sur la "Assistance" page.