Collecteur de données Flink
Suggérer des modifications
PDF
Data Infrastructure Insights utilise ce collecteur de données pour collecter des métriques de Flink.
Installation
-
Depuis Observabilité > Collecteurs, cliquez sur +Collecteur de données. Choisissez Flink.
Sélectionnez le système d’exploitation ou la plate-forme sur laquelle l’agent Telegraf est installé.
-
Si vous n'avez pas encore installé d'agent pour la collecte, ou si vous souhaitez installer un agent pour un autre système d'exploitation ou une autre plate-forme, cliquez sur Afficher les instructions pour développer le"Installation de l'agent" instructions.
-
Sélectionnez la clé d’accès de l’agent à utiliser avec ce collecteur de données. Vous pouvez ajouter une nouvelle clé d'accès d'agent en cliquant sur le bouton + Clé d'accès d'agent. Meilleure pratique : utilisez une clé d’accès d’agent différente uniquement lorsque vous souhaitez regrouper des collecteurs de données, par exemple par système d’exploitation/plateforme.
-
Suivez les étapes de configuration pour configurer le collecteur de données. Les instructions varient en fonction du type de système d’exploitation ou de plate-forme que vous utilisez pour collecter des données.
Installation
Un déploiement Flink complet implique les composants suivants :
JobManager : le système principal de Flink. Coordonne une série de gestionnaires de tâches. Dans une configuration haute disponibilité, le système aura plus d'un JobManager. Gestionnaire des tâches : c'est ici que les opérateurs Flink sont exécutés. Le plugin Flink est basé sur le plugin Jolokia de Telegraf. En tant qu'exigence de collecte d'informations à partir de tous les composants Flink, JMX doit être configuré et exposé via Jolokia sur tous les composants.
Compatibilité
La configuration a été développée par rapport à la version 1.7.0 de Flink.
Installation
Agent Jar Jolokia
Pour tous les composants individuels, une version du fichier jar de l'agent Jolokia doit être téléchargée. La version testée était"Agent Jolokia 1.6.0" .
Les instructions ci-dessous supposent que le fichier jar téléchargé (jolokia-jvm-1.6.0-agent.jar) est placé sous l'emplacement « /opt/flink/lib/ ».
Gestionnaire de tâches
Pour configurer JobManager afin d'exposer l'API Jolokia, vous pouvez configurer la variable d'environnement suivante sur vos nœuds, puis redémarrer JobManager :
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Vous pouvez choisir un port différent pour Jolokia (8778). Si vous disposez d'une IP interne sur laquelle verrouiller Jolokia, vous pouvez remplacer le « catch all » 0.0.0.0 par votre propre IP. Notez que cette IP doit être accessible depuis le plugin Telegraf.
Gestionnaire de tâches
Pour configurer les gestionnaires de tâches afin d'exposer l'API Jolokia, vous pouvez configurer la variable d'environnement suivante sur vos nœuds, puis redémarrer le gestionnaire de tâches :
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Vous pouvez choisir un port différent pour Jolokia (8778). Si vous disposez d'une IP interne sur laquelle verrouiller Jolokia, vous pouvez remplacer le « catch all » 0.0.0.0 par votre propre IP. Notez que cette IP doit être accessible depuis le plugin Telegraf.
Objets et compteurs
Les objets suivants et leurs compteurs sont collectés :
| Objet: | Identifiants : | Attributs: | Points de données : |
|---|---|---|---|
Gestionnaire de tâches Flink |
Serveur d'espace de noms de cluster |
Nom du nœud ID du gestionnaire de tâches IP du nœud |
Segments de mémoire réseau disponibles Segments de mémoire réseau totaux Nombre de nettoyages PS (nettoyage de la mémoire) Temps de nettoyage PS (nettoyage de la mémoire) Nombre de nettoyages PS (nettoyage de la mémoire) Temps de nettoyage PS (nettoyage de la mémoire) Mémoire du tas engagée Mémoire du tas d'initialisation Mémoire du tas max. utilisée Nombre de threads Nombre de threads du démon Nombre maximal de threads Nombre total de threads démarrés |
Flink Job |
ID de tâche du serveur d'espace de noms de cluster |
Nom du nœud Nom du travail IP du nœud Dernier point de contrôle Chemin externe Heure de redémarrage |
Temps d'arrêt Redémarrages complets Alignement du dernier point de contrôle Mise en mémoire tampon Durée du dernier point de contrôle Taille du dernier point de contrôle Nombre de points de contrôle terminés Nombre de points de contrôle échoués Nombre de points de contrôle en cours Nombre de points de contrôle Temps de disponibilité |
Gestionnaire de tâches Flink |
Serveur d'espace de noms de cluster |
Nom du nœud IP du nœud |
Nombre de nettoyages PS MarkSweep pour la collecte des déchets Temps de nettoyage PS MarkSweep Nombre de nettoyages PS pour la collecte des déchets Temps de nettoyage PS pour la collecte des déchets Mémoire du tas engagée Mémoire du tas d'initialisation Mémoire maximale du tas utilisée Nombre de gestionnaires de tâches enregistrés Nombre de tâches en cours d'exécution Emplacements de tâches disponibles Nombre total de threads Nombre de threads du démon Nombre maximal de threads Nombre total de threads démarrés |
Tâche Flink |
Espace de noms du cluster ID de travail ID de tâche |
Nom du nœud du serveur Nom du travail Index des sous-tâches ID de tentative de tâche Numéro de tentative de tâche Nom de la tâche ID du gestionnaire de tâches IP du nœud Filigrane d'entrée actuel |
Tampons dans le pool Utilisation Tampons dans la file d'attente Longueur Tampons en sortie du pool Utilisation Tampons en sortie Longueur de la file d'attente Nombre Tampons en local Nombre Tampons en local par seconde Nombre Tampons en local Taux par seconde Nombre Tampons en distant Nombre Tampons en distant par seconde Nombre Tampons en distant Taux par seconde Nombre Tampons en sortie Nombre Tampons en sortie par seconde Nombre Tampons en sortie par seconde Nombre Octets en local Nombre Octets en local par seconde Nombre Octets en local par seconde Nombre Octets en local par seconde Nombre Octets en distant Nombre Octets en distant par seconde Nombre Octets en distant par seconde Nombre Octets en sortie Nombre Octets en sortie par seconde Nombre Octets en sortie par seconde Nombre Enregistrements en entrée Nombre Enregistrements en entrée par seconde Nombre Enregistrements en entrée par seconde Nombre Enregistrements en sortie Nombre Enregistrements en sortie par seconde Nombre Enregistrements en sortie par seconde Nombre Enregistrements en sortie par seconde Nombre Enregistrements en sortie par seconde |
Opérateur de tâche Flink |
Espace de noms du cluster ID de travail ID d'opérateur ID de tâche |
Nom du nœud du serveur Nom du travail Nom de l'opérateur Index des sous-tâches ID de tentative de tâche Numéro de tentative de tâche Nom de la tâche ID du gestionnaire de tâches IP du nœud |
Filigrane d'entrée actuel Filigrane de sortie actuel Nombre d'enregistrements entrants Nombre d'enregistrements entrants par seconde Nombre d'enregistrements entrants par seconde Taux Nombre d'enregistrements sortants Nombre d'enregistrements sortants par seconde Taux Nombre d'enregistrements en retard abandonnés Partitions affectées Octets Taux de consommation Latence de validation Latence de validation moyenne Taux de validation maximal Validations échouées Validations réussies Taux de fermeture de connexion Nombre de connexions Taux de création de connexion Nombre Latence de récupération Latence de récupération moyenne Taux de récupération maximal Taille de récupération Taille moyenne de récupération maximale Délai de limitation de récupération Temps de limitation de récupération moyen Taux de pulsation maximal Taux d'octets entrants Rapport E/S Temps E/S moyen (ns) Rapport d'attente E/S Temps d'attente E/S moyen (ns) Taux de jointure Heure de jointure moyenne Il y a le dernier battement de cœur Taux E/S réseau Taux d'octets sortants Taux de consommation d'enregistrements Retard d'enregistrements Max Enregistrements par requête Taux de requête moyen Taille de requête Taille moyenne de requête maximale Taux de réponse Taux de sélection Taux de synchronisation Temps de synchronisation Temps de réponse moyen du battement de cœur Max Temps de jointure max Temps de synchronisation max |
Dépannage
Des informations complémentaires peuvent être trouvées à partir du"Support" page.