Recopilador de datos Flink
Sugerir cambios
PDF
Data Infrastructure Insights utiliza este recopilador de datos para recopilar métricas de Flink.
Instalación
-
Desde Observabilidad > Recopiladores, haga clic en +Recopilador de datos. Elige Flink.
Seleccione el sistema operativo o la plataforma en la que está instalado el agente Telegraf.
-
Si aún no ha instalado un Agente para la recopilación, o desea instalar un Agente para un Sistema operativo o Plataforma diferente, haga clic en Mostrar instrucciones para expandir la"Instalación del agente" instrucciones.
-
Seleccione la clave de acceso del agente para utilizarla con este recopilador de datos. Puede agregar una nueva clave de acceso de agente haciendo clic en el botón + Clave de acceso de agente. Práctica recomendada: utilice una clave de acceso de agente diferente solo cuando desee agrupar recopiladores de datos, por ejemplo, por sistema operativo o plataforma.
-
Siga los pasos de configuración para configurar el recopilador de datos. Las instrucciones varían según el tipo de sistema operativo o plataforma que esté utilizando para recopilar datos.
Configuración
Una implementación completa de Flink implica los siguientes componentes:
JobManager: el sistema principal de Flink. Coordina una serie de TaskManagers. En una configuración de alta disponibilidad, el sistema tendrá más de un JobManager. TaskManager: aquí es donde se ejecutan los operadores de Flink. El complemento Flink se basa en el complemento Jolokia de Telegraf. Como requisito para recopilar información de todos los componentes de Flink, JMX debe configurarse y exponerse a través de Jolokia en todos los componentes.
Compatibilidad
La configuración se desarrolló contra la versión 1.7.0 de Flink.
Configuración
Agente Jolokia Jar
Para todos los componentes individuales, se debe descargar una versión del archivo jar del agente Jolokia. La versión con la que se realizó la prueba fue"Agente Jolokia 1.6.0" .
Las instrucciones a continuación asumen que el archivo jar descargado (jolokia-jvm-1.6.0-agent.jar) se encuentra en la ubicación '/opt/flink/lib/'.
Administrador de trabajos
Para configurar JobManager para exponer la API de Jolokia, puede configurar la siguiente variable de entorno en sus nodos y luego reiniciar JobManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Puedes elegir un puerto diferente para Jolokia (8778). Si tienes una IP interna para bloquear a Jolokia, puedes reemplazar el "catch all" 0.0.0.0 por tu propia IP. Tenga en cuenta que esta IP debe ser accesible desde el complemento Telegraf.
Administrador de tareas
Para configurar TaskManager(s) para exponer la API de Jolokia, puede configurar la siguiente variable de entorno en sus nodos y luego reiniciar TaskManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Puedes elegir un puerto diferente para Jolokia (8778). Si tienes una IP interna para bloquear a Jolokia, puedes reemplazar el "catch all" 0.0.0.0 por tu propia IP. Tenga en cuenta que esta IP debe ser accesible desde el complemento Telegraf.
Objetos y contadores
Se recogen los siguientes objetos y sus contadores:
| Objeto: | Identificadores: | Atributos: | Puntos de datos: |
|---|---|---|---|
Administrador de tareas de Flink |
Servidor de espacio de nombres de clúster |
Nombre del nodo ID del administrador de tareas IP del nodo |
Segmentos de memoria disponibles en la red Segmentos de memoria total en la red Recolección de basura Recuento de PS MarkSweep Recolección de basura Tiempo de PS MarkSweep Recolección de basura Recuento de PS Scavenge Recolección de basura Tiempo de PS Scavenge Memoria de montón comprometida Memoria de montón inicial Memoria de montón máxima Memoria de montón utilizada Recuento de subprocesos Recuento de subprocesos de demonio Recuento máximo de subprocesos Recuento total de subprocesos iniciados |
Trabajo de Flink |
ID de trabajo del servidor de espacio de nombres del clúster |
Nombre del nodo Nombre del trabajo IP del nodo Último punto de control Ruta externa Hora de reinicio |
Tiempo de inactividad Reinicios completos Alineación del último punto de control Buffered Duración del último punto de control Tamaño del último punto de control Número de puntos de control completados Número de puntos de control fallidos Número de puntos de control en progreso Número de puntos de control Tiempo de actividad |
Administrador de trabajos de Flink |
Servidor de espacio de nombres de clúster |
Nombre del nodo IP del nodo |
Recolección de basura PS MarkSweep Count Recolección de basura PS MarkSweep Time Recolección de basura PS Scavenge Count Recolección de basura PS Scavenge Time Memoria de montón comprometida Memoria de montón inicial Memoria de montón máxima utilizada Número de administradores de tareas registrados Número de trabajos en ejecución Ranuras de tarea disponibles Ranuras de tarea Conteo total de subprocesos Conteo de subprocesos de demonio Conteo máximo de subprocesos Conteo total de subprocesos iniciados |
Tarea de Flink |
Espacio de nombres del clúster ID de trabajo ID de tarea |
Nombre del nodo del servidor Nombre del trabajo Índice de subtarea ID de intento de tarea Número de intento de tarea Nombre de la tarea ID del administrador de tareas IP del nodo Entrada actual Marca de agua |
Uso de búferes en el grupo Longitud de la cola de búferes de entrada Uso del grupo de búferes de salida Longitud de la cola de búferes de salida Número de búferes de entrada local Número de búferes de entrada local por segundo Número de búferes de entrada local Tasa por segundo Número de búferes de entrada remotos Número de búferes de entrada remotos por segundo Número de búferes de salida Número de búferes de salida por segundo Número de búferes de salida por segundo Tasa de búferes de salida por segundo Número de bytes de entrada local Número de bytes de entrada local por segundo Número de bytes de entrada local por segundo Número de bytes de entrada remoto Número de bytes de entrada remoto por segundo Número de bytes de salida Número de bytes de salida por segundo Número de bytes de salida por segundo Número de registros de entrada Número de registros de entrada por segundo Tasa de registros de entrada Número de registros de salida Número de registros de salida por segundo Número de registros de salida por segundo |
Operador de tareas de Flink |
Espacio de nombres del clúster ID de trabajo ID de operador ID de tarea |
Nombre del nodo del servidor Nombre del trabajo Nombre del operador Índice de subtarea ID de intento de tarea Número de intento de tarea Nombre de la tarea ID del administrador de tareas IP del nodo |
Marca de agua de entrada actual Marca de agua de salida actual Número de registros de entrada Número de registros de entrada por segundo Número de registros de entrada por segundo Número de registros de salida Número de registros de salida por segundo Número de registros de salida por segundo Número de registros tardíos descartados Particiones asignadas Tasa de bytes consumidos Latencia de confirmación Latencia de confirmación promedio Tasa de confirmación máxima Confirmaciones fallidas Confirmaciones exitosas Tasa de cierre de conexión Recuento de conexiones Tasa de creación de conexión Recuento Latencia de búsqueda promedio Latencia de búsqueda máxima Tasa de búsqueda Tamaño de búsqueda Tamaño de búsqueda promedio Tiempo máximo de aceleración de búsqueda Tiempo promedio de aceleración de búsqueda Tasa máxima de latidos Tasa de bytes entrantes Relación de E/S Tiempo promedio de E/S (ns) Relación de espera de E/S Tiempo promedio de espera de E/S (ns) Tasa de unión Tiempo de unión Promedio del último latido Tasa de E/S de red Tasa de bytes de salida Tasa de registros consumidos Retraso de registros Máximos registros por solicitud Tasa de solicitud promedio Tamaño de solicitud Tamaño de solicitud promedio Tasa de respuesta máxima Tasa de selección Tasa de sincronización Tiempo de sincronización Tiempo promedio de respuesta de latido Máx. de unión Tiempo máximo de sincronización Tiempo máximo |
Solución de problemas
Información adicional se puede encontrar en el"Soporte" página.