Colector de datos Flink
Sugerir cambios
PDF
Data Infrastructure Insights utiliza este recopilador de datos para recopilar métricas de Flink.
Instalación
-
En Observabilidad > Colectores, haz clic en +Recopilador de datos. Seleccione Flink.
Seleccione el sistema operativo o la plataforma en la que está instalado el agente Telegraf.
-
Si aún no ha instalado un agente para la recopilación, o si desea instalar un agente para un sistema operativo o plataforma diferente, haga clic en Mostrar instrucciones para ampliar las "Instalación del agente" instrucciones.
-
Seleccione la clave de acceso del agente para utilizarla con este recopilador de datos. Puede agregar una nueva clave de acceso del agente haciendo clic en el botón + clave de acceso del agente. Práctica recomendada: Utilice una clave de acceso de agente diferente sólo cuando desee agrupar recopiladores de datos, por ejemplo, por sistema operativo/plataforma.
-
Siga los pasos de configuración para configurar el recopilador de datos. Las instrucciones varían en función del tipo de sistema operativo o plataforma que utilice para recopilar datos.
Configuración
Un despliegue completo de Flink implica los siguientes componentes:
JobManager: El sistema primario Flink. Coordina una serie de TaskManagers. En una configuración de alta disponibilidad, el sistema tendrá más de un JobManager. TaskManager: Aquí es donde se ejecutan los operadores Flink. El plugin de tinta se basa en el complemento Jolokia de telegraf. Como un requisito para recopilar información de todos los componentes de Flink, JMX debe configurarse y exponerse a través de Jolokia en todos los componentes.
Compatibilidad
La configuración se desarrolló contra Flink versión 1.7.0.
Configuración
Agente Jolokia Jar
Para todos los componentes individuales, se debe descargar una versión del archivo JAR del agente JAR Jolokia. La versión probada con respecto a fue "Agente Jolokia 1.6.0".
Las instrucciones siguientes asumen que el archivo JAR descargado (jolokia-jvm-1.6.0-agent.jar) se coloca en la ubicación '/opt/flink/lib/'.
JobManager
Para configurar JobManager para exponer la API de Jolokia, puede configurar la siguiente variable de entorno en los nodos y, a continuación, reiniciar JobManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Puede elegir un puerto diferente para Jolokia (8778). Si usted tiene un IP interno para bloquear Jolokia en usted puede reemplazar el "Catch all" 0.0.0.0 por su propio IP. Tenga en cuenta que este IP debe ser accesible desde el plugin de telegraf.
Administrador de tareas
Para configurar TaskManager para exponer la API de Jolokia, puede configurar la siguiente variable de entorno en los nodos y, a continuación, reiniciar TaskManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Puede elegir un puerto diferente para Jolokia (8778). Si usted tiene un IP interno para bloquear Jolokia en usted puede reemplazar el "Catch all" 0.0.0.0 por su propio IP. Tenga en cuenta que este IP debe ser accesible desde el plugin de telegraf.
Objetos y contadores
Se recopilan los objetos siguientes y sus contadores:
| Objeto: | Identificadores: | Atributos: | Puntos de datos: |
|---|---|---|---|
Gestor de tareas de tinta |
Servidor de espacio de nombres del cluster |
Nombre del nodo Task Manager ID IP del nodo |
Segmentos de memoria disponibles en red segmentos de memoria totales recolección de basura PS MarkSweep Count recolección de basura PS MarkSweep Time recolección de elementos basura PS Scavenge Count recolección de elementos de basura PS Scavenge Time Heap Memory Demised Heap Memory Init Heap Max Heap Memory memoria memoria memoria de pila usada recuento de subprocesos recuento de pico recuento de subprocesos Total iniciado |
Trabajo de tinta |
Identificador de trabajo del servidor de espacio de nombres del clúster |
Nombre del nodo Nombre del trabajo IP del nodo último punto de comprobación Ruta de acceso externa hora de reinicio |
Tiempo de inactividad completo reinicia último punto de comprobación alineación búfer duración último punto de comprobación Tamaño último punto de comprobación número de puntos de comprobación completados número de puntos de comprobación fallidos número de puntos de comprobación en curso número de puntos de comprobación de tiempo de actividad |
Gestor de trabajos de tinta |
Servidor de espacio de nombres del cluster |
Dirección IP del nodo de nombre |
Recolección de elementos no utilizados PS MarkSweep Count Garbage Collection PS MarkSweep Time Garbage Collection PS Scvenge Count Garbage Collection PS Scavenge Time Heap Memory Asked Heap Memory Init memoria memoria heap Max Heap número usado gestores de tareas número ejecutando trabajos ranuras de tareas disponibles Tragamonedas de tareas total de subprocesos Demon Count Recuento de subprocesos máximos recuento de subprocesos total iniciado |
Tarea de tinta |
ID de tarea de ID de trabajo de espacio de nombres del clúster |
Nombre de nodo de servidor Nombre de trabajo Subíndice de tarea Id. De intento de tarea número de intento de tarea Nombre de tarea Id. De nodo IP Marca de agua de entrada actual |
Búferes en búferes de uso de pool en búferes de longitud de cola fuera búferes de uso de pool fuera búferes de longitud de cola en buffers de número local por segundo búferes de número de cuenta en búferes de número local por segundo en búferes de número de frecuencia remotos en búferes de número de cuenta remotos por segundo en remoto por Segundo número de tasa de búferes de salida número de búferes de salida por segundo número de búferes de salida por segundo número de tasa en bytes de número local por segundo número de bytes en bytes de número de tasa local por segundo en bytes de número de bytes remotos en bytes de número de cuenta remotos por segundo en remoto Por segundo número de tasa bytes de salida número de bytes por segundo número de recuento bytes por segundo número de tasa registros en número de registros por segundo número de recuento registros por segundo número de tasa registros número de salida registros por segundo número de registros salida registros por segundo número de cuenta registros por segunda tasa |
Operador de tareas de tinta |
ID de trabajo ID de espacio de nombres de clúster ID de tarea de operador |
Nombre del nodo del servidor Nombre del trabajo Nombre del operador Subíndice de tarea número de tarea número de intento de tarea Nombre de tarea ID del administrador de tareas IP del nodo |
Registros de número de Marca de agua de entrada actual número de Marca de agua de salida actual registros en número de registros por segundo número de cuenta registros por segundo número de tarifa registros de salida número de registros por segundo número de salida registros por segundo número de tasa registros atrasados particiones asignadas bytes consumidos tasa Commit latencia media Tasa de confirmación máx. De confirmaciones fallidas conexión correcta Convalidación de frecuencia de cierre recuento de conexiones recuento de frecuencia de creación tasa de obtención latencia media de obtención tasa de obtención tasa de obtención Tamaño medio de obtención Tamaño de sesión Máx. Tiempo de aceleración de obtención Promedio tiempo de aceleración velocidad máxima de latido tasa de latidos entrantes tasa de E/S tiempo medio (ns) E/S Ratio de espera tiempo de espera de E/S Avg (ns) tiempo de unión media tiempo de unión Fecha de la última hora de latido de red tasa de E/S de salida registros tasa de frecuencia consumido registros de retraso máx. Registros por solicitud promedio Tamaño de solicitud promedio Tamaño de solicitud tiempo de respuesta máximo Seleccione frecuencia de sincronización de la velocidad tiempo de latido respuesta medio Tiempo máximo tiempo máximo de unión tiempo máximo de sincronización Máx |
Resolución de problemas
Puede encontrar información adicional en la "Soporte técnico" página.