Coletor de Dados Flink
O Data Infrastructure Insights usa esse coletor de dados para coletar métricas do Flink.
Instalação
-
Em Observabilidade > Coletores, clique em +Coletor de Dados. Escolha Flink.
Selecione o sistema operacional ou plataforma na qual o agente Telegraf está instalado.
-
Se você ainda não instalou um Agente para coleta ou deseja instalar um Agente para um Sistema Operacional ou Plataforma diferente, clique em Mostrar Instruções para expandir o"Instalação do agente" instruções.
-
Selecione a Chave de Acesso do Agente para uso com este coletor de dados. Você pode adicionar uma nova Chave de Acesso do Agente clicando no botão + Chave de Acesso do Agente. Prática recomendada: use uma chave de acesso de agente diferente somente quando quiser agrupar coletores de dados, por exemplo, por sistema operacional/plataforma.
-
Siga as etapas de configuração para configurar o coletor de dados. As instruções variam dependendo do tipo de sistema operacional ou plataforma que você está usando para coletar dados.

Configurar
Uma implantação completa do Flink envolve os seguintes componentes:
JobManager: O sistema primário do Flink. Coordena uma série de TaskManagers. Em uma configuração de alta disponibilidade, o sistema terá mais de um JobManager. Gerenciador de Tarefas: É aqui que os operadores do Flink são executados. O plugin Flink é baseado no plugin Jolokia do Telegraf. Como requisito para coletar informações de todos os componentes do Flink, o JMX precisa ser configurado e exposto via Jolokia em todos os componentes.
Compatibilidade
A configuração foi desenvolvida no Flink versão 1.7.0.
Configurando
Agente Jolokia Jar
Para todos os componentes individuais, uma versão do arquivo jar do agente Jolokia deve ser baixada. A versão testada foi"Agente Jolokia 1.6.0" .
As instruções abaixo pressupõem que o arquivo jar baixado (jolokia-jvm-1.6.0-agent.jar) esteja localizado no local '/opt/flink/lib/'.
Gerenciador de Tarefas
Para configurar o JobManager para expor a API do Jolokia, você pode configurar a seguinte variável de ambiente em seus nós e reiniciar o JobManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Você pode escolher um porto diferente para Jolokia (8778). Se você tiver um IP interno para bloquear o Jolokia, você pode substituir o "catch all" 0.0.0.0 pelo seu próprio IP. Observe que este IP precisa ser acessível pelo plugin Telegraf.
Gerenciador de Tarefas
Para configurar o(s) TaskManager(s) para expor a API Jolokia, você pode configurar a seguinte variável de ambiente em seus nós e reiniciar o TaskManager:
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Você pode escolher um porto diferente para Jolokia (8778). Se você tiver um IP interno para bloquear o Jolokia, você pode substituir o "catch all" 0.0.0.0 pelo seu próprio IP. Observe que este IP precisa ser acessível pelo plugin Telegraf.
Objetos e Contadores
Os seguintes objetos e seus contadores são coletados:
| Objeto: | Identificadores: | Atributos: | Pontos de dados: |
|---|---|---|---|
Gerenciador de Tarefas Flink |
Servidor de namespace de cluster |
Nome do nó ID do gerenciador de tarefas IP do nó |
Segmentos de memória disponíveis na rede Segmentos totais de memória da rede Contagem de MarkSweep do PS de coleta de lixo Tempo de MarkSweep do PS de coleta de lixo Contagem de limpeza do PS de coleta de lixo Tempo de limpeza do PS de coleta de lixo Memória heap confirmada Inicialização da memória heap Memória heap Máxima de memória heap usada Contagem de threads Contagem de threads do daemon Contagem de pico de threads Contagem total de threads iniciada |
Trabalho Flink |
ID da tarefa do servidor de namespace do cluster |
Nome do nó Nome do trabalho IP do nó Último ponto de verificação Caminho externo Hora de reinicialização |
Tempo de inatividade Reinicializações completas Último alinhamento de ponto de verificação Buffered Duração do último ponto de verificação Tamanho do último ponto de verificação Número de pontos de verificação concluídos Número de pontos de verificação com falha Número de pontos de verificação em andamento Número de pontos de verificação Tempo de atividade |
Gerenciador de Tarefas Flink |
Servidor de namespace de cluster |
Nome do nó IP do nó |
Contagem de MarkSweep do PS de coleta de lixo Tempo de MarkSweep do PS de coleta de lixo Contagem de coleta de lixo do PS de coleta de lixo Tempo de coleta de lixo do PS de coleta de lixo Memória heap comprometida Inicialização da memória heap Memória heap máxima usada Número de gerenciadores de tarefas registrados Número de trabalhos em execução Slots de tarefa disponíveis Contagem total de threads Contagem de threads do daemon Contagem de pico de threads Contagem total de threads iniciada |
Tarefa Flink |
ID da tarefa do namespace do cluster ID da tarefa |
Nome do nó do servidor Nome do trabalho Índice de subtarefas ID da tentativa da tarefa Número da tentativa da tarefa Nome da tarefa ID do gerenciador de tarefas IP do nó Entrada atual Marca d'água |
Buffers no uso do pool Buffers no comprimento da fila Buffers fora do uso do pool Buffers fora do comprimento da fila Número de buffers no local Número de buffers no local Contagem por segundo Número de buffers na taxa local por segundo Número de buffers no remoto Número de buffers no remoto Contagem por segundo Número de buffers no remoto Taxa por segundo Número de buffers fora Número de buffers fora por segundo Contagem Número de buffers fora por segundo Taxa de segundo Número de bytes no local Número de bytes no local Contagem por segundo Número de bytes no local Contagem por segundo Número de bytes no remoto Contagem por segundo Número de bytes no remoto Taxa por segundo Número de bytes fora Número de bytes fora por segundo Contagem Número de bytes fora por segundo Taxa Número de registros em Número de registros em Contagem por segundo Número de registros em Taxa por segundo Número de registros fora por segundo Contagem Número de registros fora por segundo Taxa |
Operador de Tarefas Flink |
ID do trabalho do namespace do cluster ID do operador ID da tarefa |
Nome do nó do servidor Nome do trabalho Nome do operador Índice de subtarefas ID da tentativa da tarefa Número da tentativa da tarefa Nome da tarefa ID do gerenciador de tarefas IP do nó |
Marca d'água de entrada atual Marca d'água de saída atual Número de registros em Número de registros em por segundo Contagem Número de registros em por segundo Taxa Número de registros fora Número de registros fora por segundo Contagem Número de registros fora por segundo Taxa Número de registros atrasados descartados Partições atribuídas Bytes consumidos Taxa de confirmação Latência média de confirmação Latência máxima de confirmação Taxa de confirmação Commits com falha Commits bem-sucedidos Taxa de fechamento de conexão Contagem de conexão Taxa de criação de conexão Contagem Latência de busca Média Latência de busca Máxima Taxa de busca Tamanho médio Tamanho máximo de busca Tempo de aceleração de busca Tempo médio de aceleração de busca Máximo Taxa de pulsação Taxa de bytes de entrada Taxa de E/S Tempo de E/S Média (ns) Taxa de espera de E/S Tempo de espera de E/S Média (ns) Taxa de junção Tempo de junção Média Última pulsação atrás Taxa de E/S de rede Taxa de bytes de saída Registros consumidos Taxa de atraso de registros Máximo de registros por solicitação Média Taxa de solicitação Tamanho médio da solicitação Máximo Taxa de resposta Taxa de seleção Taxa de sincronização Tempo de sincronização Médio Batida de coração Tempo de resposta Máximo Tempo de junção Máximo Tempo de sincronização Máximo |
Solução de problemas
Informações adicionais podem ser encontradas em"Apoiar" página.