Skip to main content
Data Infrastructure Insights
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Coletor de Dados Hadoop

Colaboradores netapp-alavoie
PDFs

O Data Infrastructure Insights usa esse coletor de dados para coletar métricas do Hadoop.

Instalação

  1. Em Observabilidade > Coletores, clique em +Coletor de Dados. Escolha Hadoop.

    Selecione o sistema operacional ou plataforma na qual o agente Telegraf está instalado.

  2. Se você ainda não instalou um Agente para coleta ou deseja instalar um Agente para um Sistema Operacional ou Plataforma diferente, clique em Mostrar Instruções para expandir o"Instalação do agente" instruções.

  3. Selecione a Chave de Acesso do Agente para uso com este coletor de dados. Você pode adicionar uma nova Chave de Acesso do Agente clicando no botão + Chave de Acesso do Agente. Prática recomendada: use uma chave de acesso de agente diferente somente quando quiser agrupar coletores de dados, por exemplo, por sistema operacional/plataforma.

  4. Siga as etapas de configuração para configurar o coletor de dados. As instruções variam dependendo do tipo de sistema operacional ou plataforma que você está usando para coletar dados.

Configuração do Hadoop Configuração do Hadoop

Configurar

Uma implantação completa do Hadoop envolve os seguintes componentes:

  • NameNode: O sistema primário do Hadoop Distributed File System (HDFS). Coordena uma série de DataNodes.

  • NameNode secundário: um failover quente para o NameNode principal. No Hadoop, a promoção para NameNode não ocorre automaticamente. O NameNode secundário coleta informações do NameNode para estar pronto para ser promovido quando necessário.

  • DataNode: proprietário real dos dados.

  • ResourceManager: O sistema primário de computação (Yarn). Coordena uma série de NodeManagers.

  • NodeManager: O recurso para computação. Localização real para execução de aplicativos.

  • JobHistoryServer: Responsável por atender a todas as solicitações relacionadas ao histórico de empregos.

O plugin Hadoop é baseado no plugin Jolokia do Telegraf. Como requisito para coletar informações de todos os componentes do Hadoop, o JMX precisa ser configurado e exposto via Jolokia em todos os componentes.

Compatibilidade

A configuração foi desenvolvida no Hadoop versão 2.9.2.

Configurando

Agente Jolokia Jar

Para todos os componentes individuais, uma versão do arquivo jar do agente Jolokia deve ser baixada. A versão testada foi"Agente Jolokia 1.6.0" .

As instruções abaixo pressupõem que o arquivo jar baixado (jolokia-jvm-1.6.0-agent.jar) esteja localizado no local '/opt/hadoop/lib/'.

NomeNode

Para configurar o NameNode para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7800,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8000 above) and Jolokia (7800). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Nome secundárioNode

Para configurar o Secondary NameNode para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export HADOOP_SECONDARYNAMENODE_OPTS="$HADOOP_SECONDARYNAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7802,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8002 above) and Jolokia (7802). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Nó de dados

Para configurar os DataNodes para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7801,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8001 above) and Jolokia (7801). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Gerenciador de Recursos

Para configurar o ResourceManager para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7803,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8003 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8003 above) and Jolokia (7803). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Gerenciador de nós

Para configurar os NodeManagers para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7804,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8004 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8004 above) and Jolokia (7804). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Servidor de histórico de empregos

Para configurar o JobHistoryServer para expor a API Jolokia, você pode configurar o seguinte em <HADOOP_HOME>/etc/hadoop/hadoop-env.sh:

export HADOOP_JOB_HISTORYSERVER_OPTS="$HADOOP_JOB_HISTORYSERVER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7805,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8005 -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8005 above) and Jolokia (7805). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Objetos e Contadores

Os seguintes objetos e seus contadores são coletados:

Objeto: Identificadores: Atributos:

Nome secundário do nó do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó Informações de compilação Versão

Gerenciador de Nós do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó

Gerenciador de Recursos do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó

Nó de dados do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó ID do cluster Versão

Nome do nó do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó ID da transação Última gravação Hora desde as últimas edições carregadas Estado do HA Estado do sistema de arquivos ID do pool de blocos ID do cluster Informações de compilação Contagem de versão distinta Versão

Servidor de histórico de tarefas do Hadoop

Servidor de namespace de cluster

Nome do nó IP do nó

Solução de problemas

Informações adicionais podem ser encontradas em"Apoiar" página.