Skip to main content
Data Infrastructure Insights
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Hadoop-Datensammler

Beitragende netapp-alavoie
PDFs

Data Infrastructure Insights verwendet diesen Datensammler, um Metriken von Hadoop zu sammeln.

Installation

  1. Klicken Sie unter Observability > Collectors auf +Data Collector. Wählen Sie Hadoop.

    Wählen Sie das Betriebssystem oder die Plattform aus, auf der der Telegraf-Agent installiert ist.

  2. Wenn Sie noch keinen Agenten für die Sammlung installiert haben oder einen Agenten für ein anderes Betriebssystem oder eine andere Plattform installieren möchten, klicken Sie auf Anweisungen anzeigen, um das"Agenteninstallation" Anweisungen.

  3. Wählen Sie den Agent-Zugriffsschlüssel zur Verwendung mit diesem Datensammler aus. Sie können einen neuen Agentenzugriffsschlüssel hinzufügen, indem Sie auf die Schaltfläche + Agentenzugriffsschlüssel klicken. Best Practice: Verwenden Sie nur dann einen anderen Agent-Zugriffsschlüssel, wenn Sie Datensammler beispielsweise nach Betriebssystem/Plattform gruppieren möchten.

  4. Befolgen Sie die Konfigurationsschritte, um den Datensammler zu konfigurieren. Die Anweisungen variieren je nach Art des Betriebssystems oder der Plattform, die Sie zum Sammeln von Daten verwenden.

Hadoop-Konfiguration Hadoop-Konfiguration

Aufstellen

Eine vollständige Hadoop-Bereitstellung umfasst die folgenden Komponenten:

  • NameNode: Das primäre System des Hadoop Distributed File System (HDFS). Koordiniert eine Reihe von DataNodes.

  • Sekundärer NameNode: ein Warm-Failover für den Haupt-NameNode. In Hadoop erfolgt die Beförderung zum NameNode nicht automatisch. Der sekundäre NameNode sammelt Informationen vom NameNode, um bei Bedarf für die Beförderung bereit zu sein.

  • DataNode: Tatsächlicher Eigentümer der Daten.

  • ResourceManager: Das primäre Rechensystem (Yarn). Koordiniert eine Reihe von NodeManagern.

  • NodeManager: Die Ressource für die Berechnung. Tatsächlicher Speicherort für die Ausführung von Anwendungen.

  • JobHistoryServer: Verantwortlich für die Bearbeitung aller Anfragen zum Jobverlauf.

Das Hadoop-Plugin basiert auf dem Jolokia-Plugin von Telegraf. Um beispielsweise Informationen von allen Hadoop-Komponenten zu sammeln, muss JMX auf allen Komponenten konfiguriert und über Jolokia verfügbar gemacht werden.

Kompatibilität

Die Konfiguration wurde für Hadoop Version 2.9.2 entwickelt.

Einrichten

Jolokia Agent Jar

Für alle Einzelkomponenten muss eine Version der Jolokia-Agent-JAR-Datei heruntergeladen werden. Die getestete Version war"Jolokia-Agent 1.6.0" .

Die folgenden Anweisungen gehen davon aus, dass die heruntergeladene JAR-Datei (jolokia-jvm-1.6.0-agent.jar) am Speicherort „/opt/hadoop/lib/“ abgelegt ist.

NameNode

Um NameNode für die Bereitstellung der Jolokia-API zu konfigurieren, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7800,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8000 above) and Jolokia (7800). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Sekundärer NameNode

Um den sekundären NameNode für die Bereitstellung der Jolokia-API zu konfigurieren, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_SECONDARYNAMENODE_OPTS="$HADOOP_SECONDARYNAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7802,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8002 above) and Jolokia (7802). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Datenknoten

Um die DataNodes so zu konfigurieren, dass sie die Jolokia-API verfügbar machen, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7801,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8001 above) and Jolokia (7801). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Ressourcenmanager

Um den ResourceManager für die Bereitstellung der Jolokia-API zu konfigurieren, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7803,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8003 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8003 above) and Jolokia (7803). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Knotenmanager

Um die NodeManager so zu konfigurieren, dass sie die Jolokia-API verfügbar machen, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7804,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8004 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8004 above) and Jolokia (7804). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

JobHistoryServer

Um den JobHistoryServer für die Bereitstellung der Jolokia-API zu konfigurieren, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_JOB_HISTORYSERVER_OPTS="$HADOOP_JOB_HISTORYSERVER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7805,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8005 -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8005 above) and Jolokia (7805). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Objekte und Zähler

Die folgenden Objekte und ihre Zähler werden gesammelt:

Objekt: Kennungen: Merkmale:

Sekundärer NameNode von Hadoop

Cluster-Namespace-Server

Knotenname Knoten-IP Kompilierungsinformationen Version

Hadoop NodeManager

Cluster-Namespace-Server

Knotenname Knoten-IP

Hadoop-Ressourcenmanager

Cluster-Namespace-Server

Knotenname Knoten-IP

Hadoop-Datenknoten

Cluster-Namespace-Server

Knotenname Knoten-IP Cluster-ID Version

Hadoop-Namensknoten

Cluster-Namespace-Server

Knotenname Knoten-IP Transaktions-ID Zuletzt geschrieben Zeit seit dem letzten Laden Bearbeitungen HA-Status Dateisystemstatus Blockpool-ID Cluster-ID Kompilierungsinformationen Eindeutige Versionsanzahl Version

Hadoop JobHistoryServer

Cluster-Namespace-Server

Knotenname Knoten-IP

Fehlerbehebung

Weitere Informationen finden Sie in der"Support" Seite.