Skip to main content
Cloud Insights
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Hadoop Data Collector

Beitragende

Cloud Insights verwendet diese Datenerfassung zum Erfassen von Kennzahlen aus Hadoop.

Installation

  1. Klicken Sie unter Observability > Collectors auf +Data Collector. Für Hadoop.

    Wählen Sie das Betriebssystem oder die Plattform aus, auf dem der Telegraf-Agent installiert ist.

  2. Wenn Sie noch keinen Agent für die Sammlung installiert haben oder einen Agent für ein anderes Betriebssystem oder eine andere Plattform installieren möchten, klicken Sie auf Anweisungen anzeigen, um das zu erweitern "Agenten-Installation" Anweisungen.

  3. Wählen Sie den Agent-Zugriffsschlüssel für diesen Datensammler aus. Sie können einen neuen Agent-Zugriffsschlüssel hinzufügen, indem Sie auf die Schaltfläche + Agent Access Key klicken. Best Practice: Verwenden Sie einen anderen Agent-Zugriffsschlüssel nur, wenn Sie Datensammler gruppieren möchten, zum Beispiel nach Betriebssystem/Plattform.

  4. Befolgen Sie die Konfigurationsschritte, um den Datensammler zu konfigurieren. Die Anweisungen hängen vom Betriebssystem oder der Plattform ab, die Sie zur Datenerfassung verwenden.

Hadoop Konfiguration
Hadoop Konfiguration

Einrichtung

Eine vollständige Hadoop Implementierung umfasst die folgenden Komponenten:

  • NameNode: Das primäre System Hadoop Distributed File System (HDFS) Koordiniert eine Reihe von DataNodes.

  • Sekundärer NameNode: Ein warmer Failover für den NameNode. In Hadoop erfolgt die Heraufstufung auf NameNode nicht automatisch. Secondary NameNode sammelt Informationen von NameNode, damit sie bei Bedarf heraufgestuft werden können.

  • DataNode: Tatsächlicher Eigentümer von Daten.

  • ResourceManager: Das primäre Computersystem (Yarn). Koordiniert eine Reihe von NodeManagers.

  • NodeManager: Die Ressource für Computing. Aktueller Speicherort für das Ausführen von Anwendungen.

  • JobHistorieServer: Verantwortlich für die Bearbeitung aller Anfragen im Zusammenhang mit der Jobhistorie.

Das Hadoop Plugin basiert auf dem telegraf Jolokia Plugin. Um Informationen aus allen Hadoop Komponenten zu sammeln, muss JMX auf allen Komponenten konfiguriert und zugänglich gemacht werden.

Kompatibilität

Die Konfiguration wurde mit Hadoop Version 2.9 entwickelt.

Einrichtung

Jolokia Agent Jar

Für alle einzelnen Komponenten muss eine Version der Jolokia Agent JAR-Datei heruntergeladen werden. Die gegen getestete Version war "Jolokia Agent 1.6.0".

Die nachfolgende Anleitung setzt voraus, dass die heruntergeladene JAR-Datei (jolokia-jvm-1.6.0-Agent.jar) unter der Adresse '/opt/hadoop/lib/' abgelegt wird.

NameNode

Um NameNode zu konfigurieren, um die Jolokia API freizugeben, können Sie unter <HADOOP_HOME>/etc/hadoop/hadoop-env.sh Folgendes einrichten:

export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7800,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8000 above) and Jolokia (7800). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Sekundärer NameNode

Um den sekundären NameNode zu konfigurieren, um die Jolokia API freizugeben, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_SECONDARYNAMENODE_OPTS="$HADOOP_SECONDARYNAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7802,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8002 above) and Jolokia (7802). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

DataNode

Um die DataNodes so zu konfigurieren, dass sie die Jolokia API aussetzen, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7801,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8001 above) and Jolokia (7801). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

ResourceManager

Um den ResourceManager so zu konfigurieren, dass die Jolokia API zur Verfügung gestellt wird, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7803,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8003 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8003 above) and Jolokia (7803). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

NodeManager

Um die NodeManagers so zu konfigurieren, dass sie die Jolokia API aussetzen, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7804,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8004 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8004 above) and Jolokia (7804). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

JobGeschichteServer

Um den JobHistorieServer so zu konfigurieren, dass die Jolokia API zur Verfügung gestellt wird, können Sie Folgendes in <HADOOP_HOME>/etc/hadoop/hadoop-env.sh einrichten:

export HADOOP_JOB_HISTORYSERVER_OPTS="$HADOOP_JOB_HISTORYSERVER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7805,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8005 -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8005 above) and Jolokia (7805). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

Objekte und Zähler

Folgende Objekte und ihre Zähler werden gesammelt:

Objekt: Kennungen: Attribute: Datenpunkte:

Sekundärer Hadoop NameNode

Cluster Namespace-Server

Node Name Node IP Compile Info Version

GC-Anzahl GC-Kopien Anzahl GC-Markierungen Sweep Compact-Anzahl GC-Nummer Info Schwellenwert überschritten GC-Nummer Warnungsschwellenwert überschritten GC-Zeit kopieren GC-Markierungen Sweep Compact-Zeit GC Gesamtdauer Extra Sleep Time Logs Anzahl der Fehler Protokolle Anzahl der fatalen Protokolle Info-Anzahl Warnmeldungen SpeicherHeap-Comstied Speicher Heap Max Speicher Heap Verwendeter Speicher Max Speicher Nicht Heap Speicher Nicht Heap Max Speicher Nicht Heap Verwendete Threads Blockierte Threads Neue Threads Runnable Threads Beendet Threads Timed Waiting Threads

Hadoop NodeManager

Cluster Namespace-Server

Node Name Node-IP

Container Zugewiesener Speicher Zugewiesener Speicher Zuweisen Oportunistic Virtual Cores Allocchortunistic Virtual Cores Zugeordnete Speichernutzung Verfügbare Kerne Verfügbare Verzeichnisse Bad Lokale Verzeichnisse Bad Log Cache Größe Vor Clean Container Starten Dauer Durchschn. Dauer Container Starten Dauer Anzahl Operationen Container Abgeschlossen Container Container Container Container Container Container Inting Container Killed Containers Started Containers Container Reiniting Container gerollt zurück auf Fehler-Container ausgeführt Plattenauslastung gut Lokale Verzeichnisse Datenträgernutzung gut Log-Verzeichnisse Bytes gelöscht Private Bytes gelöscht Öffentliche Container mit opportunistischen Bytes gelöscht Gesamtanzahl Shuffle Verbindungen Shuffle Ausgabe Bytes Shuffle Outputs fehlgeschlagen Shuffle Outputs OK GC-Anzahl GC-Kopien Anzahl GC-Markierungen Sweep Compact Count GC-Nummer Info Schwellenwert überschritten GC-Nummer Warnungsschwellenwert überschritten GC-Zeit kopieren GC-Markierungen Sweep Compact Time GC Gesamtdauer Extra Sleep Time Logs Anzahl Protokolle Fatal Count Protokolle Warnungszahl Speicher Heap Max Memory Heap Used Memory Max Speicher Nicht Heap Speicher Nicht Heap Max Speicher Nicht Heap Verwendet Threads Blockiert Threads Neue Threads Runnable Threads Beendet Threads Timed Warting Threads Waiting

Hadoop ResourceManager

Cluster Namespace-Server

Node Name Node-IP

AnwendungMaster-Startverzögerung durchschn. AnwendungMaster-Startverzögerung AnwendungMaster-Register Verzögerung durchschn. AnwendungMaster Register Verzögerung Nummer NodeManager Aktive Nummer NodeManager Decomissierte Nummer NodeManager Decomissioning Nummer NodeManager Lost Number NodeManager neu gestartet Nummer NodeManager Herunterfahren Nummer NodeManager Healthy Number NodeManager Memory Limit NodeManager Virtual Cores Limit used Capacity Active Applications Active Users Aggregierter Container Zugewiesene Aggregatcontainer Freigegebene Aggregate-Speicher Sekunden Ersatz Für Aggregat-Node Lokale Container Zugewiesene Aggregat-Aus Switch-Container Zugewiesenes Aggregat Ack Lokale Container Zugewiesenes Aggregat Virtuelle Kerne Sekunden Vorweggenommen Container Zugewiesener Speicher Zugewiesene Virtuelle Kerne Applikationsversuch Erster Container-Zuweisungsverzögerung Durchschn. Time Application-Versuch Erste Containerzuordnungsverzögerung Anzahl der Anwendungen Abgeschlossene Anwendungen Anwendungen Anwendungen Anwendungen getötet Anwendungen laufende Anwendungen eingereichter Speicher verfügbar Virtuelle Kerne Verfügbare Container Ausstehender Speicher laufende virtuelle Kerne laufende virtuelle Kerne Ausstehende Container Reservierter Speicher Reservierter virtueller Kerne Reservierter Speicher AnwendungMaster verwendete Kapazitäten GC-Anzahl GC-Kopien Anzahl GC-Marks Sweep Compact Count GC-Nummer Info Schwellenwert überschritten GC-Nummer Warnungsschwellenwert überschritten GC-Kopierzeit GC-Markierungen Sweep Compact Time GC Gesamtdauer Extra Sleep Time Logs Fehleranzahl Protokolle Fatal Count Protokolle Warnungszahl Speicher Heap Max Memory Heap Verwendeter Speicher Max. Speicher Nicht Heap-Speicher Nicht Heap Max. Speicher Nicht Heap Verwendet Threads Blockiert Threads Neue Threads Runnable Threads Beendet Threads Timed Warting Threads Wartend

Hadoop DataNode

Cluster Namespace-Server

Node Name Node-IP Cluster-ID-Version

Transceiver-Anzahl überträgt in Bearbeitung Cache Kapazität Cache verwendete Kapazität DFS verwendete geschätzte Kapazität verloren Gesamt Letztes Volume Ausfall Rate Blöcke Anzahl gecachte Blöcke Anzahl fehlgeschlagener Cache-Blöcke Anzahl nicht in Cache-Blöcke Anzahl nicht übertragene Volumes Anzahl Restkapazität GC-Kopien Anzahl GC-Mark Sweep Compact-Anzahl GC-Nummer Info Schwellenwert überschritten GC-Nummer Warnschwellenwert überschritten GC-Zeit Kopieren GC-Zeit GC-Markierungen Sweep Compact Time GC Gesamt Extra Sleep Time Logs Anzahl Protokolle tödliche Anzahl Protokolle Info Anzahl Protokolle Warnungszahl Speicher Heap-Speicher Heap Max Speicher Heap verwendeter Speicher Max Speicher nicht Heap-belegt Speicher Nicht Heap Max Speicher Nicht Heap Verwendet Threads Blockiert Threads Neue Threads Runnable Threads Beendet Threads Timed Warting Threads Wartend

Hadoop NameNode

Cluster Namespace-Server

Node Name Node IP Transaktions-ID Letzte geschriebene Zeit seit Letzte geladen Edits HA State File System Status Block Pool ID Cluster ID Compile Info unterschiedliche Version Anzahl Version

Block Kapazität Blöcke Gesamtkapazität genutzte Gesamtkapazität nicht DFS-Blöcke beschädigt geschätzte Kapazität verloren Gesamtblöcke Überschuss Herzschläge abgelaufen Dateien Gesamt File System Lock Queue Länge Blöcke fehlende Blöcke fehlende Replizierung mit Faktor 1 Clients Aktive Daten Knoten Dead Data Nodes Deaktivieren Dead Data Nodes Decommissioning Live Data Nodes Decomissieren Verschlüsselungszonen Anzahl Daten Knoten, die Wartungsdateien unter Baudaten Knoten eingeben in Wartung Daten Knoten leben in Wartung Daten Knoten Live-Speicher Inches Replikation Ausstehende Timeouts Datenknoten Nachricht Ausstehende Blöcke Ausstehende Löschblöcke ausstehende Replikationsblöcke Ausstehende Replikationsblöcke Ausstehende Replikationsblöcke mehrere verschobene Blöcke geplante Snapshot-Verzeichnisse Daten-Nodes veraltete Dateien Gesamt Last Sync Anzahl der gesamten Transaktionen seit letzten Checkpoint-Transaktionen seit Last Log Roll-Blocks UnderReplicated Volume Failures gesamte Synchronisierungszeiten Gesamtes Objekt Max Operationen hinzufügen Operationen Snapshots zulassen Batched Operations Block Queued Operations Block Empfangene und gelöschte Operationen Bericht durchschn. Zeit Operationen Block Report Number Cache Report AVG Time Cache Report Number Operations Create File Operations Create Snapshot Operations Create symlink Operations Delete File Operations Snapshot Operations Disallow Snapshot Operations File in/out Files appended Files Created Files Listing Files umbenannte Dateien gekürzte Dateien Abbeschnitten Dateisystem Ladezeit Operationen Erzeugen EDEK Durchschnittl. Zeitvorgänge EDEK-Operationen erzeugen zusätzliche Daten-Knoten-Blöcke erhalten Standorte Bearbeiten durchschn. Zeit Bew. Bew. Bew.-Nr. abrufen Bildnummer Operationen get Link Zielvorgänge Eintrag abrufen Snapshottabelle Verzeichnis Replizierung nicht geplant Anzahl Put-Bild durchschn. Zeit Put-Bildnummer Vorgänge Umbenennen Snapshots Ressourcencheck-Zeit Durchschnittl. Zeitüberprüfung Ressourcenzeit Nummer Safe Modus Zeitvorgänge Snapshot Diff Report Operationen Speicher Block Bericht Replikation erfolgreich Synchronisierung durchschn. Dauer Operationen Sync Anzahl Replikation Timeout Operationen Gesamt Transaktion durchschn. Zeit Transaktion Batchd in Sync Transaktionsnummer EDEK Warmup-Zeit durchschn. EDEK-Aufwärmphase Anzahl Block Pool verwendeter Speicherplatz Cache Kapazität Cache verwendete Kapazität Freier Block-Pool verwendet Prozent Restwert Prozentsatz verwendet Threads GC-Anzahl GC-Kopien Anzahl GC-Mark Sweep Compact-Anzahl GC-Info Schwellenwert überschritten GC-Anzahl Warnung Überschreitung GC-Zeit GC-Kopierzeit GC-Markierungen Sweep Compact-Zeit GC Total Extra Sleep Time Logs Fehleranzahl Protokolle fatale Anzahl Protokolle Info Anzahl Protokolle Warnzählung Speicher Heap gebundener Speicher Heap Max Memory Heap verwendeter Speicher Max Speicher nicht-Heap-Speicher nicht-Heap Max-Speicher nicht-Heap-verwendet Threads blockiert Threads Neue Threads Runnable Threads Abgekündigte Threads Timed Wartende Threads Warten

Hadoop JobGeschichteServer

Cluster Namespace-Server

Node Name Node-IP

GC-Anzahl GC-Kopien Anzahl GC-Markierungen Sweep Compact-Anzahl GC-Nummer Info Schwellenwert überschritten GC-Nummer Warnungsschwellenwert überschritten GC-Zeit kopieren GC-Markierungen Sweep Compact-Zeit GC Gesamtdauer Extra Sleep Time Logs Anzahl der Fehler Protokolle Anzahl der fatalen Protokolle Info-Anzahl Warnmeldungen SpeicherHeap-Comstied Speicher Heap Max Speicher Heap Verwendeter Speicher Max Speicher Nicht Heap Speicher Nicht Heap Max Speicher Nicht Heap Verwendete Threads Blockierte Threads Neue Threads Runnable Threads Beendet Threads Timed Waiting Threads

Fehlerbehebung

Weitere Informationen finden Sie im "Unterstützung" Seite.