Hadoop Data Collector
建議變更
PDF
Data Infrastructure Insights 使用此資料收集器從 Hadoop 收集指標。
安裝
-
從 * 可伺服 > 收集器 * 、按一下 * + 資料收集器 * 。選擇 Hadoop 。
選取安裝Telegraf代理程式的作業系統或平台。
-
如果您尚未安裝 Agent 進行收集，或想要為不同的作業系統或平台安裝 Agent ，請按一下 _ 顯示指示 _ 以展開指示"代理程式安裝"。
-
選取要搭配此資料收集器使用的代理程式存取金鑰。您可以按一下「+代理程式存取金鑰」按鈕來新增代理存取金鑰。最佳實務做法：只有當您想要將資料收集器分組時、才使用不同的代理程式存取金鑰、例如依作業系統/平台。
-
請依照組態步驟設定資料收集器。這些指示會因您用來收集資料的作業系統或平台類型而有所不同。
設定
完整的Hadoop部署包含下列元件：
-
NameNode：Hadoop分散式檔案系統（HDFS）主要系統。協調一系列DataNode。
-
次要NameNode：主NameNode的暖容錯移轉。在Hadoop中、不會自動升級至NameNode。次要NameNode會從NameNode收集資訊、以便在需要時隨時升級。
-
DataNode：資料的實際擁有者。
-
資源管理器：運算主系統（Yarn）。協調一系列的NodeManager。
-
NodeManager：運算資源。執行應用程式的實際位置。
-
JobhistoryServer：負責服務所有工作歷程記錄相關要求。
Hadoop外掛程式是以Telewraf的Jolokia外掛程式為基礎。例如、需要從所有Hadoop元件收集資訊、需要在所有元件上透過Jolokia設定和公開的JMX。
相容性
組態是根據Hadoop 2.2.9版開發而成。
設定
Jolokia代理程式Jar
對於所有個別元件、必須下載Jolokia代理程式Jar檔案的版本。測試的版本是"約洛基亞代理商1.6.0"。
以下說明假設下載的Jar檔案（jolokia -jvm-1.6.0-agent.jar）位於「/op/Hadoop /lib/」位置。
NameNode
若要設定NameNode以公開Jolokia API、您可以在<Hadoop主頁>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7800,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8000 above) and Jolokia (7800). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
次要NameNode
若要將次要NameNode設定為公開Jolokia API、您可以在<Hadoop主目錄>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export HADOOP_SECONDARYNAMENODE_OPTS="$HADOOP_SECONDARYNAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7802,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8002 above) and Jolokia (7802). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
DataNode
若要將DataNode設定為公開Jolokia API、您可以在<Hadoop主頁>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7801,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8001 above) and Jolokia (7801). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
資源管理程式
若要設定資源管理程式以公開Jolokia API、您可以在<Hadoop主頁>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7803,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8003 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8003 above) and Jolokia (7803). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
NodeManager
若要設定NodeManager以公開Jolokia API、您可以在<Hadoop主頁>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7804,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8004 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8004 above) and Jolokia (7804). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
作業歷史伺服器
若要將JobHistoryServer設定為公開Jolokia API、您可以在<Hadoop主頁>/etc/Hadoop / Hadoop -env.sh中設定下列項目：
export HADOOP_JOB_HISTORYSERVER_OPTS="$HADOOP_JOB_HISTORYSERVER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7805,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8005 -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password" You can choose a different port for JMX (8005 above) and Jolokia (7805). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.
物件與計數器
收集下列物件及其計數器：
| 物件： | 識別碼： | 屬性： |
|---|---|---|
Hadoop次要NameNode |
叢集命名空間伺服器 |
節點名稱節點IP編譯資訊版本 |
Hadoop NodeManager |
叢集命名空間伺服器 |
節點名稱節點IP |
Hadoop資源管理程式 |
叢集命名空間伺服器 |
節點名稱節點IP |
Hadoop DataNode |
叢集命名空間伺服器 |
節點名稱節點IP叢集ID版本 |
Hadoop NameNode |
叢集命名空間伺服器 |
節點名稱節點IP交易ID上次載入後的寫入時間HA狀態檔案系統狀態區塊集區ID叢集ID編譯資訊不同版本計數版本 |
Hadoop作業歷史伺服器 |
叢集命名空間伺服器 |
節點名稱節點IP |
疑難排解
您可以在頁面中找到其他資訊"支援"。