Skip to main content
Data Infrastructure Insights
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

Hadoop データコレクター

共同作成者 netapp-alavoie
PDF

Data Infrastructure Insights は、このデータ コレクターを使用して Hadoop からメトリックを収集します。

インストール

  1. Observability > Collectors から、+ Data Collector をクリックします。 Hadoop を選択します。

    Telegraf エージェントがインストールされているオペレーティング システムまたはプラットフォームを選択します。

  2. 収集用のエージェントをまだインストールしていない場合、または別のオペレーティングシステムまたはプラットフォーム用のエージェントをインストールする場合は、[手順を表示] をクリックして展開します。"エージェントのインストール"説明書。

  3. このデータ コレクターで使用するエージェント アクセス キーを選択します。 + エージェント アクセス キー ボタンをクリックすると、新しいエージェント アクセス キーを追加できます。ベスト プラクティス: データ コレクターを OS/プラットフォーム別などにグループ化する場合にのみ、異なるエージェント アクセス キーを使用します。

  4. 構成手順に従ってデータ コレクターを構成します。手順は、データ収集に使用しているオペレーティング システムまたはプラットフォームの種類によって異なります。

Hadoopの設定 Hadoopの設定

セットアップ

完全な Hadoop の展開には、次のコンポーネントが含まれます。

  • NameNode: Hadoop 分散ファイル システム (HDFS) のプライマリ システム。一連の DataNode を調整します。

  • セカンダリ NameNode: メイン NameNode のウォーム フェイルオーバー。 Hadoop では、NameNode への昇格は自動的には行われません。セカンダリ NameNode は、必要に応じて昇格できるように NameNode から情報を収集します。

  • DataNode: データの実際の所有者。

  • ResourceManager: コンピューティング プライマリ システム (Yarn)。一連の NodeManager を調整します。

  • NodeManager: コンピューティングのリソース。アプリケーションを実行する実際の場所。

  • JobHistoryServer: すべてのジョブ履歴関連のリクエストを処理する役割を担います。

Hadoop プラグインは、Telegraf の Jolokia プラグインに基づいています。すべての Hadoop コンポーネントから情報を収集する必要があるため、すべてのコンポーネントで Jolokia 経由で JMX を構成して公開する必要があります。

互換性

構成は Hadoop バージョン 2.9.2 に対して開発されました。

セットアップ

ジョロキアエージェントジャー

すべての個別コンポーネントについて、Jolokia エージェント jar ファイルのバージョンをダウンロードする必要があります。テスト対象のバージョンは"Jolokia エージェント 1.6.0"。

以下の手順では、ダウンロードした jar ファイル (jolokia-jvm-1.6.0-agent.jar) が '/opt/hadoop/lib/' の場所に配置されていることを前提としています。

ネームノード

NameNode を設定して Jolokia API を公開するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export HADOOP_NAMENODE_OPTS="$HADOOP_NAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7800,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8000 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8000 above) and Jolokia (7800). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

セカンダリネームノード

セカンダリ NameNode が Jolokia API を公開するように設定するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export HADOOP_SECONDARYNAMENODE_OPTS="$HADOOP_SECONDARYNAMENODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7802,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8002 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8002 above) and Jolokia (7802). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

データノード

Jolokia API を公開するように DataNode を構成するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export HADOOP_DATANODE_OPTS="$HADOOP_DATANODE_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7801,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8001 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8001 above) and Jolokia (7801). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

リソースマネージャー

ResourceManager が Jolokia API を公開するように設定するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export YARN_RESOURCEMANAGER_OPTS="$YARN_RESOURCEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7803,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8003 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8003 above) and Jolokia (7803). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

ノードマネージャー

Jolokia API を公開するように NodeManagers を構成するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export YARN_NODEMANAGER_OPTS="$YARN_NODEMANAGER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7804,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8004 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8004 above) and Jolokia (7804). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

ジョブ履歴サーバー

JobHistoryServer が Jolokia API を公開するように設定するには、<HADOOP_HOME>/etc/hadoop/hadoop-env.sh で次のように設定します。

export HADOOP_JOB_HISTORYSERVER_OPTS="$HADOOP_JOB_HISTORYSERVER_OPTS -javaagent:/opt/hadoop/lib/jolokia-jvm-1.6.0-agent.jar=port=7805,host=0.0.0.0 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8005 -Dcom.sun.management.jmxremote.password.file=$HADOOP_HOME/conf/jmxremote.password"
You can choose a different port for JMX (8005 above) and Jolokia (7805). If you have an internal IP to lock Jolokia onto you can replace the "catch all" 0.0.0.0 by your own IP. Notice this IP needs to be accessible from the telegraf plugin. You can use the option '-Dcom.sun.management.jmxremote.authenticate=false' if you don't want to authenticate. Use at your own risk.

オブジェクトとカウンター

次のオブジェクトとそのカウンターが収集されます。

オブジェクト 識別子: 属性:

Hadoop セカンダリネームノード

クラスター名前空間サーバー

ノード名 ノードIP コンパイル情報 バージョン

Hadoop ノードマネージャー

クラスター名前空間サーバー

ノード名 ノードIP

Hadoop リソースマネージャー

クラスター名前空間サーバー

ノード名 ノードIP

Hadoop データノード

クラスター名前空間サーバー

ノード名 ノードIP クラスタID バージョン

Hadoop ネームノード

クラスター名前空間サーバー

ノード名 ノードIP トランザクションID 最終書き込み 最終ロード以降の時間 編集 HA状態 ファイルシステム状態 ブロックプールID クラスタID コンパイル情報 個別バージョン数 バージョン

Hadoop ジョブ履歴サーバー

クラスター名前空間サーバー

ノード名 ノードIP

トラブルシューティング

追加情報は以下からご覧いただけます。"サポート"ページ。