Skip to main content
Data Infrastructure Insights
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

Kafka データコレクター

共同作成者 netapp-alavoie
PDF

Data Infrastructure Insights は、このデータ コレクターを使用して Kafka からメトリックを収集します。

インストール

  1. Observability > Collectors から、+ Data Collector をクリックします。 Kafka を選択します。

    Telegraf エージェントがインストールされているオペレーティング システムまたはプラットフォームを選択します。

  2. 収集用のエージェントをまだインストールしていない場合、または別のオペレーティングシステムまたはプラットフォーム用のエージェントをインストールする場合は、[手順を表示] をクリックして展開します。"エージェントのインストール"説明書。

  3. このデータ コレクターで使用するエージェント アクセス キーを選択します。 + エージェント アクセス キー ボタンをクリックすると、新しいエージェント アクセス キーを追加できます。ベスト プラクティス: データ コレクターを OS/プラットフォーム別などにグループ化する場合にのみ、異なるエージェント アクセス キーを使用します。

  4. 構成手順に従ってデータ コレクターを構成します。手順は、データ収集に使用しているオペレーティング システムまたはプラットフォームの種類によって異なります。

Kafkaの設定

セットアップ

Kafka プラグインは、Telegraf の Jolokia プラグインに基づいています。すべての Kafka ブローカーから情報を収集する必要があるため、すべてのコンポーネントで Jolokia 経由で JMX を構成して公開する必要があります。

互換性

構成は Kafka バージョン 0.11.0.2 に対して開発されました。

セットアップ

以下のすべての手順では、kafka のインストール場所が '/opt/kafka' であることを前提としています。以下の手順をインストール場所に合わせて調整できます。

ジョロキアエージェントジャー

Jolokiaエージェントjarファイルのバージョン"ダウンロード済み"。テスト対象のバージョンは Jolokia エージェント 1.6.0 です。

以下の手順では、ダウンロードした jar ファイル (jolokia-jvm-1.6.0-agent.jar) が '/opt/kafka/libs/' の場所に配置されていることを前提としています。

Kafkaブローカー

Jolokia API を公開するように Kafka Brokers を構成するには、<KAFKA_HOME>/bin/kafka-server-start.sh の 'kafka-run-class.sh' 呼び出しの直前に以下を追加します。

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

上記の例では、「hostname -I」を使用して「RMI_HOSTNAME」環境変数を設定していることに注意してください。複数の IP を持つマシンでは、RMI 接続に必要な IP を収集するためにこれを調整する必要があります。

JMX (上記 9999) と Jolokia (8778) には異なるポートを選択できます。 Jolokia をロックするための内部 IP がある場合は、「すべてをキャッチ」する 0.0.0.0 を独自の IP に置き換えることができます。この IP は Telegraf プラグインからアクセスできる必要があることに注意してください。認証したくない場合は、オプション「-Dcom.sun.management.jmxremote.authenticate=false」を使用できます。自己責任でご使用ください。

オブジェクトとカウンター

次のオブジェクトとそのカウンターが収集されます。

オブジェクト 識別子: 属性:

Kafkaブローカー

クラスター名前空間ブローカー

ノード名 ノードIP

トラブルシューティング

追加情報は以下からご覧いただけます。"サポート"ページ。