日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

Kafka Data Collector の利用

04/02/2024 共同作成者

PDF

インストール
セットアップ（ Setup ）
オブジェクトとカウンタ
トラブルシューティング

Cloud Insights では、このデータコレクタを使用して Kafka から指標を収集します。

インストール

[Observability]>[Collectors]で、+ Data Collector *をクリックします。Kafkaを選択します。

Tegraf エージェントがインストールされているオペレーティングシステムまたはプラットフォームを選択します。
Agent for Collection をまだインストールしていない場合、または別のオペレーティングシステムまたはプラットフォームに Agent をインストールする場合は、 Show Instructions をクリックしてを展開します "エージェントのインストール" 手順
このデータコレクタで使用するエージェントアクセスキーを選択します。[+Agent Access Key] ボタンをクリックすると、新しいエージェントアクセスキーを追加できます。ベストプラクティス：別のエージェントアクセスキーを使用するのは、たとえば OS/ プラットフォーム別にデータコレクタをグループ化する場合だけです。
設定手順に従ってデータコレクタを設定します。手順は、データの収集に使用するオペレーティングシステムまたはプラットフォームのタイプによって異なります。

Kafka の構成です

セットアップ（ Setup ）

Kafka プラグインは、テレグラムの Jolokia プラグインに基づいています。すべての Kafka ブローカーから情報を収集する必要があるため、 JMX はすべてのコンポーネントで Jolokia 経由で設定および公開する必要があります。

互換性

Kafka バージョン 0.11.0.2 の構成向けに開発されました。

セットアップ中です

以下の手順はすべて、 Kafka のインストール場所が「 /opt/Kafka 」であることを前提としています。以下の手順を使用して、設置場所を変更できます。

Jolokia エージェント JAR

Jolokia エージェント jar ファイルのバージョン "ダウンロードしました"。テスト対象のバージョンは Jolokia エージェント 1.6.0 でした。

以下の手順では、ダウンロードした jar ファイル（ jolokia-jvm-1.6.0-agent.jar ）が「 /opt/Kafka/libs/' 」の下に配置されると想定しています。

Kafka Brokers のようになります

Kafka Brokers で Jolokia API を公開するように設定するには、「 Kafka -run-class.sh 」コールの直前に、 <Kafka_home>/bin/Kafka-server-start.sh に次の項目を追加します。

export JMX_PORT=9999
export RMI_HOSTNAME=`hostname -I`
export KAFKA_JMX_OPTS="-javaagent:/opt/kafka/libs/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0  -Dcom.sun.management.jmxremote.password.file=/opt/kafka/config/jmxremote.password -Dcom.sun.management.jmxremote.ssl=false -Djava.rmi.server.hostname=$RMI_HOSTNAME -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"

上記の例では 'hostname-i' を使用して 'RMI_HOSTNAME' 環境変数を設定しています。複数の IP マシンでは、 RMI 接続に使用する IP を収集するために、これを調整する必要があります。

JMX (9999 以上 ) とジョロキア (8778) には別のポートを選択できますJolokia をロックする内部 IP を持っている場合は、「 catch all 」 0.0.0.0 を自分の IP で置き換えることができます。この IP には、テレグラムプラグインからアクセスできる必要があります。認証を行わない場合は、オプション「 -Dcom.sun.management.jmxremote.authenticate=false' 」を使用できます。自己責任で使用してください。

オブジェクトとカウンタ

次のオブジェクトとそのカウンタが収集されます。

オブジェクト：	識別子：	属性：	「 dataPoints 」：
Kafka Broker	クラスタネームスペースブローカー	ノード名ノードIP	レプリカマネージャフェッチャー最大遅延 Zookeeperクライアント接続 ZooKeeperクライアント接続（15mレート） ZooKeeperクライアント接続（5mレート） ZooKeeperクライアント接続（平均速度） ZooKeeperクライアント接続（1mレート）レプリカマネージャのパーティション数スレッドカウントデーモンスレッド数のピーク現在のスレッド数スレッド数合計が開始されましたオフラインパーティション Produce Requests Total Time（50パーセンタイル値） Produce Requests Total Time（75パーセンタイル値） Produce Requests Total Time（95パーセンタイル値） Produce Requests Total Time（98パーセンタイル値） Produce Requests Total Time（999パーセンタイル値） Produce Requests Total Time（99パーセンタイル値） Produce Requests Total Timeの略 Produce Requests Total Time Max Produce Requests Total Time Meanの略 Produce Requests Total Time Min Produce Requests Total Time stddev レプリカマネージャISRが縮小されますレプリカ・マネージャのISRが縮小（15mレート）レプリカ・マネージャのISRが縮小（5mレート）レプリカ・マネージャのISRが縮小（平均レート）レプリカ・マネージャのISRが縮小（1mレート）リクエストハンドラの平均アイドル時間リクエストハンドラの平均アイドル時間（15mレート）リクエストハンドラの平均アイドル時間（5 m）リクエストハンドラの平均アイドル（平均レート）リクエストハンドラの平均アイドル時間（1 m）ガベージコレクションG1旧世代カウントガベージコレクションG1旧世代時間ガベージコレクションG1若い世代数ガベージコレクションG1 Young Generation Timeの略 Zookeeper読み取り専用接続 ZooKeeper読み取り専用接続（15mレート） ZooKeeper読み取り専用接続（5mレート） ZooKeeper読み取り専用接続（平均速度） ZooKeeper読み取り専用接続（1mレート）ネットワークプロセッサの平均アイドル時間リクエストフェッチフォロワー合計時間（50パーセンタイル）リクエストフェッチフォロワー合計時間（75パーセンタイル）リクエストフェッチフォロワー合計時間(95パーセンタイル値) リクエストフェッチフォロワー合計時間（98パーセンタイル）リクエストフェッチフォロワー合計時間（999パーセンタイル）リクエストフェッチフォロワー合計時間（99パーセンタイル）フェッチフォロワー合計時間を要求します要求フェッチフォロワー合計時間最大リクエストフェッチフォロワー合計時間平均要求フェッチフォロワー合計時間最小フェッチフォロワー合計時間stddevを要求します Produce Purgatoryで待機中のリクエスト Network Requests Fetch Consumerの略 Network Requests Fetch Consumer（5mレート）ネットワーク要求フェッチコンシューマ（15mレート） Network Requests Fetch Consumer（平均レート）ネットワーク要求フェッチコンシューマ（1mレート）不潔な指導者選挙不正なリーダーの選出（15mレート）不正なリーダー選挙（5mレート） Unclean Leader Elections（平均レート）不正なリーダーの選出（1mレート）アクティブコントローラヒープメモリがコミットされましたヒープメモリの初期化ヒープメモリ最大ヒープメモリ使用済み Zookeeperセッションが期限切れになります ZooKeeperセッションの期限切れ（15mレート） ZooKeeperセッションの期限切れ（5mレート） ZooKeeperセッションの期限切れ(平均レート) ZooKeeperセッションの有効期限（1 mレート） ZooKeeper認証エラー ZooKeeper認証エラー（15mレート） ZooKeeper認証エラー（5mレート） ZooKeeper認証エラー（平均レート） ZooKeeper認証エラー（1mレート）リーダー選出時間（50パーセンタイル）リーダー選挙時間（75パーセンタイル）リーダー選挙時間（95パーセンタイル）リーダー選挙時間（98パーセンタイル）リーダー選挙時間（999パーセンタイル）リーダー選挙時間（99パーセンタイル）リーダー選挙数リーダー選出時間（15mレート）リーダー選出時間（5mレート）引出線選択時間最大リーダー選挙時間平均リーダー選出時間（平均レート）リーダー選出時間（分リーダー選出時間（1 mレート）リーダーの選出時間（stddev） Network Requests Fetch Followerの略ネットワーク要求フェッチフォロワー（15mレート）ネットワーク要求フェッチフォロワー（5mレート） Network Requests Fetch Follower（平均レート）ネットワーク要求フェッチフォロワー（1 mレート）ブローカートピックメッセージブローカートピックメッセージ（15mレート）ブローカートピックメッセージ（5mレート）ブローカートピックメッセージ（平均レート）ブローカートピックメッセージ（1mレート）ブローカートピックのバイト数 Broker Topic Bytes in（15mレート） Broker Topic Bytes in（5mレート） Broker Topic Bytes in（平均レート）ブローカートピックバイト数（1mレート） Zookeeper Disconnects Count ZooKeeper切断（15mレート） ZooKeeper切断（5mレート） ZooKeeper切断（平均速度） ZooKeeper切断（1 mレート） Network Requests Fetch Consumer Total Time（50パーセンタイル） Network Requests Fetch Consumer Total Time（75パーセンタイル） Network Requests Fetch Consumer Total Time（95パーセンタイル） Network Requests Fetch Consumer Total Time（98パーセンタイル） Network Requests Fetch Consumer Total Time（999パーセンタイル） Network Requests Fetch Consumer Total Time（99パーセンタイル） Network Requests Fetch Consumer Total Timeの略 Network Requests Fetch Consumer合計時間最大 Network Requests Fetch Consumer Total Time Meanの略 Network Requests Fetch Consumer Total Time Min Network Requests Fetch Consumer Total Time stddev リーダーカウント Purgatoryフェッチで待機中のリクエストブローカートピックバイトアウト Broker Topic Bytes Out（15mレート） Broker Topic Bytes Out（5mレート） Broker Topic Bytes Out（平均レート） Broker Topic Bytes Out（1mレート） Zookeeper認証 ZooKeeper認証（15mレート） ZooKeeper認証（5mレート） ZooKeeper認証（平均レート） ZooKeeper認証（1mレート）要求生産数要求生産（15mレート）要求生産（5mレート）要求生産（平均レート）要求生産（1mレート）レプリカマネージャISRが拡張されますレプリカマネージャISRの拡張（15mレート）レプリカマネージャISRの拡張（5mレート）レプリカマネージャISRの拡張(平均速度) レプリカマネージャISRの拡張（1mレート） Replica Managerの下のReplicated Partitions（レプリケーションパーティション）

オブジェクト：

識別子：

属性：

「 dataPoints 」：

Kafka Broker

クラスタ
ネームスペース
ブローカー

ノード名
ノードIP

レプリカマネージャフェッチャー最大遅延
Zookeeperクライアント接続
ZooKeeperクライアント接続（15mレート）
ZooKeeperクライアント接続（5mレート）
ZooKeeperクライアント接続（平均速度）
ZooKeeperクライアント接続（1mレート）
レプリカマネージャのパーティション数
スレッドカウントデーモン
スレッド数のピーク
現在のスレッド数
スレッド数合計が開始されました
オフラインパーティション
Produce Requests Total Time（50パーセンタイル値）
Produce Requests Total Time（75パーセンタイル値）
Produce Requests Total Time（95パーセンタイル値）
Produce Requests Total Time（98パーセンタイル値）
Produce Requests Total Time（999パーセンタイル値）
Produce Requests Total Time（99パーセンタイル値）
Produce Requests Total Timeの略
Produce Requests Total Time Max
Produce Requests Total Time Meanの略
Produce Requests Total Time Min
Produce Requests Total Time stddev
レプリカマネージャISRが縮小されます
レプリカ・マネージャのISRが縮小（15mレート）
レプリカ・マネージャのISRが縮小（5mレート）
レプリカ・マネージャのISRが縮小（平均レート）
レプリカ・マネージャのISRが縮小（1mレート）
リクエストハンドラの平均アイドル時間
リクエストハンドラの平均アイドル時間（15mレート）
リクエストハンドラの平均アイドル時間（5 m）
リクエストハンドラの平均アイドル（平均レート）
リクエストハンドラの平均アイドル時間（1 m）
ガベージコレクションG1旧世代カウント
ガベージコレクションG1旧世代時間
ガベージコレクションG1若い世代数
ガベージコレクションG1 Young Generation Timeの略
Zookeeper読み取り専用接続
ZooKeeper読み取り専用接続（15mレート）
ZooKeeper読み取り専用接続（5mレート）
ZooKeeper読み取り専用接続（平均速度）
ZooKeeper読み取り専用接続（1mレート）
ネットワークプロセッサの平均アイドル時間
リクエストフェッチフォロワー合計時間（50パーセンタイル）
リクエストフェッチフォロワー合計時間（75パーセンタイル）
リクエストフェッチフォロワー合計時間(95パーセンタイル値)
リクエストフェッチフォロワー合計時間（98パーセンタイル）
リクエストフェッチフォロワー合計時間（999パーセンタイル）
リクエストフェッチフォロワー合計時間（99パーセンタイル）
フェッチフォロワー合計時間を要求します
要求フェッチフォロワー合計時間最大
リクエストフェッチフォロワー合計時間平均
要求フェッチフォロワー合計時間最小
フェッチフォロワー合計時間stddevを要求します
Produce Purgatoryで待機中のリクエスト
Network Requests Fetch Consumerの略
Network Requests Fetch Consumer（5mレート）
ネットワーク要求フェッチコンシューマ（15mレート）
Network Requests Fetch Consumer（平均レート）
ネットワーク要求フェッチコンシューマ（1mレート）
不潔な指導者選挙
不正なリーダーの選出（15mレート）
不正なリーダー選挙（5mレート）
Unclean Leader Elections（平均レート）
不正なリーダーの選出（1mレート）
アクティブコントローラ
ヒープメモリがコミットされました
ヒープメモリの初期化
ヒープメモリ最大
ヒープメモリ使用済み
Zookeeperセッションが期限切れになります
ZooKeeperセッションの期限切れ（15mレート）
ZooKeeperセッションの期限切れ（5mレート）
ZooKeeperセッションの期限切れ(平均レート)
ZooKeeperセッションの有効期限（1 mレート）
ZooKeeper認証エラー
ZooKeeper認証エラー（15mレート）
ZooKeeper認証エラー（5mレート）
ZooKeeper認証エラー（平均レート）
ZooKeeper認証エラー（1mレート）
リーダー選出時間（50パーセンタイル）
リーダー選挙時間（75パーセンタイル）
リーダー選挙時間（95パーセンタイル）
リーダー選挙時間（98パーセンタイル）
リーダー選挙時間（999パーセンタイル）
リーダー選挙時間（99パーセンタイル）
リーダー選挙数
リーダー選出時間（15mレート）
リーダー選出時間（5mレート）
引出線選択時間最大
リーダー選挙時間平均
リーダー選出時間（平均レート）
リーダー選出時間（分
リーダー選出時間（1 mレート）
リーダーの選出時間（stddev）
Network Requests Fetch Followerの略
ネットワーク要求フェッチフォロワー（15mレート）
ネットワーク要求フェッチフォロワー（5mレート）
Network Requests Fetch Follower（平均レート）
ネットワーク要求フェッチフォロワー（1 mレート）
ブローカートピックメッセージ
ブローカートピックメッセージ（15mレート）
ブローカートピックメッセージ（5mレート）
ブローカートピックメッセージ（平均レート）
ブローカートピックメッセージ（1mレート）
ブローカートピックのバイト数
Broker Topic Bytes in（15mレート）
Broker Topic Bytes in（5mレート）
Broker Topic Bytes in（平均レート）
ブローカートピックバイト数（1mレート）
Zookeeper Disconnects Count
ZooKeeper切断（15mレート）
ZooKeeper切断（5mレート）
ZooKeeper切断（平均速度）
ZooKeeper切断（1 mレート）
Network Requests Fetch Consumer Total Time（50パーセンタイル）
Network Requests Fetch Consumer Total Time（75パーセンタイル）
Network Requests Fetch Consumer Total Time（95パーセンタイル）
Network Requests Fetch Consumer Total Time（98パーセンタイル）
Network Requests Fetch Consumer Total Time（999パーセンタイル）
Network Requests Fetch Consumer Total Time（99パーセンタイル）
Network Requests Fetch Consumer Total Timeの略
Network Requests Fetch Consumer合計時間最大
Network Requests Fetch Consumer Total Time Meanの略
Network Requests Fetch Consumer Total Time Min
Network Requests Fetch Consumer Total Time stddev
リーダーカウント
Purgatoryフェッチで待機中のリクエスト
ブローカートピックバイトアウト
Broker Topic Bytes Out（15mレート）
Broker Topic Bytes Out（5mレート）
Broker Topic Bytes Out（平均レート）
Broker Topic Bytes Out（1mレート）
Zookeeper認証
ZooKeeper認証（15mレート）
ZooKeeper認証（5mレート）
ZooKeeper認証（平均レート）
ZooKeeper認証（1mレート）
要求生産数
要求生産（15mレート）
要求生産（5mレート）
要求生産（平均レート）
要求生産（1mレート）
レプリカマネージャISRが拡張されます
レプリカマネージャISRの拡張（15mレート）
レプリカマネージャISRの拡張（5mレート）
レプリカマネージャISRの拡張(平均速度)
レプリカマネージャISRの拡張（1mレート）
Replica Managerの下のReplicated Partitions（レプリケーションパーティション）

トラブルシューティング

追加情報はから入手できます "サポート" ページ