Flinkデータコレクター
変更を提案
PDF
Data Infrastructure Insights は、このデータ コレクターを使用して Flink からメトリックを収集します。
インストール
-
Observability > Collectors から、+ Data Collector をクリックします。 Flinkを選択します。
Telegraf エージェントがインストールされているオペレーティング システムまたはプラットフォームを選択します。
-
収集用のエージェントをまだインストールしていない場合、または別のオペレーティングシステムまたはプラットフォーム用のエージェントをインストールする場合は、[手順を表示] をクリックして展開します。"エージェントのインストール"説明書。
-
このデータ コレクターで使用するエージェント アクセス キーを選択します。 + エージェント アクセス キー ボタンをクリックすると、新しいエージェント アクセス キーを追加できます。ベスト プラクティス: データ コレクターを OS/プラットフォーム別などにグループ化する場合にのみ、異なるエージェント アクセス キーを使用します。
-
構成手順に従ってデータ コレクターを構成します。手順は、データ収集に使用しているオペレーティング システムまたはプラットフォームの種類によって異なります。
セットアップ
完全な Flink デプロイメントには、次のコンポーネントが含まれます。
JobManager: Flink プライマリ システム。一連の TaskManager を調整します。高可用性設定では、システムには複数の JobManager が存在します。 TaskManager: ここで Flink オペレーターが実行されます。 Flink プラグインは、Telegraf の Jolokia プラグインに基づいています。すべての Flink コンポーネントから情報を収集する必要があるため、すべてのコンポーネントで Jolokia を介して JMX を構成して公開する必要があります。
互換性
構成は Flink バージョン 1.7.0 に対して開発されました。
セットアップ
ジョロキアエージェントジャー
すべての個別コンポーネントについて、Jolokia エージェント jar ファイルのバージョンをダウンロードする必要があります。テスト対象のバージョンは"Jolokia エージェント 1.6.0"。
以下の手順では、ダウンロードした jar ファイル (jolokia-jvm-1.6.0-agent.jar) が '/opt/flink/lib/' の場所に配置されていることを前提としています。
ジョブマネージャー
JobManager が Jolokia API を公開するように設定するには、ノードに次の環境変数を設定し、JobManager を再起動します。
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia (8778) には別のポートを選択できます。 Jolokia をロックするための内部 IP がある場合は、「すべてをキャッチ」する 0.0.0.0 を独自の IP に置き換えることができます。この IP は Telegraf プラグインからアクセスできる必要があることに注意してください。
タスクマネージャー
Jolokia API を公開するように TaskManager を構成するには、ノードで次の環境変数を設定し、TaskManager を再起動します。
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia (8778) には別のポートを選択できます。 Jolokia をロックするための内部 IP がある場合は、「すべてをキャッチ」する 0.0.0.0 を独自の IP に置き換えることができます。この IP は Telegraf プラグインからアクセスできる必要があることに注意してください。
オブジェクトとカウンター
次のオブジェクトとそのカウンターが収集されます。
| オブジェクト | 識別子: | 属性: | データポイント: |
|---|---|---|---|
Flinkタスクマネージャー |
クラスター名前空間サーバー |
ノード名 タスクマネージャーID ノードIP |
ネットワーク使用可能メモリセグメント ネットワーク合計メモリセグメント ガベージコレクション PS マークスイープ数 ガベージコレクション PS マークスイープ時間 ガベージコレクション PS スカベンジ数 ガベージコレクション PS スカベンジ時間 コミット済みヒープメモリ ヒープメモリ初期化ヒープメモリ 最大使用ヒープメモリ スレッド数 デーモンスレッド数 ピークスレッド数 開始済みスレッド数合計 |
フリンクジョブ |
クラスタ名前空間サーバジョブID |
ノード名 ジョブ名 ノードIP 最終チェックポイント 外部パス 再起動時間 |
ダウンタイム 完全再起動 最終チェックポイント アライメント バッファリング 最終チェックポイントの持続時間 最終チェックポイントのサイズ 完了したチェックポイントの数 失敗したチェックポイントの数 進行中のチェックポイントの数 チェックポイントの数 稼働時間 |
Flinkジョブマネージャー |
クラスター名前空間サーバー |
ノード名 ノードIP |
ガベージ コレクション PS MarkSweep 数 ガベージ コレクション PS MarkSweep 時間 ガベージ コレクション PS Scavenge 数 ガベージ コレクション PS Scavenge 時間 コミットされたヒープ メモリ ヒープ メモリの初期値 ヒープ メモリの最大使用ヒープ メモリ 登録されたタスク マネージャーの数 実行中のジョブの数 使用可能なタスク スロットの数 合計スレッド数 デーモン スレッド数 ピーク スレッド数 合計開始スレッド数 |
フリンクタスク |
クラスター名前空間ジョブIDタスクID |
サーバーノード名 ジョブ名 サブタスクインデックス タスク試行ID タスク試行番号 タスク名 タスクマネージャID ノードIP 現在の入力ウォーターマーク |
プール内バッファー使用量、キュー内バッファー長、プール外バッファー使用量、キュー内バッファー長、ローカル内バッファー数、ローカル内バッファー数 (秒あたり)、ローカル内バッファー数 (秒あたり)、速度、リモート内バッファー数、リモート内バッファー数 (秒あたり)、リモート内バッファー数 (秒あたり)、速度、出力バッファー数、秒あたり出力バッファー数、秒あたり出力バッファー数、速度、ローカル内バイト数、ローカル内バイト数 (秒あたり)、速度、リモート内バイト数、リモート内バイト数 (秒あたり)、速度、出力バイト数、秒あたり出力バイト数、秒あたり出力バイト数、秒あたり出力バイト数、速度、入力レコード数、秒あたり入力レコード数、秒あたり入力レコード数、秒あたり出力レコード数、秒あたり出力レコード数、秒あたり出力レコード数 |
Flinkタスクオペレーター |
クラスター名前空間ジョブIDオペレーターIDタスクID |
サーバーノード名 ジョブ名 オペレータ名 サブタスクインデックス タスク試行ID タスク試行番号 タスク名 タスクマネージャID ノードIP |
現在の入力ウォーターマーク 現在の出力ウォーターマーク 入力レコード数 1秒あたりの入力レコード数 1秒あたりの入力レコード数 レート 出力レコード数 1秒あたりの出力レコード数 1秒あたりの出力レコード数 レート 遅延レコード数 ドロップされた割り当て済みパーティション 消費バイト数 レート コミット待ち時間 平均コミット待ち時間 最大コミットレート 失敗したコミット数 成功したコミット数 接続クローズレート 接続数 接続作成レート数 フェッチ待ち時間 平均フェッチ待ち時間 最大フェッチレート フェッチサイズ 平均フェッチサイズ 最大フェッチスロットル時間 平均フェッチスロットル時間 最大ハートビートレート 受信バイトレート IO比率 IO時間平均（ナノ秒） IO待機比率 IO待機時間平均（ナノ秒） 参加レート 参加時間平均前回ハートビート前 ネットワークIOレート 送信バイトレート 消費レコード数 レコード遅延 リクエストあたりの最大レコード数 平均リクエストレート リクエストサイズ 平均リクエストサイズ 最大レスポンスレート 選択レート 同期レート 同期時間 平均ハートビートレスポンス時間最大参加時間 最大同期時間 最大 |
トラブルシューティング
追加情報は以下からご覧いただけます。"サポート"ページ。