Flink Data Collector の使用
変更を提案
PDF
Data Infrastructure Insightsは、このデータコレクタを使用してFlinkから指標を収集します。
インストール
-
[Observability]>[Collectors]で、+ Data Collector *をクリックします。[Flink]を選択します。
Tegraf エージェントがインストールされているオペレーティングシステムまたはプラットフォームを選択します。
-
コレクション用エージェントをまだインストールしていない場合、または別のオペレーティングシステムまたはプラットフォーム用のエージェントをインストールする場合は、[Show Instructions]をクリックして手順を展開し"エージェントのインストール"ます。
-
このデータコレクタで使用するエージェントアクセスキーを選択します。[+Agent Access Key] ボタンをクリックすると、新しいエージェントアクセスキーを追加できます。ベストプラクティス：別のエージェントアクセスキーを使用するのは、たとえば OS/ プラットフォーム別にデータコレクタをグループ化する場合だけです。
-
設定手順に従ってデータコレクタを設定します。手順は、データの収集に使用するオペレーティングシステムまたはプラットフォームのタイプによって異なります。
セットアップ
フルリンク展開では、次のコンポーネントが使用されます。
JobManager ： Flink プライマリシステム。一連の TaskManager を調整しますハイアベイラビリティ設定では、システムに複数の JobManager が存在します。TaskManager ： Flink 演算子が実行される場所です。Flink プラグインは、テレグラムの Jolokia プラグインに基づいています。すべての Flink コンポーネントから情報を収集するための要件など、 JMX はすべてのコンポーネントで Jolokia を介して設定および公開する必要があります。
互換性
Flink バージョン 1.7.0 に対して設定が開発されました。
セットアップ中です
Jolokia エージェント JAR
個々のコンポーネントについては、 Jolokia エージェント jar ファイルのバージョンをダウンロードする必要があります。テストされたバージョンはでした"Jolokia 代理店 1.6.0"。
以下の手順では、ダウンロードした jar ファイル（ jolokia-jvm-1.6.0-agent.jar ）が「 /opt/Flink/lib/' 」の下に配置されると想定しています。
JobManager
JobManager で Jolokia API を公開するように設定するには、ノードで次の環境変数を設定して JobManager を再起動します。
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia （ 8778 ）には別のポートを選択できます。Jolokia をロックする内部 IP を持っている場合は、「 catch all 」 0.0.0.0 を自分の IP で置き換えることができます。この IP には、テレグラムプラグインからアクセスできる必要があります。
TaskManager の略
Jolokia API を公開するように TaskManager を設定するには ' ノードに次の環境変数を設定し 'TaskManager を再起動します
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia （ 8778 ）には別のポートを選択できます。Jolokia をロックする内部 IP を持っている場合は、「 catch all 」 0.0.0.0 を自分の IP で置き換えることができます。この IP には、テレグラムプラグインからアクセスできる必要があります。
オブジェクトとカウンタ
次のオブジェクトとそのカウンタが収集されます。
| オブジェクト： | 識別子： | 属性： | 「 dataPoints 」： |
|---|---|---|---|
Flink タスクマネージャ |
クラスタネームスペースサーバ |
ノード名タスクマネージャ ID ノード IP |
ネットワーク使用可能なメモリセグメントネットワーク合計メモリセグメントガベージコレクション PS MarkSweep 回数ガベージコレクション PS MarkSweep 時間ガベージコレクション PS スカベンジコレクション PS スカベンジカウントガベージコレクション PS スカベンジカウント時間ヒープメモリのコミットヒープメモリ最大ヒープメモリ使用スレッド数デーモンスレッド数スレッド数 開始済みの合計 |
フリンクジョブ |
クラスタネームスペースサーバジョブ ID |
ノード名ジョブ名ノード IP の最後のチェックポイント外部パス再起動時間 |
ダウンタイムフルリスタート最後のチェックポイント位置合わせのバッファ最後のチェックポイント期間最後のチェックポイントサイズ完了したチェックポイント数失敗したチェックポイント数アップタイムの進行中のチェックポイント数 |
Flink ジョブマネージャー |
クラスタネームスペースサーバ |
ノード名ノード IP |
ガベージコレクション PS MarkSweep Count ガベージコレクション PS MarkSweep Time ガベージコレクション PS スカベンジコレクション PS スカベンジコレクション時間ヒープメモリコミットヒープメモリ最大ヒープメモリ使用数登録済みタスクマネージャ数実行中タスクスロット使用可能なタスクスロット合計スレッド数デーモンスレッド数 最大スレッド数スレッド数の合計が開始されました |
Flink タスク |
クラスタネームスペースジョブ ID タスク ID |
サーバーノード名サブタスク名サブタスクインデックスタスク試行 ID タスク試行番号タスク名タスクマネージャ ID ノード IP 現在の入力ウォーターマーク |
キュー内のプール使用バッファプール使用バッファプール使用バッファアウトプール使用バッファローカル数秒あたりのローカル数カウント数バッファローカル秒あたりのローカル数カウント数バッファリモート秒あたりのリモート数バッファ数リモート数カウント数バッファ数リモートのバッファ数 / 秒数バッファ数リモートのバッファ数 Second Rate Number Buffers Out Number Buffers Out Number Buffers Out per Second Count Number Buffer Out per Second Count Local Number In Local Number Count Number Number Bytes in Local per Second Rate Number バイト in Local Number Number Number Number Number Number Number Number Number バイト in Remote Number Number バイト in Remote Number Number バイト数 1 秒あたりのレート数 1 秒あたりのバイト数 1 秒あたりのバイト数数 1 秒あたりのレコード数 1 秒あたりのレコード数 1 秒あたりのレコード数 1 秒あたりのレコード数 1 秒あたりのレコード数 1 秒あたりのレコード数 1 秒あたりのレコード数 |
Flink タスクオペレータ |
クラスタネームスペースジョブ ID オペレータ ID のタスク ID |
サーバーノード名ジョブ名オペレータ名サブタスクインデックスタスク試行 ID タスク試行番号タスク名タスクマネージャ ID ノード IP |
現在の入力ウォーターマーク現在の出力ウォーターマーク数レコード / 秒数カウント数レコード / 秒あたりのレコード数レコード数 1 秒あたりのレコード数レコード数秒あたりのレコード数遅延レコード数割り当て済みパーティション数消費済み率コミット平均コミットレイテンシ 最大コミット率コミット失敗したコミット成功した接続クローズ率接続数接続作成率平均フェッチレイテンシ最大フェッチ速度平均フェッチサイズ最大フェッチスロットル時間平均フェッチスロットル時間最大ハートビート率受信バイトレート I/O 平均時間（ ns ） IO 待機率 I/O 待機時間平均（ ns ）加入時間平均最終ハートビート時間平均ネットワーク IO レート発信バイトレートレコード消費率レコード要求あたりの最大レコード遅延平均要求レート最大応答速度選択レート同期速度同期時間平均ハートビート応答 Time Max Join Time Max Sync Time Max の最大同期時間 |
トラブルシューティング
詳細については、ページを参照して"サポート"ください。