Skip to main content
Data Infrastructure Insights
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

Flink 資料收集器

貢獻者 netapp-alavoie

Data Infrastructure Insights使用此資料收集器從 Flink 收集指標。

安裝

  1. 從*可觀察性 > 收集器*中,按一下*+資料收集器*。選擇 Flink。

    選擇安裝 Telegraf 代理程式的作業系統或平台。

  2. 如果您尚未安裝用於收集的代理,或者您希望為不同的作業系統或平台安裝代理,請按一下「顯示說明」以展開"代理安裝"指示。

  3. 選擇用於此資料收集器的代理存取金鑰。您可以透過點擊 + 代理存取金鑰 按鈕新增新的代理存取金鑰。最佳實務:只有當您想要對資料收集器進行分組(例如按作業系統/平台)時才使用不同的代理存取金鑰。

  4. 依照設定步驟配置資料收集器。說明根據您用於收集資料的作業系統或平台的類型而有所不同。

Flink 配置

設定

完整的 Flink 部署涉及以下元件:

JobManager:Flink 主系統。協調一系列 TaskManager。在高可用性設定中,系統將有多個 JobManager。 TaskManager:這是執行 Flink 運算子的地方。 Flink插件基於telegraf的Jolokia插件。由於需要從所有 Flink 組件收集信息,因此需要在所有組件上配置並透過 Jolokia 公開 JMX。

相容性

配置是針對 Flink 版本 1.7.0 開發的。

設定

鬼椒特效罐

對於所有單一元件,必須下載 Jolokia 代理程式 jar 檔案的版本。測試的版本是"Jolokia代理 1.6.0"

以下說明假設下載的 jar 檔案(jolokia-jvm-1.6.0-agent.jar)位於「/opt/flink/lib/」位置下。

作業管理器

若要設定 JobManager 以公開 Jolokia API,您可以在節點上設定以下環境變量,然後重新啟動 JobManager:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
您可以為 Jolokia (8778) 選擇不同的連接埠。如果您有一個內部 IP 來鎖定 Jolokia,您可以用自己的 IP 替換「catch all」 0.0.0.0。請注意,此 IP 需要可從 telegraf 插件存取。

工作管理員

若要設定 TaskManager 以公開 Jolokia API,您可以在節點上設定下列環境變量,然後重新啟動 TaskManager:

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
您可以為 Jolokia (8778) 選擇不同的連接埠。如果您有一個內部 IP 來鎖定 Jolokia,您可以用自己的 IP 替換「catch all」 0.0.0.0。請注意,此 IP 需要可從 telegraf 插件存取。

物體和計數器

收集以下物件及其計數器:

目的: 標識符: 屬性: 數據點:

Flink 任務管理器

叢集命名空間伺服器

節點名稱 任務管理器ID 節點IP

網路可用記憶體段 網路總記憶體段 垃圾收集 PS 標記清除計數 垃圾收集 PS 標記清除時間 垃圾收集 PS 清除計數 垃圾收集 PS 清除時間 堆內存 已提交堆內存 初始化堆內存 最大堆內存已用線程數 守護程序線程數 峰值線程數 已啟動線程數

Flink 作業

叢集命名空間伺服器作業 ID

節點名稱 作業名稱 節點 IP 上次檢查點 外部路徑 重新啟動時間

停機時間 完全重啟 上次檢查點對齊 緩衝的上次檢查點持續時間 上次檢查點大小 已完成檢查點的數量 失敗的檢查點的數量 正在進行的檢查點的數量 檢查點數量 正常運行時間

Flink 作業管理器

叢集命名空間伺服器

節點名稱 節點IP

垃圾收集 PS 標記清除計數 垃圾收集 PS 標記清除時間 垃圾收集 PS 清除計數 垃圾收集 PS 清除時間 堆內存 已提交堆內存 初始化堆內存 最大堆內存 已使用已註冊任務管理器數量 正在運行的作業數量 可用的任務槽數量 任務槽總數 守護線程數 峰值線程數 已啟動線程數

Flink 任務

叢集命名空間作業 ID 任務 ID

伺服器節點名稱作業名稱子任務索引任務嘗試ID任務嘗試次數任務名稱任務管理器ID節點IP目前輸入浮水印

緩衝區入池使用情況緩衝區入佇列長度緩衝區出池使用情況緩衝區出佇列長度本地緩衝區數量本地每秒緩衝區入計數本地每秒緩衝區入計數速率遠端緩衝區數量遠端每秒緩衝區入計數遠端每秒緩衝區入計數速率緩衝區出數量緩衝區出計數每秒緩衝區出計數速率本地位元組數本地每秒位元組數本地每秒位元組數本地每秒位元組數速率遠端位元組數遠端每秒位元組數計數遠端每秒位元組數速率出位元組數每秒位元組數計數每秒出位元組數速率記錄入數每秒記錄入數計數每秒記錄入數速率記錄出數每秒記錄出數

Flink 任務運算符

叢集命名空間作業 ID 操作員 ID 任務 ID

伺服器節點名稱作業名稱操作員名稱子任務索引任務嘗試ID任務嘗試次數任務名稱任務管理器ID節點IP

目前輸入浮水印 目前輸出浮水印 輸入記錄數 每秒輸入記錄數 計數 每秒輸入記錄數速率 輸出記錄數 每秒輸出記錄數 計數 每秒輸出記錄數速率 延遲記錄數 已分配分區 消耗位元組數 速率 提交延遲 平均提交延遲 最大提交速率 提交失敗 提交成功 獲取速率 獲取延遲 取得速率 取得速率限制連接時間值最大心跳速率 傳入位元組速率 IO 比率 平均 IO 時間(奈秒) IO 等待比率 平均 IO 等待時間(奈秒) 加入速率 加入時間 上次心跳前的平均時間 網路 IO 速率 傳出位元組速率 消耗記錄數 速率 記錄延遲同步後的最大速度 要求最大值

故障排除

更多資訊可從"支援"頁。