Flink Data Collector
建議變更
PDF
Data Infrastructure Insights 使用此資料收集器從 Flink 收集指標。
安裝
-
從 * 可伺服 > 收集器 * 、按一下 * + 資料收集器 * 。選擇 Flink 。
選取安裝Telegraf代理程式的作業系統或平台。
-
如果您尚未安裝 Agent 進行收集，或想要為不同的作業系統或平台安裝 Agent ，請按一下 _ 顯示指示 _ 以展開指示"代理程式安裝"。
-
選取要搭配此資料收集器使用的代理程式存取金鑰。您可以按一下「+代理程式存取金鑰」按鈕來新增代理存取金鑰。最佳實務做法：只有當您想要將資料收集器分組時、才使用不同的代理程式存取金鑰、例如依作業系統/平台。
-
請依照組態步驟設定資料收集器。這些指示會因您用來收集資料的作業系統或平台類型而有所不同。
設定
完整的Flink部署包含下列元件：
JobManager：Flink主要系統。協調一系列的工作管理員。在高可用度設定中、系統會有多個JobManager。TaskManager：這是執行Flink運算子的位置。Flink外掛程式是以Telewraf的Jolokia外掛程式為基礎。例如、需要從所有Flink元件收集資訊、需要在所有元件上透過Jolokia進行設定和公開。
相容性
組態是根據Flink 1.5.0版開發而成。
設定
Jolokia代理程式Jar
對於所有個別元件、必須下載Jolokia代理程式Jar檔案的版本。測試的版本是"約洛基亞代理商1.6.0"。
以下說明假設下載的Jar檔案（jolokia -jvm-1.6.0-agent.jar）位於「/opt / flink/lib/」位置。
JobManager
若要將JobManager設定為公開Jolokia API、您可以在節點上設定下列環境變數、然後重新啟動JobManager：
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" 您可以為Jolokia選擇不同的連接埠（8778）。如果您有內部IP來鎖定Jolokia、您可以用自己的IP來取代「全部抓出」0．0．0。請注意、此IP必須從遠端工作人員外掛程式存取。
工作管理員
若要設定「工作管理員」以顯示「Jolokia API」、您可以在節點上設定下列環境變數、然後重新啟動「工作管理員」：
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" 您可以為Jolokia選擇不同的連接埠（8778）。如果您有內部IP來鎖定Jolokia、您可以用自己的IP來取代「全部抓出」0．0．0。請注意、此IP必須從遠端工作人員外掛程式存取。
物件與計數器
收集下列物件及其計數器：
| 物件： | 識別碼： | 屬性： | 資料點： |
|---|---|---|---|
Flink工作管理員 |
叢集命名空間伺服器 |
節點名稱工作管理員ID節點IP |
網路可用記憶體區段網路總記憶體區段垃圾回收PS MarkSweep計數垃圾回收PS MarkSweep Time Scavenge計數垃圾回收PS Scavenge時間堆積記憶體已認可堆積記憶體初始化堆記憶體已使用的最大堆記憶體執行緒計數精靈執行緒計數尖峰執行緒計數執行緒計數 已開始總計 |
Flink工作 |
叢集命名空間伺服器工作ID |
節點名稱工作名稱節點IP上次檢查點外部路徑重新啟動時間 |
停機完全重新啟動上次檢查點對齊緩衝上次檢查點持續時間上次檢查點大小完成檢查點數目失敗檢查點數目進行中檢查點數目正常運作時間 |
Flink工作管理員 |
叢集命名空間伺服器 |
節點名稱節點IP |
垃圾回收PS MarkSweep計數垃圾回收PS MarkSweep時間垃圾回收PS Scavenge計數垃圾回收PS Scavenge時間堆積記憶體已認可堆積記憶體初始化堆記憶體最大堆記憶體已使用數量已註冊的工作管理員數目執行工作工作工作插槽可用的工作插槽總數執行緒計數精靈執行緒計數計數 尖峰執行緒計數執行緒總數已啟動 |
Flink工作 |
叢集命名空間工作ID工作ID |
伺服器節點名稱工作名稱子工作索引工作嘗試ID工作嘗試編號工作名稱工作管理員ID節點IP目前輸入浮點 |
佇列長度緩衝區中集區使用緩衝區的緩衝區已用盡集區使用緩衝區已用盡佇列長度數目本機號碼緩衝區每秒本機數緩衝區數每秒本機數緩衝區數遠端數目緩衝區數每秒緩衝區數遠端數目緩衝區數 第二速率數緩衝區已用盡每秒緩衝區數數目每秒緩衝區已用盡數本機數位元組數每秒本機數位元組數每秒本機數位元組數遠端數位元組數遠端數每秒數位元組數 每秒速率數位元組數每秒輸出數位元組數每秒輸出數位元組數記錄每秒記錄數記錄數每秒記錄數記錄數每秒記錄數記錄數每秒輸出數記錄數每秒記錄數 |
Flink工作操作員 |
叢集命名空間工作ID操作員ID工作ID |
伺服器節點名稱工作名稱操作員名稱子工作索引工作嘗試ID工作嘗試編號工作名稱工作管理員ID節點IP |
目前輸入Watermark目前輸出Watermark數值記錄在每秒記錄數記錄數以每秒記錄數以每秒記錄數以每秒記錄數以秒計記錄數以秒計記錄數以秒計記錄數以秒計記錄數以晚記錄捨棄的已指派分割位元組耗用率提交延遲平均提交延遲 最大提交率提交失敗提交成功連線關閉率連線計數建立速度計數擷取延遲平均擷取延遲最大擷取速度擷取大小平均擷取大小最大擷取節流時間平均擷取節流時間最大接收速率傳入位元組速率IO比率IO時間平均（ns）IO 等待比率IO等待時間平均（ns）加入率加入時間平均上次活動訊號前網路IO速率傳出位元組速率記錄消耗率記錄延遲每個要求的最大記錄平均要求速率要求大小平均要求大小最大回應速率選取速率同步速率同步時間平均活動訊號回應 時間最長加入時間最大同步時間 |
疑難排解
您可以在頁面中找到其他資訊"支援"。