简体中文版经机器翻译而成，仅供参考。如与英语版出现任何冲突，应以英语版为准。

Flink 数据收集器

10/14/2025 贡献者

PDF

Data Infrastructure Insights使用此数据收集器从 Flink 收集指标。

安装

从*可观察性 > 收集器*中，单击*+数据收集器*。选择 Flink。

选择安装 Telegraf 代理的操作系统或平台。
如果您尚未安装用于收集的代理，或者您希望为不同的操作系统或平台安装代理，请单击“显示说明”以展开"代理安装"指示。
选择用于此数据收集器的代理访问密钥。您可以通过单击 + 代理访问密钥 按钮添加新的代理访问密钥。最佳实践：仅当您想要对数据收集器进行分组（例如按操作系统/平台）时才使用不同的代理访问密钥。
按照配置步骤配置数据收集器。说明根据您用于收集数据的操作系统或平台的类型而有所不同。

Flink 配置

设置

完整的 Flink 部署涉及以下组件：

JobManager：Flink 主系统。协调一系列 TaskManager。在高可用性设置中，系统将有多个 JobManager。 TaskManager：这是执行 Flink 运算符的地方。 Flink插件基于telegraf的Jolokia插件。由于需要从所有 Flink 组件收集信息，因此需要在所有组件上配置并通过 Jolokia 公开 JMX。

兼容性

配置是针对 Flink 版本 1.7.0 开发的。

设置

鬼椒特效罐

对于所有单个组件，必须下载 Jolokia 代理 jar 文件的版本。测试的版本是"Jolokia代理 1.6.0"。

以下说明假设下载的 jar 文件（jolokia-jvm-1.6.0-agent.jar）位于“/opt/flink/lib/”位置下。

作业管理器

要配置 JobManager 以公开 Jolokia API，您可以在节点上设置以下环境变量，然后重新启动 JobManager：

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
您可以为 Jolokia (8778) 选择不同的端口。如果您有一个内部 IP 来锁定 Jolokia，您可以用自己的 IP 替换“catch all” 0.0.0.0。请注意，此 IP 需要可从 telegraf 插件访问。

任务管理器

要配置 TaskManager 以公开 Jolokia API，您可以在节点上设置以下环境变量，然后重新启动 TaskManager：

 export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0"
您可以为 Jolokia (8778) 选择不同的端口。如果您有一个内部 IP 来锁定 Jolokia，您可以用自己的 IP 替换“catch all” 0.0.0.0。请注意，此 IP 需要可从 telegraf 插件访问。

物体和计数器

收集以下对象及其计数器：

目的：	标识符：	属性：	数据点：
Flink 任务管理器	集群命名空间服务器	节点名称任务管理器ID 节点IP	网络可用内存段网络总内存段垃圾收集 PS 标记清除计数垃圾收集 PS 标记清除时间垃圾收集 PS 清除计数垃圾收集 PS 清除时间堆内存已提交堆内存初始化堆内存最大堆内存已用线程数守护进程线程数峰值线程数已启动线程数
Flink 作业	集群命名空间服务器作业 ID	节点名称作业名称节点 IP 上次检查点外部路径重启时间	停机时间完全重启上次检查点对齐缓冲的上次检查点持续时间上次检查点大小已完成检查点的数量失败的检查点的数量正在进行的检查点的数量检查点数量正常运行时间
Flink 作业管理器	集群命名空间服务器	节点名称节点IP	垃圾收集 PS 标记清除计数垃圾收集 PS 标记清除时间垃圾收集 PS 清除计数垃圾收集 PS 清除时间堆内存已提交堆内存初始化堆内存最大堆内存已使用已注册任务管理器数量正在运行的作业数量可用的任务槽数量任务槽总数守护进程线程数峰值线程数已启动线程数
Flink 任务	集群命名空间作业ID任务ID	服务器节点名称作业名称子任务索引任务尝试ID任务尝试次数任务名称任务管理器ID节点IP当前输入水印	缓冲区入池使用情况缓冲区入队列长度缓冲区出池使用情况缓冲区出队列长度本地缓冲区数量本地每秒缓冲区入计数本地每秒缓冲区入计数速率远程缓冲区数量远程每秒缓冲区入计数远程每秒缓冲区入计数速率缓冲区出数量缓冲区出计数每秒缓冲区出计数速率本地字节数本地每秒字节数本地每秒字节数本地每秒字节数速率远程字节数远程每秒字节数计数远程每秒字节数速率出字节数每秒字节数计数每秒出字节数速率记录入数每秒记录入数计数每秒记录入数速率记录出数每秒记录出数计数每秒记录出数速率
Flink 任务运算符	集群命名空间作业 ID 操作员 ID 任务 ID	服务器节点名称作业名称操作员名称子任务索引任务尝试ID任务尝试次数任务名称任务管理器ID节点IP	当前输入水印当前输出水印输入记录数每秒输入记录数计数每秒输入记录数速率输出记录数每秒输出记录数计数每秒输出记录数速率延迟记录数已分配分区消耗字节数速率提交延迟平均提交延迟最大提交速率提交失败提交成功连接关闭速率连接计数连接创建速率计数获取延迟平均获取延迟最大获取速率获取大小平均获取大小最大获取限制时间平均获取限制时间最大心跳速率传入字节速率 IO 比率平均 IO 时间（纳秒） IO 等待比率平均 IO 等待时间（纳秒）加入速率加入时间上次心跳前的平均时间网络 IO 速率传出字节速率消耗记录数速率记录滞后每个请求的最大记录数平均请求速率请求大小平均请求大小最大响应速率选择速率同步速率同步时间平均心跳响应时间最大值加入时间最大值同步时间最大值

目的：

标识符：

属性：

数据点：

Flink 任务管理器

集群命名空间服务器

节点名称任务管理器ID 节点IP

网络可用内存段网络总内存段垃圾收集 PS 标记清除计数垃圾收集 PS 标记清除时间垃圾收集 PS 清除计数垃圾收集 PS 清除时间堆内存已提交堆内存初始化堆内存最大堆内存已用线程数守护进程线程数峰值线程数已启动线程数

Flink 作业

集群命名空间服务器作业 ID

节点名称作业名称节点 IP 上次检查点外部路径重启时间

停机时间完全重启上次检查点对齐缓冲的上次检查点持续时间上次检查点大小已完成检查点的数量失败的检查点的数量正在进行的检查点的数量检查点数量正常运行时间

Flink 作业管理器

集群命名空间服务器

节点名称节点IP

垃圾收集 PS 标记清除计数垃圾收集 PS 标记清除时间垃圾收集 PS 清除计数垃圾收集 PS 清除时间堆内存已提交堆内存初始化堆内存最大堆内存已使用已注册任务管理器数量正在运行的作业数量可用的任务槽数量任务槽总数守护进程线程数峰值线程数已启动线程数

Flink 任务

集群命名空间作业ID任务ID

服务器节点名称作业名称子任务索引任务尝试ID任务尝试次数任务名称任务管理器ID节点IP当前输入水印

缓冲区入池使用情况缓冲区入队列长度缓冲区出池使用情况缓冲区出队列长度本地缓冲区数量本地每秒缓冲区入计数本地每秒缓冲区入计数速率远程缓冲区数量远程每秒缓冲区入计数远程每秒缓冲区入计数速率缓冲区出数量缓冲区出计数每秒缓冲区出计数速率本地字节数本地每秒字节数本地每秒字节数本地每秒字节数速率远程字节数远程每秒字节数计数远程每秒字节数速率出字节数每秒字节数计数每秒出字节数速率记录入数每秒记录入数计数每秒记录入数速率记录出数每秒记录出数计数每秒记录出数速率

Flink 任务运算符

集群命名空间作业 ID 操作员 ID 任务 ID

服务器节点名称作业名称操作员名称子任务索引任务尝试ID任务尝试次数任务名称任务管理器ID节点IP

当前输入水印当前输出水印输入记录数每秒输入记录数计数每秒输入记录数速率输出记录数每秒输出记录数计数每秒输出记录数速率延迟记录数已分配分区消耗字节数速率提交延迟平均提交延迟最大提交速率提交失败提交成功连接关闭速率连接计数连接创建速率计数获取延迟平均获取延迟最大获取速率获取大小平均获取大小最大获取限制时间平均获取限制时间最大心跳速率传入字节速率 IO 比率平均 IO 时间（纳秒） IO 等待比率平均 IO 等待时间（纳秒）加入速率加入时间上次心跳前的平均时间网络 IO 速率传出字节速率消耗记录数速率记录滞后每个请求的最大记录数平均请求速率请求大小平均请求大小最大响应速率选择速率同步速率同步时间平均心跳响应时间最大值加入时间最大值同步时间最大值

故障排除

更多信息可从"支持"页。