플링크 데이터 수집기
Data Infrastructure Insights 이 데이터 수집기를 사용하여 Flink에서 지표를 수집합니다.
설치
-
*관찰성 > 수집기*에서 *+데이터 수집기*를 클릭합니다. 플링크를 선택하세요.
Telegraf 에이전트가 설치된 운영 체제 또는 플랫폼을 선택하세요.
-
수집을 위한 에이전트를 아직 설치하지 않았거나 다른 운영 체제 또는 플랫폼에 대한 에이전트를 설치하려는 경우 _지침 표시_를 클릭하여 확장합니다."에이전트 설치" 지침.
-
이 데이터 수집기와 함께 사용할 에이전트 액세스 키를 선택하세요. + 에이전트 액세스 키 버튼을 클릭하면 새로운 에이전트 액세스 키를 추가할 수 있습니다. 모범 사례: 데이터 수집기를 OS/플랫폼별로 그룹화하려는 경우에만 다른 에이전트 액세스 키를 사용하세요.
-
데이터 수집기를 구성하려면 구성 단계를 따르세요. 지침은 데이터 수집에 사용하는 운영 체제나 플랫폼의 유형에 따라 다릅니다.

설정
전체 Flink 배포에는 다음 구성 요소가 포함됩니다.
JobManager: Flink 기본 시스템입니다. 일련의 작업 관리자를 조정합니다. 고가용성 설정에서는 시스템에 두 개 이상의 JobManager가 있습니다. TaskManager: Flink 연산자가 실행되는 곳입니다. Flink 플러그인은 telegraf의 Jolokia 플러그인을 기반으로 합니다. 모든 Flink 구성 요소에서 정보를 수집해야 하므로 JMX는 모든 구성 요소에서 Jolokia를 통해 구성되고 노출되어야 합니다.
호환성
구성은 Flink 버전 1.7.0을 기준으로 개발되었습니다.
설정하기
졸로키아 에이전트 자
모든 개별 구성 요소에 대해 Jolokia 에이전트 jar 파일 버전을 다운로드해야 합니다. 테스트된 버전은 다음과 같습니다."졸로키아 에이전트 1.6.0" .
아래 지침에서는 다운로드한 jar 파일(jolokia-jvm-1.6.0-agent.jar)이 '/opt/flink/lib/' 위치에 있다고 가정합니다.
작업 관리자
JobManager가 Jolokia API를 노출하도록 구성하려면 노드에서 다음 환경 변수를 설정한 다음 JobManager를 다시 시작합니다.
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia(8778)의 경우 다른 포트를 선택할 수 있습니다. Jolokia를 잠글 내부 IP가 있는 경우 "모두 포함" 0.0.0.0을 자신의 IP로 바꿀 수 있습니다. 이 IP는 Telegraf 플러그인에서 접근할 수 있어야 합니다.
작업 관리자
Jolokia API를 노출하도록 TaskManager를 구성하려면 노드에서 다음 환경 변수를 설정한 다음 TaskManager를 다시 시작합니다.
export FLINK_ENV_JAVA_OPTS="-javaagent:/opt/flink/lib/jolokia-jvm-1.6.0-agent.jar=port=8778,host=0.0.0.0" Jolokia(8778)의 경우 다른 포트를 선택할 수 있습니다. Jolokia를 잠글 내부 IP가 있는 경우 "모두 포함" 0.0.0.0을 자신의 IP로 바꿀 수 있습니다. 이 IP는 Telegraf 플러그인에서 접근할 수 있어야 합니다.
객체 및 카운터
다음 객체와 카운터가 수집됩니다.
| 물체: | 식별자: | 속성: | 데이터 포인트: |
|---|---|---|---|
Flink 작업 관리자 |
클러스터 네임스페이스 서버 |
노드 이름 작업 관리자 ID 노드 IP |
네트워크 사용 가능 메모리 세그먼트 네트워크 총 메모리 세그먼트 가비지 수집 PS MarkSweep 카운트 가비지 수집 PS MarkSweep 시간 가비지 수집 PS Scavenge 카운트 가비지 수집 PS Scavenge 시간 커밋된 힙 메모리 힙 메모리 초기화 힙 메모리 최대 사용된 힙 메모리 스레드 수 데몬 스레드 수 최대 스레드 수 시작된 총 스레드 수 |
플링크 잡 |
클러스터 네임스페이스 서버 작업 ID |
노드 이름 작업 이름 노드 IP 마지막 체크포인트 외부 경로 재시작 시간 |
가동 중지 시간 전체 재시작 마지막 체크포인트 정렬 버퍼링 마지막 체크포인트 기간 마지막 체크포인트 크기 완료된 체크포인트 수 실패한 체크포인트 수 진행 중인 체크포인트 수 체크포인트 수 가동 시간 |
Flink 작업 관리자 |
클러스터 네임스페이스 서버 |
노드 이름 노드 IP |
가비지 수집 PS MarkSweep 카운트 가비지 수집 PS MarkSweep 시간 가비지 수집 PS Scavenge 카운트 가비지 수집 PS Scavenge 시간 힙 메모리 커밋됨 힙 메모리 초기화 힙 메모리 최대 사용 힙 메모리 등록된 작업 관리자 수 실행 중인 작업 수 사용 가능한 작업 슬롯 작업 슬롯 총 스레드 수 데몬 스레드 수 최대 스레드 수 시작된 총 스레드 수 |
플링크 작업 |
클러스터 네임스페이스 작업 ID 작업 ID |
서버 노드 이름 작업 이름 하위 작업 인덱스 작업 시도 ID 작업 시도 번호 작업 이름 작업 관리자 ID 노드 IP 현재 입력 워터마크 |
풀에 있는 버퍼 사용량 버퍼에 있는 큐 길이 버퍼에 있는 풀에 있는 버퍼 사용량 버퍼에 있는 큐 길이 수 로컬에 있는 버퍼 수 초당 로컬에 있는 버퍼 수 개수 초당 로컬에 있는 버퍼 수 원격에 있는 버퍼 수 초당 원격에 있는 버퍼 수 초당 원격에 있는 버퍼 수 초당 버퍼 수 버퍼 출력 수 초당 버퍼 출력 수 초당 버퍼 출력 수 초당 속도 수 로컬에 있는 바이트 수 초당 로컬에 있는 바이트 수 초당 로컬에 있는 바이트 수 초당 속도 수 원격에 있는 바이트 수 초당 원격에 있는 바이트 수 초당 원격에 있는 바이트 수 초당 원격에 있는 바이트 수 초당 속도 수 바이트 출력 수 초당 바이트 출력 수 초당 바이트 출력 수 초당 바이트 출력 속도 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 초당 레코드 수 |
Flink 작업 연산자 |
클러스터 네임스페이스 작업 ID 운영자 ID 작업 ID |
서버 노드 이름 작업 이름 운영자 이름 하위 작업 인덱스 작업 시도 ID 작업 시도 번호 작업 이름 작업 관리자 ID 노드 IP |
현재 입력 워터마크 현재 출력 워터마크 수 초당 레코드 수신 수 초당 레코드 수신 수 초당 레코드 수신 속도 초당 레코드 수신 수 초당 레코드 수신 속도 초당 레코드 송신 수 초당 레코드 송신 속도 지연 레코드 삭제 할당된 파티션 바이트 사용 속도 커밋 대기 시간 평균 커밋 대기 시간 최대 커밋 속도 커밋 실패 커밋 성공 연결 종료 속도 연결 수 연결 생성 속도 수 페치 대기 시간 평균 페치 대기 시간 최대 페치 속도 페치 크기 평균 페치 크기 최대 페치 제한 시간 평균 페치 제한 시간 최대 하트비트 속도 수신 바이트 속도 IO 비율 IO 시간 평균(ns) IO 대기 비율 IO 대기 시간 평균(ns) 조인 속도 조인 시간 평균 마지막 하트비트 전 네트워크 IO 속도 발신 바이트 속도 레코드 사용 속도 레코드 지연 최대 요청당 레코드 평균 요청 속도 요청 크기 평균 요청 크기 최대 응답 속도 선택 속도 동기화 속도 동기화 시간 평균 하트비트 응답 시간 최대 조인 시간 최대 동기화 시간 최대 |
문제 해결
추가 정보는 다음에서 찾을 수 있습니다."지원하다" 페이지.