Kubernetes 영구 볼륨과 해당 백엔드 스토리지 장치 간의 하이퍼링크/연결이 표시되지 않습니다. 내 Kubernetes 영구 볼륨은 스토리지 서버의 호스트 이름을 사용하여 구성됩니다.

기존 Telegraf 에이전트를 제거한 다음 최신 Telegraf 에이전트를 다시 설치하는 단계를 따릅니다. Telegraf 버전 2.0 이상을 사용해야 하며 Kubernetes 클러스터 스토리지를 Cloud Insights에서 능동적으로 모니터링해야 합니다.

로그에 다음과 같은 메시지가 표시됩니다.

E0901 15:21:39.962145 1 reflector.go:178] k8s.io/kube-state-metrics/internal/store/builder.go:352: * v1.mutatingWebhookConfiguration: 서버에서 요청한 리소스를 찾을 수 없습니다
E0901 15:21:43.168161 반사판. go:178] k8s.io/kube-state-metrics/internal/store/builder.go:352: 목록*v1. 임대: 서버가 요청된 리소스를 찾을 수 없습니다(Get leases.coordination.k8s.io).
등

이러한 메시지는 Kubernetes 버전이 1.20 미만인 경우 kube-state-metrics 버전 2.0.0 이상을 실행하는 경우에 발생할 수 있습니다.


Kubernetes 버전 가져오기:

kubectl 버전 _

kube-state-metrics 버전을 얻으려면:

_kubectl get deploy/kube-state-metrics -o jsonpath='{..image}'

이러한 메시지가 발생하지 않도록 하기 위해 사용자는 kube-state-metrics 배포를 수정하여 다음 임대 서비스를 비활성화할 수 있습니다.

mutatingwebhookconfiguration
validingwebhookconfiguration
_volumeAttachments 리소스 _

보다 구체적으로 다음과 같은 CLI 인수를 사용할 수 있습니다.

리소스 = certificatesigningrequests, configmap, cronjobs, demonset, 배포, 엔드포인트, 수평적 podautoscalers, ingresses, 작업, 제한 범위, 네임스페이스, 네트워크 정책, 노드, 영구 볼륨권, podrightiondecudies, 포드, 자원 컨트롤러, 리플리케이션, 풀 소스, 서비스

기본 리소스 목록은 다음과 같습니다.

"인증 요청, 구성 맵, cronjobs, demonset, 배포, 엔드포인트, 수평 포드오토칼러, ingresses, 작업, 임대, 제한 범위, mutatingwebhookconfiguration, 네임스페이스, 네트워크 정책, 노드, 지속형, 지속형, 지속형, 볼륨, 볼륨 구성, 복제, 웹후크구성, 볼륨 첨부 파일 확인"

Telegraf에서 다음과 유사한 오류 메시지가 표시되지만 Telegraf가 시작되고 실행됩니다.

10월 11일 14:23:41 IP-172-31-39-47 systemd [1]: 인플루엔자 DB에 메트릭을 보고하기 위한 플러그인 기반 서버 에이전트를 시작했습니다.
10월 11일 14:23:41 IP-172-31-39-47 Telegraf[1827]: time="2021-10-11T14:23:41Z" level=error msg="캐시 디렉토리를 만들지 못했습니다. /etc/Telegraf/.cache/snowflake, err:mkdir/etc/Telegraf/.ca
CHE: 권한이 거부되었습니다. 무시됨 \n "func="gosnowflake.(* defaultLogger).Errorf" file="log.Go:120"
10월 11일 14:23:41 IP-172-31-39-47 Telegraf[1827]: time="2021-10-11T14:23:41Z" level=error msg="를 열지 못했습니다. 무시되었습니다. /etc/Telegraf/.cache/snowflake/OCSP_response_cache.json을 엽니다. 해당 없음
파일 또는 디렉터리\n"func="gosnowflake.(* defaultLogger).Errorf" file="log.Go:120"
10월 11일 14:23:41 IP-172-31-39-47 Telegraf[1827]:2021-10-11T14:23:41Z i! 텔레그라프 1.19.3 시작

이는 알려진 문제입니다. 을 참조하십시오 "이 GitHub 기사를 참조하십시오" 를 참조하십시오. Telegraf가 실행 중인 경우 사용자는 이러한 오류 메시지를 무시할 수 있습니다.

Kubernetes에서 Telegraf POD가 다음 오류를 보고합니다.
"mountstats 정보 처리 중 오류 발생: mountstats 파일을 열지 못했습니다. /hostfs/proc/1/mountstats, 오류: open/hostfs/proc/1/mountstats: permission denied"

SELinux가 설정되어 있고 강제 적용되는 경우 Telegraf 포드가 Kubernetes 노드의 /proc/1/mountstats 파일에 액세스하지 못할 수 있습니다. 이 제한을 해결하려면 agentconfiguration을 편집하고 runPrivileged 설정을 활성화하십시오. 자세한 내용은 다음을 참조하십시오. https://docs.netapp.com/us-en/cloudinsights/task_config_telegraf_agent_k8s.html#openshift-instructions.

Kubernetes에서 내 Telegraf ReplicaSet POD가 다음 오류를 보고합니다.

[inputs.prometheus] 플러그인 오류: keypair /etc/kubernetes/pki/etcd/server.crt:/etc/kubernetes/pki/etcd/server.key: open/etc/Kubernetes/pki/etcd/server.crt: 해당 파일 또는 디렉토리가 없습니다

Telegraf ReplicaSet POD는 마스터나 etcd로 지정된 노드에서 실행되도록 설계되었습니다. ReplicaSet 포드가 이러한 노드 중 하나에서 실행되고 있지 않으면 이러한 오류가 발생합니다. 마스터/etcd 노드에 문제가 있는지 확인합니다. 만약 그렇다면, 텔레그라프 ReplicaSet, 텔레그라프-RS에 필요한 내약성을 추가한다.

예를 들어 ReplicaSet을 편집합니다.

kubectl 편집 RS Telegraf-RS

…​ 그리고 사양에 적절한 공차를 추가합니다. 그런 다음 ReplicaSet 포드를 다시 시작합니다.

PSP/PSA 환경이 있습니다. 이 문제가 모니터링 오퍼레이터에게 영향을 미칩니까?

PSP(Pod Security Policy) 또는 PSA(Pod Security Admission)를 통해 Kubernetes 클러스터를 실행 중인 경우, 최신 NetApp Kubernetes Monitoring Operator로 업그레이드해야 합니다. 다음 단계에 따라 PSP/PSA를 지원하여 현재 NKMO로 업그레이드합니다.

1. 설치 제거 이전 모니터링 오퍼레이터:

kubectl delete agent-monitoring-netapp-n netapp-monitoring
kubectl delete ns NetApp-monitoring
kubectl 삭제 CRD agents.monitoring.netapp.com
clusterrole agent-manager-role agent-proxy-role agent-metrics-reader를 삭제합니다
clusterrolebinding agent-manager-rolebinding agent-proxy-rolebinding agent-cluster-admin-rolebinding 을 삭제합니다

2. 설치합니다 모니터링 운용자의 최신 버전

NKMO를 배포하는 데 문제가 발생했고 PSP/PSA를 사용하고 있습니다.

다음 명령을 사용하여 에이전트를 편집합니다.

kubectl -n <name-space> 편집 에이전트

'보안 정책 사용'을 '거짓'으로 표시합니다. 이렇게 하면 Pod 보안 정책과 Pod 보안 입장은 비활성화되고 NKMO가 배포될 수 있습니다. 다음 명령을 사용하여 확인합니다.

kubectl get psp(Pod 보안 정책이 제거됨)
kubectl get all -n <namespace>

grep -i psp (아무것도 발견되지 않았음을 보여줌)

"ImagePullBackoff" 오류가 표시됩니다

이러한 오류는 사용자 지정 또는 프라이빗 Docker 저장소가 있고 NetApp Kubernetes Monitoring Operator가 이를 제대로 인식하도록 구성하지 않은 경우 나타날 수 있습니다. 자세히 보기 사용자 지정/개인 저장소 구성 정보

모니터링 운영자 구축에 문제가 있는데 현재 설명서를 참조해도 문제를 해결하는 데 도움이 되지 않습니다.

NKMO 네임스페이스의 net-observer(워크로드 맵) 포드가 CrashLoopBackOff에 있습니다

이러한 포드는 네트워크 관찰 가능성을 위한 워크로드 맵 데이터 수집기에 해당합니다. 다음을 시도해 보십시오.
• 최소 커널 버전을 확인하려면 pods 중 하나의 로그를 확인하십시오. 예를 들면 다음과 같습니다.
 — {"ci-tenant-id":"your-tenant-id","collector-cluster":"your-k8s-cluster-name","environment":"prod","level":"error","msg":"유효성 검사에 실패했습니다. 이유: 커널 버전 3.10.0이 최소 커널 버전 4.18.0", "time":"2022-11-09T08:23:08Z"}보다 작습니다 — 
• Net-observer Pod를 사용하려면 Linux 커널 버전이 4.18.0 이상이어야 합니다. "uname -r" 명령을 사용하여 커널 버전을 확인하고 해당 버전이 4.18.0 이상인지 확인합니다

Pod는 NKMO 네임스페이스(기본값: NetApp 모니터링)에서 실행되지만, 쿼리의 워크로드 맵 또는 Kubernetes 메트릭의 UI에는 데이터가 표시되지 않습니다

K8S 클러스터의 노드에서 시간 설정을 확인합니다. 정확한 감사 및 데이터 보고를 위해 NTP(Network Time Protocol) 또는 SNTP(Simple Network Time Protocol)를 사용하여 Agent 시스템의 시간을 동기화하는 것이 좋습니다.

NKMO 네임스페이스의 일부 net-observer POD가 Pending 상태입니다

Net-observer는 DemonSet로, k8s 클러스터의 각 노드에서 포드를 실행합니다.
• 보류 중인 Pod를 확인하고 CPU 또는 메모리에 리소스 문제가 있는지 확인합니다. 노드에서 필요한 메모리 및 CPU를 사용할 수 있는지 확인합니다.

NetApp Kubernetes 모니터링 운영자를 설치한 직후 로그에 다음이 표시됩니다.

[inputs.prometheus] 플러그인 오류: HTTP 요청을 보내는 중 오류가 발생했습니다 http://kube-state-metrics.<namespace>.svc.cluster.local:8080/metrics: 가져오기 http://kube-state-metrics.<namespace>.svc.cluster.local:8080/metrics: TCP: lookup kudo-state-metrics.<namespace>.svc.cluster.local: 해당 호스트가 없습니다

이 메시지는 일반적으로 새 오퍼레이터가 설치되어 있고 _Telegraf-RS_POD가 _KSM_POD가 가동되기 전에 작동 중일 때만 표시됩니다. 이러한 메시지는 모든 Pod가 실행되면 중지되어야 합니다.

클러스터에 존재하는 Kubernetes CronJobs에 대해 어떤 메트릭도 수집되지 않습니다.

Kubernetes 버전 확인(예 kubectl version)를 클릭합니다. v1.20.x 이하일 경우 이는 예상되는 제한 사항입니다. NetApp Kubernetes 모니터링 오퍼레이터와 함께 구축되는 Kubbe-state-metrics 릴리즈는 v1.crontjob만 지원합니다. Kubernetes 1.20.x 이하에서는 crontjob 리소스가 v1beta.crontjob에 있습니다. 따라서 kube-state-metrics는 crontjob 리소스를 찾을 수 없습니다.

운용자 설치 후, Telegraf-ds Pod는 CrashLoopBackOff로 진입하고 POD 로그는 "su:Authentication failure"를 나타낸다.

AgentConfiguration_에서 Telegraf 섹션을 편집하고 _dockerMetricCollectionEnabled_를 false 로 설정합니다. 자세한 내용은 조작자를 참조하십시오 "구성 옵션".

참고: Cloud Insights Federal Edition을 사용하는 경우, Docker 소켓에 액세스하려면 Telegraf 컨테이너를 루트로 실행하거나 _su_를 사용하여 Telegraf 사용자를 Docker 그룹에 추가해야 하기 때문에 _su 사용이 제한된 사용자는 Docker 메트릭을 수집할 수 없습니다. Docker 메트릭 수집 및 _su_의 사용은 기본적으로 활성화되어 있습니다. 두 가지를 모두 사용하지 않으려면 _AgentConfiguration_파일에서 _Telegraf.docker_entry를 제거하십시오.

…​
사양:
…​
텔레그라프:
…​
     -name: docker입니다
            실행 모드:
              - DemonSet
            대체:
              -key:docker_unix_sock_placeholder입니다
                값: UNIX:///run/docker.sock
…​
…​

Telegraf 로그에 다음과 유사한 오류 메시지가 반복적으로 표시됩니다.

E! [agent] outputs.http:Post에 쓰는 동안 오류가 발생했습니다 "https://<tenant_url>/rest/v1/lake/ingest/influxdb": 컨텍스트 마감일이 초과되었습니다(헤더를 기다리는 동안 클라이언트 시간 초과됨).

_AgentConfiguration_에서 Telegraf 섹션을 편집하고 _dockerMetricCollectionEnabled_를 false 로 설정합니다. 자세한 내용은 조작자를 참조하십시오 "구성 옵션".

일부 이벤트 로그에 대한 _divedobject_data가 없습니다.

의 단계를 수행했는지 확인합니다 "권한" 섹션을 참조하십시오.

두 개의 모니터링 운영자 Pod가 실행 중인 것을 볼 수 있는데, 하나는 netapp-ci-monitoring-operator-<pod>이고 다른 하나는 monitoring-operator-<pod>입니다.

2023년 10월 12일부터 Cloud Insights은 사용자에게 더 나은 서비스를 제공하기 위해 운영자를 리팩토링했습니다. 변경 사항을 완전히 채택하려면 반드시 필요합니다 기존 연산자를 제거합니다 및 새 장치를 장착하십시오.

내 Kubernetes 이벤트가 예기치 않게 Cloud Insights 보고에 대한 보고를 중단했습니다.

grep event-exporter

awk '{print $1}'

sed 's/event-exporter./event-exporter/'`
"netapp-ci-event-exporter" 또는 "event-exporter"여야 합니다. 그런 다음 모니터링 에이전트를 편집합니다 `kubectl -n netapp-monitoring edit agent`를 입력하고 log_file 의 값을 이전 단계에서 찾은 적절한 이벤트 내보내기 포드 이름을 반영하도록 설정합니다. 보다 구체적으로 log_file을 "/var/log/containers/netapp-ci-event-exporter.log" 또는 "/var/log/containers/event-exporter .log"로 설정해야 합니다.

…​.
fluent-bit:
…​
- name: event-exporter-ci
substitutions:
- key: LOG_FILE
values:
- /var/log/containers/netapp-ci-event-exporter.log
…​
…​.
또는, 하나를 할 수도 있습니다 설치 제거 및 다시 설치합니다 에이전트

리소스 부족으로 인해 NetApp Kubernetes Monitoring Operator에 의해 구축된 Pod가 충돌하는 것을 볼 수 있습니다.

자세한 내용은 NetApp Kubernetes 모니터링 오퍼레이터 를 참조하십시오 "구성 옵션" 필요한 경우 CPU 및/또는 메모리 제한을 늘립니다.