성능 문제 해결
이 레시피를 사용하여 성능 지표, 경고 및 플랫폼 로그를 상호 연관시켜 볼륨, 데이터 저장소, 가상 머신, Kubernetes 워크로드 또는 기타 DII 오브젝트의 속도 저하 문제를 조사할 수 있습니다.
|
|
DII MCP는 "시사" 기능이므로 변경될 수 있습니다. |
필수 조건
-
영향을 받은 리소스 이름과 대략적인 발생 시간입니다.
-
30일 이하의 기간.
-
가능한 경우 비교 기간 또는 알려진 정상 기준선.
사용된 툴
-
ObjectService_getObjectTypes
-
ObjectService_getMetadataForObjectType
-
ObjectService_query
-
ObjectService_queryPerformanceMetricsForObjects
-
ObjectService_groupObjects
-
AlertsService_getMetadata
-
AlertsService_queryForAlerts
-
LogService_getLogTypes
-
LogService_getLogTypeMetadata
-
LogService_queryLogEvents
시작 프롬프트
09:00에서 11:00 UTC 사이에 볼륨 `example-volume`이 느려진 이유를 조사합니다. 정확한 오브젝트 유형과 유효한 메트릭을 파악하고, 해당 기간 동안의 지연 시간, IOPS 및 처리량을 비교하며, 관련 활성 경고 및 플랫폼 로그를 검토하고, 정상적인 기간과 비교합니다. 증거와 가설을 구분하고 필요한 다음 측정 항목을 식별합니다.
에이전트 워크플로
-
리소스를 정확한 오브젝트 유형 및 ID로 확인합니다.
-
해당 오브젝트 유형에 대한 메타데이터를 검색합니다.
-
유효한 지연 시간, 작업량, 처리량, 활용률 및 용량 지표를 식별합니다.
-
현재 오브젝트 속성을 조회하여 배치 및 관계를 파악합니다.
-
다음 기간의 시계열 데이터 검색:
-
사건 발생 기간
-
비슷한 정상 기간
-
-
측정항목 전반에 걸쳐 타임스탬프와 집계 함수를 일치시키십시오.
-
시스템, 호스트, 노드 또는 스토리지 풀이 포함된 리소스와 관련된 경고를 검색합니다.
-
관련 로그 스트림을 선택하고, 메타데이터를 가져오고, 메트릭 변경 시점을 중심으로 좁은 간격을 검색합니다.
-
타당한 가설을 검증하십시오:
-
수요 급증
-
리소스 포화
-
스토리지 또는 패브릭 오류
-
용량 압력
-
호스트 또는 VM 경합
-
수집 격차
-
-
가장 타당한 설명과 해결되지 않은 대안을 보고하십시오.
증거 기준
라벨 검색 결과:
-
관찰 결과: 툴에서 직접 반환됩니다.
-
상관관계 있음: 동일한 시간 간격 내에 변화한 독립적인 신호들.
-
추론된 것: 아직 증명되지는 않았지만 그럴듯한 설명.
-
알 수 없음: 필요한 증거를 확보할 수 없습니다.
상관관계가 곧 인과관계는 아닙니다. 동시 경보는 메커니즘이 규명되지 않는 한 확증이 아닌 보조적인 증거로 간주해야 합니다.
측정 기준 안내
-
전반적인 동작에는 `AVG`을(를) 사용하되, 짧은 스파이크가 중요할 때는 `MAX`을(를) 검사하십시오.
-
`SUM`가산 메트릭에만 사용하십시오.
-
메타데이터가 지원하는 경우 카운터 또는 증가에 대해
CHANGE또는 +CHANGE_RATIO+를 사용하십시오. -
버킷 경계 또는 단위가 다른 시리즈를 비교하지 마십시오.
-
필터는 시간 구간별 집계 전에 적용됩니다.
제안된 출력
-
사고 범위 및 일정
-
메트릭 증거
-
경고 및 로그 증거
-
정상 기간 비교
-
가장 가능성 높은 설명
-
대안 가설
-
확신과 증거 부족
-
다음 확인 권장 사항
제한 및 개인정보 보호
-
시계열 데이터의 기간은 30일을 초과할 수 없습니다.
-
성능 툴은 제한된 수의 시계열을 반환합니다. 제한을 늘리기 전에 필터 범위를 좁히십시오.
-
진단에 도움이 되지 않는 민감한 원시 로그 필드는 제외합니다.
-
정상적인 운영 통제를 통해 검증하지 않고는 파괴적인 개선 방안을 제안하지 마십시오.
후속 질문
장애 발생 시 최대 및 평균 지연 시간을 이전의 정상 작동일 같은 시간대와 비교합니다.
관련 워크로드를 호스트 또는 스토리지 풀별로 그룹화하고 속도 저하가 격리된 것인지 아니면 공유된 것인지 확인합니다.
최초 지연 시간 증가 후 15분 이내의 플랫폼 이벤트를 표시합니다.