NVIDIA Base Command Manager REST 데이터 수집기
NVIDIA Base Command Manager(BCM) 데이터 수집기는 HTTPS REST 및 JSON API(CMDaemon, 기본 포트 8081)를 통해 BCM 헤드 노드에서 인벤토리, 호스트 성능 및 GPU 워크로드 메트릭을 수집합니다. HYBRID 모드는 /exporter`를 통해 DCGM 익스포터 GPU 메트릭도 수집할 수 있습니다. 클러스터당 하나의 데이터 소스를 구성하십시오. 이 수집기는 미리 보기 상태입니다. `root 또는 BCM admin 프로필 대신 전용 BCM 서비스 계정을 사용하십시오.
술어
Data Infrastructure Insights 에서 수집한 각 자산 유형에 대해 해당 자산에 가장 일반적으로 사용되는 용어가 표시됩니다. 이 데이터 수집기를 보거나 문제를 해결할 때 다음 용어를 염두에 두십시오.
| 공급업체/모델 용어 | Data Infrastructure Insights 용어 |
|---|---|
BCM 클러스터 |
벤더별 지표 — |
컴퓨팅 / 헤드 노드 |
호스트(인벤토리) |
Slurm 작업 또는 차지백 행 |
벤더별 지표 — |
GPU 메트릭(BCM GPU 샘플러 및 프로파일링, nvidia-smi 대체 기능, 선택적 DCGM 익스포터) |
벤더별 지표 — |
노드 상태 |
벤더별 지표 — |
|
|
이는 일반적인 용어 매핑일 뿐이며 이 데이터 수집기의 모든 사례를 나타내지 않을 수 있습니다. |
구성
| 필드 | 설명 |
|---|---|
BCM 헤드 노드 IP/호스트 이름 |
BCM 헤드 노드의 IP 주소 또는 FQDN |
HTTPS 포트 |
CMDaemon 포트. 기본값은 *8081*입니다. |
사용자 이름 |
기본 인증을 위한 BCM 서비스 계정 |
비밀번호 |
서비스 계정 비밀번호 |
데이터 소스를 저장하기 전에 데이터 수집 장치가 `https://<head>:8081`에 연결할 수 있고 이러한 엔드포인트가 데이터와 함께 HTTP *200*을 반환하는지 확인하십시오:
curl -sk -u user:pass https://<head>:8081/rest/v1/device
curl -sk -u user:pass "https://<head>:8081/rest/v1/monitoring/latest?measurable=CPUUsage"
벤더별 메트릭은 최신 인벤토리 폴링에서 가져온 호스트 인벤토리를 사용하므로 새로 추가된 노드는 다음 인벤토리 폴링 후(기본적으로 최대 60분)에 표시됩니다.
고급 구성
UI의 고급 화면에는 모든 수집기 패키지의 설정이 나열됩니다. 폴링 간격은 패키지별로 별도의 필수 필드이며(숨겨져 있지 않음), 일반적으로 아래에 세 가지 모두와 선택적 전문가 속성이 함께 표시됩니다.
| 필드 | 설명 |
|---|---|
재고 폴링 간격(분) |
파운데이션 / 인벤토리 패키지. 기본값은 *60*분입니다 |
성능 폴링 간격(초) |
호스트 성능 패키지입니다. 기본값은 *300*초입니다 |
통합 폴링 간격(초) |
벤더별 측정항목 패키지입니다. 기본값은 *300*초입니다. |
수집 모드 |
REST_ONLY (기본값)는 REST 및 JSON API만 사용합니다. *HYBRID*는 DCGM 익스포터 GPU 메트릭을 위해 `/exporter`도 읽습니다. *HYBRID 모드에서 /exporter 활성화*를 참조하십시오. `/exporter`이(가) 실패할 경우 폴링은 계속되며 수정 사항이 포함된 경고가 표시됩니다. |
익스포터 메트릭 허용 목록 |
HYBRID 전용. 선택적으로 쉼표로 구분된 |
클라이언트 인증서 경로 |
하이브리드 전용. 획득 장치의 BCM 클라이언트 인증서 경로 ( |
클라이언트 키 경로 |
하이브리드 전용. 수집 장치에서 인증서 키까지의 경로 ( |
NVIDIA SMI REST 통합 |
대체 GPU 소스. |
서비스 계정(BCM 헤드 노드)
헤드 노드에서 root 권한으로 내장 readonly 프로필을 사용하여 수집용 읽기 전용 사용자를 생성합니다:
cmsh -c "user; add dii-monitor; set password '<password>'; set profile readonly; commit"
데이터 소스에서 dii-monitor 및 해당 비밀번호를 사용하십시오. 내장 readonly 프로필은 인벤토리, JSON API /rest/v1/monitoring/latest(GPU 샘플러 메트릭 포함) 및 GPU 프로파일링 데이터를 포함합니다. 이 기본 설정에는 토큰이 필요하지 않습니다. Slurm 차지백 및 nvidia-smi 대체에는 추가 토큰이 필요합니다. 차지백 토큰(선택 사항) 및 *nvidia-smi 토큰(선택 사항)*을 참조하십시오.
기본 REST_ONLY 모드의 경우 다른 헤드 노드 변경은 필요하지 않습니다.
차지백 토큰(선택 사항)
Slurm 차지백 데이터가 필요하지 않은 경우 이 섹션을 건너뛰십시오. 토큰이 없으면 `/chargeback`이(가) *401*을 반환합니다. 수집기는 경고를 기록하고 나머지 폴링이 계속됩니다.
차지백 (/chargeback, requires CHARGE_BACK_TOKEN)은 nvidia_bcm.workload`에 Slurm 작업 및 차지백 행을 추가합니다. 헤드 노드에서 `root(으)로서 `readonly`을(를) 토큰을 보유하는 프로필로 복제하고 서비스 계정을 해당 프로필로 이동합니다:
cmsh -c "profile; clone readonly dii-readonly; append tokens CHARGE_BACK_TOKEN; commit"
cmsh -c "user; use dii-monitor; set profile dii-readonly; commit"
데이터 소스 사용자 이름과 비밀번호는 변경하지 마십시오. 기본 readonly 프로필은 변경되지 않습니다. 아래의 nvidia-smi 토큰 및 HYBRID 단계는 해당 토큰을 이 동일한 dii-readonly 프로필에 추가합니다.
nvidia-smi 토큰(선택 사항)
nvidia-smi 대체 기능을 원하지 않는다면 이 섹션을 건너뛰십시오. /nvidia-smi ( RUN_NVIDIA_SMI_TOKEN 필요)는 대체 GPU 소스입니다. 컬렉터는 `/monitoring/latest`이(가) GPU 샘플러 행을 반환하지 않을 때만 이를 호출합니다. 토큰이 없으면 *401*을 반환하고, 컬렉터는 경고를 기록하며, 나머지 폴링이 계속됩니다.
헤드 노드에서 root(으)로서 이전 섹션의 dii-readonly 프로필에 토큰을 추가합니다. 해당 섹션을 건너뛴 경우 먼저 클론 명령을 실행하십시오:
cmsh -c "profile; use dii-readonly; append tokens RUN_NVIDIA_SMI_TOKEN; commit"
GPU 프로파일링 메트릭 활성화(선택 사항)
BCM은 사용자가 활성화한 후에만 GPU 프로파일링 메트릭(SM 및 텐서 활동 등)을 수집합니다. 활성화되면 수집기는 이를 nvidia_bcm.gpu`에 `gpu_profiling_*(으)로 보고합니다. 헤드 노드에서 root(으)로:
cmsh -c "device; gpuprofiling watch -c <gpu-category> 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010"
재시작은 필요하지 않으며, BCM은 몇 분 내에 수집을 시작합니다. 명령에서 `not initialized yet`을(를) 보고하면 1분 후에 다시 실행하십시오. 이 설정은 GPU 노드 재부팅 시 유지되지 않으므로 노드가 다시 시작된 후 명령을 다시 실행하십시오. 프로파일링을 끄려면 숫자 없이 동일한 명령을 실행하십시오.
하이브리드 모드용 /exporter 활성화
*수집 모드*가 *하이브리드*인 경우에만 필요합니다. PrometheusExporterRequireCertificate`은(는) 기본값으로 두십시오. 수집기는 BCM 클라이언트 인증서를 사용하여 `/exporter`에 로그인합니다. 헤드 노드에서 `root(으)로:
-
dcgm-exporter가 각 GPU 노드(포트 9400)에서 실행되는지 확인하고, 데이터가 `/exporter`에 도달하도록 등록하십시오:
cmsh -c "device; use <node>; prometheusmetricforwarders; add dcgm-<node>; set urls http://127.0.0.1:9400/metrics; commit" -
`/cm/local/apps/cmd/etc/cmd.conf`에서 `EnablePrometheusExporterService = true`을(를) 설정한 다음 `systemctl restart cmd`을(를) 실행합니다.
-
서비스 프로필에 익스포터 토큰을 부여하고 해당 토큰에 대한 인증서를 생성하십시오. 서비스 프로필은
dii-readonly*차지백 토큰(선택 사항)*에서 가져옵니다. 해당 섹션을 건너뛴 경우 먼저 해당 섹션에서 생성하십시오:cmsh -c "profile; use dii-readonly; append tokens PROMETHEUS_EXPORTER_TOKEN; commit" cmsh -c "cert; createcertificate 2048 dii-monitor <org> <unit> <city> <state> <country> dii-readonly dii-monitor 365 /root/dii-monitor.key /root/dii-monitor.pem" -
dii-monitor.pem및 `dii-monitor.key`를 수집 유닛으로 복사하고, *클라이언트 인증서 경로*와 *클라이언트 키 경로*에 해당 경로를 입력하십시오.
수집 장치에서 확인하려면 (0보다 큰 숫자가 표시되면 정상 작동합니다):
curl -sk --cert dii-monitor.pem --key dii-monitor.key https://<head>:8081/exporter | grep -ci '^dcgm_'
인증서는 365일 동안 유효합니다. 만료되기 전에 새 인증서를 생성하십시오.
문제 해결
| 문제 | 이것을 시도해 보세요 |
|---|---|
HTTP 401 |
사용자 이름과 비밀번호를 확인하십시오. `/chargeback`만 *401*을 반환하는 경우, *차지백 토큰(선택 사항)*에 표시된 대로 `CHARGE_BACK_TOKEN`를 추가하십시오. |
경고 |
클라이언트 인증서 경로 및 클라이언트 키 경로*를 설정하고, 인증서 프로필에 `PROMETHEUS_EXPORTER_TOKEN`이(가) 있는지 확인하십시오(*하이브리드 모드용 /exporter 활성화 참조). 또는 *수집 모드*를 *REST_ONLY*로 설정하십시오. |
경고 |
경고에 언급된 파일을 수정하십시오. 두 파일 모두 획득 장치에서 읽을 수 있어야 하며, 키는 인증서에 속해야 하고, 인증서는 만료되지 않아야 합니다. |
경고 |
GPU 샘플러가 행을 반환하지 않아 수집기가 nvidia-smi 대체 기능을 사용했지만 실패했습니다. 401 또는 403의 경우 서비스 프로필에 |
경고 |
|
성능 데이터 없음 |
`/rest/v1/monitoring/latest?measurable=CPUUsage`에서 행이 반환되는지 확인하십시오. 노드에 대해 비어 있는 경우 헤드 노드에서 `cmsh -c "device; use <node>; latestmonitoringdata"`을(를) 확인하십시오. 노드에서 측정 가능한 값이 전혀 보고되지 않으면 BCM이 해당 노드에서 샘플러를 실행하고 있지 않은 것입니다. 노드를 재설치하면(클라우드 노드의 경우: 전원 끄기, 종료, 전원 켜기) 샘플러가 복원됩니다. |
GPU 측정값 없음 |
|
`gpu_profiling_*`필드 없음 |
GPU 프로파일링 메트릭 활성화*에서 |
UI에 워크로드/비용 청구 없음 |
Slurm 작업이 실행되었고 차지백이 활성화되었는지 확인하십시오. 유휴 클러스터는 API가 비어 있는 경우가 많습니다. |
이 데이터 수집기에 대한 추가 정보는 지원 페이지 또는 데이터 수집기 지원 매트릭스에서 확인할 수 있습니다.