NVIDIA Base Command Manager REST 数据收集器
NVIDIA Base Command Manager (BCM) 数据收集器通过其 HTTPS REST 和 JSON API(CMDaemon,默认端口 8081)从 BCM 头节点收集清单、主机性能和 GPU 工作负载指标。HYBRID 模式还可以通过 `/exporter`收集 DCGM 导出器 GPU 指标。为每个集群配置一个数据源。此收集器处于 预览 状态;请使用专用的 BCM 服务帐户,而不是 `root`或 BCM `admin`配置文件。
Terminology
对于Data Infrastructure Insights获取的每种资产类型,都会显示该资产最常用的术语。查看或排除此数据收集器的故障时,请记住以下术语:
| 供应商/型号术语 | Data Infrastructure Insights术语 |
|---|---|
BCM 集群 |
供应商特定指标 — |
计算/头节点 |
主机(清单) |
Slurm 作业或计费行 |
供应商特定指标 — |
GPU 指标(BCM GPU 采样器和性能分析、nvidia-smi 回退、可选 DCGM 导出器) |
供应商特定指标 — |
节点状态 |
供应商特定指标 — |
|
|
这些只是常见的术语映射,可能并不代表该数据收集器的所有情况。 |
配置
| 字段 | 描述 |
|---|---|
BCM 头节点 IP/主机名 |
BCM 头节点的 IP 地址或 FQDN |
HTTPS 端口 |
CMDaemon 端口。默认值为 8081 |
用户名 |
用于基本身份验证的 BCM 服务帐户 |
密码 |
服务帐户的密码 |
在保存数据源之前,请确认采集单元可以访问 https://<head>:8081,并且这些端点返回带有数据的 HTTP 200:
curl -sk -u user:pass https://<head>:8081/rest/v1/device
curl -sk -u user:pass "https://<head>:8081/rest/v1/monitoring/latest?measurable=CPUUsage"
供应商特定指标使用最新清单轮询中的主机清单,因此新添加的节点将在下一次清单轮询后显示在那里(默认情况下最多 60 分钟)。
高级配置
UI *高级*屏幕列出了所有收集器包的设置。轮询间隔是每个包单独的*必填*字段(未隐藏);您通常会看到下面的所有三个字段以及可选的专家属性。
| 字段 | 描述 |
|---|---|
库存轮询间隔(分钟) |
基础/清单包。默认值为 60 分钟 |
性能轮询间隔(秒) |
主机性能包。默认为 300 秒 |
集成轮询间隔(秒) |
供应商特定指标*包。默认值为 *300 秒 |
收集模式 |
REST_ONLY(默认)仅使用 REST 和 JSON API。HYBRID 还读取 `/exporter`以获取 DCGM 导出器 GPU 指标;请参阅*为 HYBRID 模式启用 /exporter*。如果 `/exporter`失败,轮询将继续,并显示包含修复方法的警告 |
导出器指标允许列表 |
仅限混合。可选的逗号分隔 `/exporter`指标名称。空(默认)收集所有 DCGM 系列 |
客户端证书路径 |
仅限混合。采集单元上 BCM 客户端证书的路径 ( |
客户端密钥路径 |
仅限混合。采集单元上指向证书密钥的路径 ( |
NVIDIA SMI REST 集成 |
后备 GPU 源。仅当 |
服务帐户(BCM 头节点)
在头节点上以 `root`身份,使用内置 `readonly`配置文件创建用于收集的只读用户:
cmsh -c "user; add dii-monitor; set password '<password>'; set profile readonly; commit"
在数据源中使用 dii-monitor`及其密码。内置 `readonly`配置文件涵盖清单、JSON API `/rest/v1/monitoring/latest(包括 GPU 采样器指标)和 GPU 分析数据。此默认设置不需要令牌。Slurm 计费和 nvidia-smi 回退需要额外的令牌;请参阅 计费令牌(可选) 和 nvidia-smi 令牌(可选)。
默认 REST_ONLY 模式不需要更改其他头节点。
退款令牌(可选)
如果您不需要 Slurm 退款数据,请跳过此部分。如果没有令牌, /chargeback 将返回 401。收集器会记录一条警告,其余的轮询将继续。
Chargeback (/chargeback, requires CHARGE_BACK_TOKEN) 将 Slurm 作业和 chargeback 行添加到 nvidia_bcm.workload。在头节点上作为 root,将 `readonly`克隆到保存令牌的配置文件中,并将服务帐户移动到该配置文件:
cmsh -c "profile; clone readonly dii-readonly; append tokens CHARGE_BACK_TOKEN; commit"
cmsh -c "user; use dii-monitor; set profile dii-readonly; commit"
保持数据源用户名和密码不变。默认 `readonly`配置文件未更改。nvidia-smi 令牌和下面的 HYBRID 步骤会将其令牌添加到此相同的 `dii-readonly`配置文件中。
nvidia-smi 令牌(可选)
除非您想要 nvidia-smi 回退,否则请跳过此部分。 /nvidia-smi(需要 RUN_NVIDIA_SMI_TOKEN)是回退 GPU 源。仅当 `/monitoring/latest`未返回 GPU 采样器行时,收集器才会调用它。如果没有令牌,它将返回 401,收集器会记录一条警告,其余的轮询将继续进行。
在 head 节点上作为 root,将令牌添加到上一节中的 `dii-readonly`配置文件中。如果跳过了该部分,请先运行其 clone 命令:
cmsh -c "profile; use dii-readonly; append tokens RUN_NVIDIA_SMI_TOKEN; commit"
启用 GPU 分析指标(可选)
BCM 仅在您将其开启后才会收集 GPU 分析指标(例如 SM 和张量活动)。开启后,收集器会在 nvidia_bcm.gpu`上将其报告为 `gpu_profiling_*。在头节点上作为 root:
cmsh -c "device; gpuprofiling watch -c <gpu-category> 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010"
无需重新启动, BCM 在几分钟内开始收集。如果该命令报告 not initialized yet,请在一分钟后再次运行。此设置在 GPU 节点重新启动后不会保留;请在节点重新启动后再次运行此命令。要关闭分析,请运行不带数字的相同命令。
为混合模式启用 /exporter
仅当 采集模式 为 混合 时才需要。保留 PrometheusExporterRequireCertificate`的默认值;收集器使用 BCM 客户端证书登录到 `/exporter。在头节点上作为 root:
-
确保 dcgm-exporter 在每个 GPU 节点(端口 9400)上运行,并进行注册,使其数据到达
/exporter:cmsh -c "device; use <node>; prometheusmetricforwarders; add dcgm-<node>; set urls http://127.0.0.1:9400/metrics; commit" -
在
/cm/local/apps/cmd/etc/cmd.conf`中,设置 `EnablePrometheusExporterService = true,然后运行systemctl restart cmd。 -
向服务配置文件提供导出器令牌,并为其创建证书。服务配置文件是 `dii-readonly`来自 Chargeback token (optional);如果您跳过了该部分,请先在那里创建它:
cmsh -c "profile; use dii-readonly; append tokens PROMETHEUS_EXPORTER_TOKEN; commit" cmsh -c "cert; createcertificate 2048 dii-monitor <org> <unit> <city> <state> <country> dii-readonly dii-monitor 365 /root/dii-monitor.key /root/dii-monitor.pem" -
将 `dii-monitor.pem`和 `dii-monitor.key`复制到采集单元,并在*客户端证书路径*和*客户端密钥路径*中输入其路径。
要从采集单元进行检查(数字大于 0 表示有效):
curl -sk --cert dii-monitor.pem --key dii-monitor.key https://<head>:8081/exporter | grep -ci '^dcgm_'
此证书的有效期为 365 天;请在到期前创建一个新证书。
故障排除
| 问题 | 请尝试此操作 |
|---|---|
HTTP 401 |
检查用户名和密码。如果仅 |
警告 |
设置*客户端证书路径*和*客户端密钥路径*,并检查证书的配置文件是否具有 |
警告 |
修复警告中指定的文件。两个文件都必须在采集单元上可读,密钥必须属于证书,并且证书不得过期。 |
警告 |
GPU 采样器未返回任何行,因此收集器使用了 nvidia-smi 回退,但失败了。对于 401 或 403,服务配置文件没有 |
警告 |
在 `cmd.conf`中设置 `EnablePrometheusExporterService = true`并重启 CMDaemon,或将 Collection Mode 设置为 REST_ONLY。 |
无性能数据 |
检查 |
无 GPU 指标 |
检查 |
无 `gpu_profiling_*`字段 |
在*启用 GPU 分析指标*中运行 |
UI 中无工作负载/计费 |
确认 Slurm 作业已运行并启用了成本分摊;空闲集群通常具有空 API。请确保 `CHARGE_BACK_TOKEN`已到位(请参阅 成本分摊令牌(可选)),并且服务器 `nvidia_bcm`元数据已到位。 |
有关此数据收集器的其他信息,请参阅支持页面或数据收集器支持列表。