NVIDIA Base Command Manager REST 資料收集器
NVIDIA Base Command Manager (BCM) 資料收集器透過其 HTTPS REST 和 JSON API(CMDaemon,預設連接埠 8081)從 BCM 頭節點收集庫存、主機效能和 GPU 工作負載計量。HYBRID 模式也可以透過 /exporter`收集 DCGM 匯出器 GPU 計量。每個叢集設定一個資料來源。此收集器處於 Preview 階段;請使用專用的 BCM 服務帳戶,而不是 `root`或 BCM `admin 設定檔。
術語
對於Data Infrastructure Insights所取得的每種資產類型,都會顯示該資產最常用的術語。當查看或排除此資料收集器的故障時,請記住以下術語:
| 供應商/型號術語 | Data Infrastructure Insights術語 |
|---|---|
BCM 叢集 |
供應商特定計量 — |
運算 / 標頭節點 |
主機(清單) |
Slurm 作業或退款列 |
供應商特定計量 — |
GPU 計量(BCM GPU 取樣器和分析、nvidia-smi 備援、選用 DCGM 匯出器) |
供應商特定計量 — |
節點狀態 |
供應商特定計量 — |
|
|
這些只是常見的術語映射,可能並不代表該資料收集器的所有情況。 |
配置
| 場地 | 描述 |
|---|---|
BCM 頭節點 IP/主機名稱 |
BCM 頭節點的 IP 位址或 FQDN |
HTTPS 連接埠 |
CMDaemon 連接埠。預設為 8081 |
使用者名稱 |
用於基本驗證的 BCM 服務帳戶 |
密碼 |
服務帳戶密碼 |
在儲存資料來源之前,請確認擷取單元可以存取 https://<head>:8081,並且這些端點傳回帶有資料的 HTTP 200:
curl -sk -u user:pass https://<head>:8081/rest/v1/device
curl -sk -u user:pass "https://<head>:8081/rest/v1/monitoring/latest?measurable=CPUUsage"
供應商特定計量使用最新庫存輪詢中的主機庫存,因此新增的節點會在下一次庫存輪詢後出現在該處(預設最多 60 分鐘)。
進階配置
UI 的 Advanced 畫面列出了所有收集器套件的設定。輪詢間隔是每個套件分隔的 必填 欄位(未隱藏);您通常會在下方看到所有三個欄位以及選用的專家屬性。
| 場地 | 描述 |
|---|---|
庫存輪詢間隔(分鐘) |
基礎 / 庫存套件。預設值為 60 分鐘 |
效能輪詢間隔(秒) |
主機效能套件。預設值為 300 秒 |
整合輪詢間隔(秒) |
廠商特定計量 套件。預設值為 300 秒 |
收集模式 |
REST_ONLY(預設)僅使用 REST 和 JSON API。HYBRID 也會讀取 `/exporter`以取得 DCGM 匯出器 GPU 計量;請參閱 啟用 HYBRID 模式下的 /exporter。如果 `/exporter`失敗,輪詢將繼續並顯示包含修復程式的警告 |
匯出工具計量允許清單 |
僅限混合型。選用的以逗號分隔的 `/exporter`計量名稱。空白(預設)會收集所有 DCGM 系列 |
用戶端憑證路徑 |
僅限混合。擷取單元上指向 BCM 用戶端憑證的路徑 ( |
用戶端金鑰路徑 |
僅限混合模式。擷取單元上憑證金鑰的路徑 ( |
NVIDIA SMI REST 整合 |
備援 GPU 來源。僅在 |
服務帳戶(BCM 頭節點)
在主節點上以 `root`身分,建立一個具有內建 `readonly`設定檔的唯讀使用者以進行收集:
cmsh -c "user; add dii-monitor; set password '<password>'; set profile readonly; commit"
在資料來源中使用 dii-monitor 及其密碼。內建 readonly 設定檔涵蓋庫存、JSON API、 /rest/v1/monitoring/latest(包括 GPU 採樣器計量)和 GPU 分析資料。此預設設定不需要權杖。Slurm 成本分攤和 nvidia-smi 備援需要額外的權杖;請參閱 Chargeback token(選用) 和 nvidia-smi token(選用)。
預設的 REST_ONLY 模式下不需要其他頭節點變更。
退款權杖(選用)
如果您不需要 Slurm 計費資料,請略過此節。如果沒有權杖, /chargeback 會傳回 401。收集器會記錄警告,其餘的輪詢將繼續進行。
Chargeback (/chargeback(需要 CHARGE_BACK_TOKEN)將 Slurm 作業和 Chargeback 列新增至 nvidia_bcm.workload。在主節點上以 root`身分,將 `readonly Clone 到包含權杖的設定檔中,並將服務帳戶移至該設定檔:
cmsh -c "profile; clone readonly dii-readonly; append tokens CHARGE_BACK_TOKEN; commit"
cmsh -c "user; use dii-monitor; set profile dii-readonly; commit"
保持資料來源使用者名稱和密碼不變。預設的 `readonly`設定檔未變更。nvidia-smi 權杖和以下的 HYBRID 步驟會將其權杖新增至同一個 `dii-readonly`設定檔。
nvidia-smi 權杖(選用)
除非您需要使用 nvidia-smi 作為備用方案,否則請跳過此部分。 /nvidia-smi(需要 RUN_NVIDIA_SMI_TOKEN)是一個備用 GPU 來源。收集器僅在 `/monitoring/latest`未傳回任何 GPU 採樣器行時才會呼叫它。如果沒有權杖,它會傳回 401,收集器會記錄警告,其餘的輪詢將繼續進行。
在主節點上以 `root`身分,將權杖新增至上一節的 `dii-readonly`設定檔。如果您跳過了該節,請先執行其 Clone 命令:
cmsh -c "profile; use dii-readonly; append tokens RUN_NVIDIA_SMI_TOKEN; commit"
啟用 GPU 分析計量(可選)
BCM 僅在您啟用 GPU 分析計量(例如 SM 和張量活動)後才會收集這些計量。啟用後,收集器會在 nvidia_bcm.gpu`上將其報告為 `gpu_profiling_*。以 `root`身分在主節點上:
cmsh -c "device; gpuprofiling watch -c <gpu-category> 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010"
無需重新啟動,BCM 會在幾分鐘內開始收集資料。如果命令傳回 not initialized yet,請在一分鐘後再次執行。此設定在 GPU 節點重新開機後會失效;節點重新啟動後請再次執行該命令。若要關閉效能分析,請執行相同的命令,但不加上數字。
啟用混合模式下的 /exporter
僅當 Collection Mode 為 HYBRID 時才需要。將 PrometheusExporterRequireCertificate`保留為預設值;收集器會使用 BCM 用戶端憑證登入 `/exporter。在主節點上作為 root:
-
確保 dcgm-exporter 在每個 GPU 節點上執行(連接埠 9400),並將其註冊,以便其資料到達
/exporter:cmsh -c "device; use <node>; prometheusmetricforwarders; add dcgm-<node>; set urls http://127.0.0.1:9400/metrics; commit" -
在
/cm/local/apps/cmd/etc/cmd.conf`中,設定 `EnablePrometheusExporterService = true,然後執行systemctl restart cmd。 -
為服務設定檔提供匯出權杖,並為其建立憑證。服務設定檔 `dii-readonly`來自 退款權杖(選用);如果您跳過了該區段,請先在該處建立:
cmsh -c "profile; use dii-readonly; append tokens PROMETHEUS_EXPORTER_TOKEN; commit" cmsh -c "cert; createcertificate 2048 dii-monitor <org> <unit> <city> <state> <country> dii-readonly dii-monitor 365 /root/dii-monitor.key /root/dii-monitor.pem" -
將 `dii-monitor.pem`和 `dii-monitor.key`複製到擷取單元,並在 用戶端憑證路徑 和 用戶端金鑰路徑 中輸入其路徑。
從採集單元進行檢查(大於 0 的數字表示其正常運作):
curl -sk --cert dii-monitor.pem --key dii-monitor.key https://<head>:8081/exporter | grep -ci '^dcgm_'
憑證有效期為 365 天;請在到期前建立新憑證。
故障排除
| 問題 | 試試這個 |
|---|---|
HTTP 401 |
檢查使用者名稱和密碼。如果只有 |
警告 |
設定 用戶端憑證路徑 和 用戶端金鑰路徑,並檢查憑證的設定檔是否有 |
警告 |
請修復警告中指定的檔案。這兩個檔案都必須在擷取單元上可讀取,金鑰必須屬於該憑證,且該憑證不得過期。 |
警告 |
GPU 取樣器未傳回任何資料列,因此收集器使用了 nvidia-smi 備援,但失敗了。對於 401 或 403,服務設定檔沒有 |
警告 |
在 `cmd.conf`中設定 `EnablePrometheusExporterService = true`並重新啟動 CMDaemon,或將 Collection Mode 設定為 REST_ONLY。 |
無效能資料 |
檢查 |
無 GPU 計量 |
檢查 |
無 `gpu_profiling_*`欄位 |
執行 |
UI 中無工作負載 / 成本分攤 |
確認 Slurm 作業已執行且已啟用費用返還;閒置叢集的 API 通常為空。確保 `CHARGE_BACK_TOKEN`已就位(請參閱 費用返還權杖(選用)),且伺服器 `nvidia_bcm`中繼資料已就位。 |
有關此資料收集器的其他資訊,可在支援頁面或資料收集器支援矩陣中找到。