Skip to main content
Data Infrastructure Insights
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

NVIDIA Base Command Manager REST 資料收集器

貢獻者 netapp-alavoie

NVIDIA Base Command Manager (BCM) 資料收集器透過其 HTTPS REST 和 JSON API(CMDaemon,預設連接埠 8081)從 BCM 頭節點收集庫存、主機效能和 GPU 工作負載計量。HYBRID 模式也可以透過 /exporter`收集 DCGM 匯出器 GPU 計量。每個叢集設定一個資料來源。此收集器處於 Preview 階段;請使用專用的 BCM 服務帳戶,而不是 `root`或 BCM `admin 設定檔。

術語

對於Data Infrastructure Insights所取得的每種資產類型,都會顯示該資產最常用的術語。當查看或排除此資料收集器的故障時,請記住以下術語:

供應商/型號術語 Data Infrastructure Insights術語

BCM 叢集

供應商特定計量 — nvidia_bcm.cluster

運算 / 標頭節點

主機(清單)

Slurm 作業或退款列

供應商特定計量 — nvidia_bcm.workload

GPU 計量(BCM GPU 取樣器和分析、nvidia-smi 備援、選用 DCGM 匯出器)

供應商特定計量 — nvidia_bcm.gpu

節點狀態

供應商特定計量 — nvidia_bcm.host

註 這些只是常見的術語映射,可能並不代表該資料收集器的所有情況。

配置

場地 描述

BCM 頭節點 IP/主機名稱

BCM 頭節點的 IP 位址或 FQDN

HTTPS 連接埠

CMDaemon 連接埠。預設為 8081

使用者名稱

用於基本驗證的 BCM 服務帳戶

密碼

服務帳戶密碼

在儲存資料來源之前,請確認擷取單元可以存取 https://<head>:8081,並且這些端點傳回帶有資料的 HTTP 200:

curl -sk -u user:pass https://<head>:8081/rest/v1/device
curl -sk -u user:pass "https://<head>:8081/rest/v1/monitoring/latest?measurable=CPUUsage"

供應商特定計量使用最新庫存輪詢中的主機庫存,因此新增的節點會在下一次庫存輪詢後出現在該處(預設最多 60 分鐘)。

進階配置

UI 的 Advanced 畫面列出了所有收集器套件的設定。輪詢間隔是每個套件分隔的 必填 欄位(未隱藏);您通常會在下方看到所有三個欄位以及選用的專家屬性。

場地 描述

庫存輪詢間隔(分鐘)

基礎 / 庫存套件。預設值為 60 分鐘

效能輪詢間隔(秒)

主機效能套件。預設值為 300 秒

整合輪詢間隔(秒)

廠商特定計量 套件。預設值為 300 秒

收集模式

REST_ONLY(預設)僅使用 REST 和 JSON API。HYBRID 也會讀取 `/exporter`以取得 DCGM 匯出器 GPU 計量;請參閱 啟用 HYBRID 模式下的 /exporter。如果 `/exporter`失敗,輪詢將繼續並顯示包含修復程式的警告

匯出工具計量允許清單

僅限混合型。選用的以逗號分隔的 `/exporter`計量名稱。空白(預設)會收集所有 DCGM 系列

用戶端憑證路徑

僅限混合。擷取單元上指向 BCM 用戶端憑證的路徑 (.pem)

用戶端金鑰路徑

僅限混合模式。擷取單元上憑證金鑰的路徑 (.key)

NVIDIA SMI REST 整合

備援 GPU 來源。僅在 /monitoring/latest`未傳回任何 GPU 取樣器資料列時,才會呼叫 `/rest/v1/nvidia-smi`以取得 `smi_*`欄位。預設值為 true。需要 `RUN_NVIDIA_SMI_TOKEN(請參閱 nvidia-smi token (optional));若無此項目,系統將顯示警告,但輪詢將繼續執行。呼叫間隔由間隔時間決定(預設為 15 分鐘)。設為 false 可停止呼叫

服務帳戶(BCM 頭節點)

在主節點上以 `root`身分,建立一個具有內建 `readonly`設定檔的唯讀使用者以進行收集:

cmsh -c "user; add dii-monitor; set password '<password>'; set profile readonly; commit"

在資料來源中使用 dii-monitor 及其密碼。內建 readonly 設定檔涵蓋庫存、JSON API、 /rest/v1/monitoring/latest(包括 GPU 採樣器計量)和 GPU 分析資料。此預設設定不需要權杖。Slurm 成本分攤和 nvidia-smi 備援需要額外的權杖;請參閱 Chargeback token(選用) 和 nvidia-smi token(選用)。

預設的 REST_ONLY 模式下不需要其他頭節點變更。

退款權杖(選用)

如果您不需要 Slurm 計費資料,請略過此節。如果沒有權杖, /chargeback 會傳回 401。收集器會記錄警告,其餘的輪詢將繼續進行。

Chargeback (/chargeback(需要 CHARGE_BACK_TOKEN)將 Slurm 作業和 Chargeback 列新增至 nvidia_bcm.workload。在主節點上以 root`身分,將 `readonly Clone 到包含權杖的設定檔中,並將服務帳戶移至該設定檔:

cmsh -c "profile; clone readonly dii-readonly; append tokens CHARGE_BACK_TOKEN; commit"
cmsh -c "user; use dii-monitor; set profile dii-readonly; commit"

保持資料來源使用者名稱和密碼不變。預設的 `readonly`設定檔未變更。nvidia-smi 權杖和以下的 HYBRID 步驟會將其權杖新增至同一個 `dii-readonly`設定檔。

nvidia-smi 權杖(選用)

除非您需要使用 nvidia-smi 作為備用方案,否則請跳過此部分。 /nvidia-smi(需要 RUN_NVIDIA_SMI_TOKEN)是一個備用 GPU 來源。收集器僅在 `/monitoring/latest`未傳回任何 GPU 採樣器行時才會呼叫它。如果沒有權杖,它會傳回 401,收集器會記錄警告,其餘的輪詢將繼續進行。

在主節點上以 `root`身分,將權杖新增至上一節的 `dii-readonly`設定檔。如果您跳過了該節,請先執行其 Clone 命令:

cmsh -c "profile; use dii-readonly; append tokens RUN_NVIDIA_SMI_TOKEN; commit"

啟用 GPU 分析計量(可選)

BCM 僅在您啟用 GPU 分析計量(例如 SM 和張量活動)後才會收集這些計量。啟用後,收集器會在 nvidia_bcm.gpu`上將其報告為 `gpu_profiling_*。以 `root`身分在主節點上:

cmsh -c "device; gpuprofiling watch -c <gpu-category> 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010"

無需重新啟動,BCM 會在幾分鐘內開始收集資料。如果命令傳回 not initialized yet,請在一分鐘後再次執行。此設定在 GPU 節點重新開機後會失效;節點重新啟動後請再次執行該命令。若要關閉效能分析,請執行相同的命令,但不加上數字。

啟用混合模式下的 /exporter

僅當 Collection Mode 為 HYBRID 時才需要。將 PrometheusExporterRequireCertificate`保留為預設值;收集器會使用 BCM 用戶端憑證登入 `/exporter。在主節點上作為 root:

  1. 確保 dcgm-exporter 在每個 GPU 節點上執行(連接埠 9400),並將其註冊,以便其資料到達 /exporter:

    cmsh -c "device; use <node>; prometheusmetricforwarders; add dcgm-<node>; set urls http://127.0.0.1:9400/metrics; commit"
  2. 在 /cm/local/apps/cmd/etc/cmd.conf`中,設定 `EnablePrometheusExporterService = true,然後執行 systemctl restart cmd。

  3. 為服務設定檔提供匯出權杖,並為其建立憑證。服務設定檔 `dii-readonly`來自 退款權杖(選用);如果您跳過了該區段,請先在該處建立:

    cmsh -c "profile; use dii-readonly; append tokens PROMETHEUS_EXPORTER_TOKEN; commit"
    cmsh -c "cert; createcertificate 2048 dii-monitor <org> <unit> <city> <state> <country> dii-readonly dii-monitor 365 /root/dii-monitor.key /root/dii-monitor.pem"
  4. 將 `dii-monitor.pem`和 `dii-monitor.key`複製到擷取單元,並在 用戶端憑證路徑 和 用戶端金鑰路徑 中輸入其路徑。

從採集單元進行檢查(大於 0 的數字表示其正常運作):

curl -sk --cert dii-monitor.pem --key dii-monitor.key https://<head>:8081/exporter | grep -ci '^dcgm_'

憑證有效期為 365 天;請在到期前建立新憑證。

故障排除

問題 試試這個

HTTP 401

檢查使用者名稱和密碼。如果只有 /chargeback`傳回 401,請新增 `CHARGE_BACK_TOKEN,如 退款權杖(選用) 所示。

警告 BCM /exporter refused with HTTP 401`或 `403

設定 用戶端憑證路徑 和 用戶端金鑰路徑,並檢查憑證的設定檔是否有 PROMETHEUS_EXPORTER_TOKEN(請參閱 啟用 HYBRID 模式的 /exporter)。或將 收集模式 設定為 REST_ONLY。

警告 BCM /exporter not called: the client certificate cannot be used

請修復警告中指定的檔案。這兩個檔案都必須在擷取單元上可讀取,金鑰必須屬於該憑證,且該憑證不得過期。

警告 BCM /nvidia-smi refused with HTTP 401`或 `403,或 BCM /nvidia-smi failed

GPU 取樣器未傳回任何資料列,因此收集器使用了 nvidia-smi 備援,但失敗了。對於 401 或 403,服務設定檔沒有 RUN_NVIDIA_SMI_TOKEN:請修正 GPU 取樣器(請參閱 無 GPU 計量),或新增如 nvidia-smi 權杖(選用) 所示的權杖。輪詢繼續進行,但不包含 `smi_*`欄位。

警告 BCM /exporter not found (HTTP 404)

在 `cmd.conf`中設定 `EnablePrometheusExporterService = true`並重新啟動 CMDaemon,或將 Collection Mode 設定為 REST_ONLY。

無效能資料

檢查 /rest/v1/monitoring/latest?measurable=CPUUsage 是否傳回資料列。如果某個節點的結果為空,請檢查頭節點上的 cmsh -c "device; use <node>; latestmonitoringdata"。如果該節點完全沒有報告任何可測量值,則表示 BCM 未在其上執行採樣器;重新安裝該節點(對於雲端節點:關閉電源、終止、開啟電源)即可將其還原。

無 GPU 計量

檢查 /rest/v1/monitoring/latest?measurable=gpu_utilization:gpu0 是否傳回資料列。BCM 的 GPUSampler 需要節點映像中的 cuda-dcgm 套件與 GPU 驅動程式,且必須將其啟用: cmsh -c "monitoring setup; use GPUSampler; get disabled" 列印 no。僅有 gpu_recovery_* 的資料列並不代表取樣器正在執行。

無 `gpu_profiling_*`欄位

執行 gpuprofiling watch「啟用 GPU 分析計量」中的命令,並在 GPU 節點重新開機後再次執行該命令。這些 `dcgm_fi_prof_*`欄位僅來自 HYBRID 模式下的 dcgm-exporter。

UI 中無工作負載 / 成本分攤

確認 Slurm 作業已執行且已啟用費用返還;閒置叢集的 API 通常為空。確保 `CHARGE_BACK_TOKEN`已就位(請參閱 費用返還權杖(選用)),且伺服器 `nvidia_bcm`中繼資料已就位。

有關此資料收集器的其他資訊,可在支援頁面或資料收集器支援矩陣中找到。