NVIDIA Base Command Manager raccoglitore dati REST
Il data collector NVIDIA Base Command Manager (BCM) raccoglie inventario, prestazioni degli host e metriche dei carichi di lavoro GPU da un nodo head BCM tramite le sue API HTTPS REST e JSON (CMDaemon, porta predefinita 8081). La modalità HYBRID può anche raccogliere metriche GPU di DCGM exporter tramite /exporter. Configura un'origine dati per cluster. Questo collector è in Preview; usa un account di servizio BCM dedicato anziché root o il profilo BCM admin.
Terminologia
Per ogni tipo di risorsa acquisita da Data Infrastructure Insights, viene mostrata la terminologia più comune utilizzata per la risorsa. Quando si visualizza o si risolve un problema con questo strumento di raccolta dati, tenere presente la seguente terminologia:
| Termine del fornitore/modello | Termine Data Infrastructure Insights |
|---|---|
cluster BCM |
Metriche specifiche del fornitore — |
Nodo di calcolo / nodo principale |
Host (inventario) |
Job Slurm o riga di chargeback |
Metriche specifiche del fornitore — |
metriche GPU (campionatore GPU BCM e profilazione, fallback nvidia-smi, esportatore DCGM facoltativo) |
Metriche specifiche del fornitore — |
Stato del nodo |
Metriche specifiche del fornitore — |
|
|
Si tratta solo di mappature terminologiche comuni e potrebbero non rappresentare tutti i casi per questo raccoglitore di dati. |
Configurazione
| Campo | Descrizione |
|---|---|
Indirizzo IP/nome host del nodo principale BCM |
Indirizzo IP o FQDN del nodo principale BCM |
Porta HTTPS |
Porta di CMDaemon. L'impostazione predefinita è 8081 |
Nome utente |
Account di servizio BCM per l'autenticazione di base |
Password |
Password per l'account di servizio |
Prima di salvare l'origine dati, assicurati che l'unità di acquisizione possa raggiungere https://<head>:8081 e che questi endpoint restituiscano HTTP 200 con dati:
curl -sk -u user:pass https://<head>:8081/rest/v1/device
curl -sk -u user:pass "https://<head>:8081/rest/v1/monitoring/latest?measurable=CPUUsage"
Le metriche specifiche del fornitore utilizzano l'inventario host dell'ultimo rilevamento dell'inventario, quindi un nodo appena aggiunto appare lì dopo il successivo rilevamento dell'inventario (fino a 60 minuti per impostazione predefinita).
Configurazione avanzata
La schermata Avanzate dell'interfaccia utente elenca le impostazioni di tutti i pacchetti di raccolta. Gli intervalli di polling sono campi obbligatori separati per ciascun pacchetto (non nascosti); in genere, li vedrai tutti e tre qui sotto, insieme alle proprietà avanzate opzionali.
| Campo | Descrizione |
|---|---|
Intervallo di sondaggio dell'inventario (min) |
Pacchetto Foundation / inventario. Il valore predefinito è 60 minuti |
Intervallo di sondaggio sulle prestazioni (sec) |
Pacchetto prestazioni host. Il valore predefinito è 300 secondi |
Intervallo di polling dell'integrazione (sec) |
Pacchetto Metriche specifiche del fornitore. Il valore predefinito è 300 secondi |
Modalità di raccolta |
REST_ONLY (predefinito) utilizza solo le API REST e JSON. HYBRID legge anche |
Elenco consentito delle metriche dell'esportatore |
Solo HYBRID. Nomi delle metriche facoltativi separati da virgole |
Percorso del certificato client |
Solo HYBRID. Percorso sull'unità di acquisizione del certificato client BCM ( |
Percorso della chiave client |
Solo HYBRID. Percorso sull'unità di acquisizione della chiave del certificato ( |
Integrazione REST NVIDIA SMI |
Sorgente GPU di fallback. Chiama |
Account di servizio (nodo principale BCM)
Come root sul nodo principale, crea un utente di sola lettura per la raccolta con il profilo readonly predefinito:
cmsh -c "user; add dii-monitor; set password '<password>'; set profile readonly; commit"
Usa dii-monitor e la sua password nell'origine dati. Il profilo integrato readonly copre l'inventario, la JSON API, /rest/v1/monitoring/latest (incluse le metriche del GPU sampler) e i dati di profilazione GPU. Per questa configurazione predefinita non serve alcun token. Il chargeback di Slurm e il fallback di nvidia-smi richiedono token aggiuntivi; vedi Chargeback token (optional) e nvidia-smi token (optional).
Non è necessaria alcun'altra modifica al nodo principale per la modalità predefinita REST_ONLY.
Token di chargeback (facoltativo)
Salta questa sezione se non hai bisogno dei dati di chargeback di Slurm. Senza il token, /chargeback restituisce 401. Il collector registra un avviso e il resto del polling continua.
Chargeback (/chargeback, richiede CHARGE_BACK_TOKEN) aggiunge righe di job Slurm e di chargeback a nvidia_bcm.workload. Come root sul nodo principale, clona readonly in un profilo che contiene il token e sposta l'account di servizio in quel profilo:
cmsh -c "profile; clone readonly dii-readonly; append tokens CHARGE_BACK_TOKEN; commit"
cmsh -c "user; use dii-monitor; set profile dii-readonly; commit"
Mantieni invariati il nome utente e la password dell'origine dati. Il profilo stock readonly non viene modificato. Il token nvidia-smi e i passaggi HYBRID descritti di seguito aggiungono i rispettivi token a questo stesso dii-readonly profilo.
token nvidia-smi (facoltativo)
Salta questa sezione a meno che tu non voglia il fallback nvidia-smi. /nvidia-smi (richiede RUN_NVIDIA_SMI_TOKEN) è una fonte GPU di fallback. Il collector lo richiama solo quando /monitoring/latest non restituisce righe del campionatore GPU. Senza il token, restituisce 401, il collector registra un avviso e il resto del polling continua.
Come root sul nodo head, aggiungi il token al dii-readonly profilo della sezione precedente. Se hai saltato quella sezione, esegui prima il relativo comando di clonazione:
cmsh -c "profile; use dii-readonly; append tokens RUN_NVIDIA_SMI_TOKEN; commit"
Abilitazione delle metriche di profiling della GPU (facoltativo)
BCM raccoglie le metriche di profiling della GPU (come SM e l'attività tensor) solo dopo che le attivi. Una volta attivate, il collector le riporta in nvidia_bcm.gpu come gpu_profiling_*. Come root sul nodo head:
cmsh -c "device; gpuprofiling watch -c <gpu-category> 1001 1002 1003 1004 1005 1006 1007 1008 1009 1010"
Non devi riavviare il sistema e BCM inizia a raccogliere i dati entro pochi minuti. Se il comando segnala not initialized yet, eseguilo di nuovo un minuto più tardi. L'impostazione non viene mantenuta dopo il riavvio di un nodo GPU; esegui di nuovo il comando dopo il riavvio dei nodi. Per disattivare la profilazione, esegui lo stesso comando senza i numeri.
Abilitazione di /exporter per la modalità HYBRID
Necessario solo se la Modalità di raccolta è IBRIDA. Lascia PrometheusExporterRequireCertificate l'impostazione predefinita; il collettore accede a /exporter con un certificato client BCM. Come root sul nodo principale:
-
Assicurati che dcgm-exporter sia in esecuzione su ciascun nodo GPU (porta 9400) e registralo in modo che i suoi dati raggiungano
/exporter:cmsh -c "device; use <node>; prometheusmetricforwarders; add dcgm-<node>; set urls http://127.0.0.1:9400/metrics; commit" -
In
/cm/local/apps/cmd/etc/cmd.conf, impostaEnablePrometheusExporterService = true, quindi eseguisystemctl restart cmd. -
Assegna al profilo di servizio il token exporter e crea un certificato per esso. Il profilo di servizio si trova
dii-readonlyin Chargeback token (optional); crealo prima lì se hai saltato quella sezione:cmsh -c "profile; use dii-readonly; append tokens PROMETHEUS_EXPORTER_TOKEN; commit" cmsh -c "cert; createcertificate 2048 dii-monitor <org> <unit> <city> <state> <country> dii-readonly dii-monitor 365 /root/dii-monitor.key /root/dii-monitor.pem" -
Copia
dii-monitor.pemedii-monitor.keynell'unità di acquisizione e inserisci i relativi percorsi in Client Certificate Path e Client Key Path.
Per verificare dall'unità di acquisizione (un numero superiore a 0 significa che funziona):
curl -sk --cert dii-monitor.pem --key dii-monitor.key https://<head>:8081/exporter | grep -ci '^dcgm_'
Il certificato è valido per 365 giorni; creane uno nuovo prima della scadenza.
Risoluzione dei problemi
| Problema | Prova questo |
|---|---|
HTTP 401 |
Verifica il nome utente e la password. Se solo |
Avviso |
Imposta Percorso certificato client e Percorso chiave client e verifica che il profilo del certificato abbia |
Avvertenza |
Correggi il file indicato nell'avviso. Entrambi i file devono essere leggibili sull'unità di acquisizione, la chiave deve appartenere al certificato e il certificato non deve essere scaduto. |
Avvertimento |
Il campionatore GPU non ha restituito righe, quindi il collector ha usato il fallback nvidia-smi, ma non è riuscito. Per un 401 o 403, il profilo di servizio non ha |
Avvertimento |
Imposta |
Nessun dato sulle prestazioni |
Verifica che |
Nessuna metrica GPU |
Verifica che |
Nessun |
Esegui il |
Nessun carico di lavoro / chargeback nell'UI |
Verifica che i job di Slurm siano stati eseguiti e che il chargeback sia abilitato; i cluster inattivi spesso hanno API vuote. Assicurati |
Ulteriori informazioni su questo sistema di raccolta dati sono disponibili nella pagina Support o nella Data Collector Support Matrix.