简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

从 Triton 推理服务器收集推理指标

提供者 kevin-hoke

Triton 推理服务器可提供 Prometheus 指标,用于指示 GPU 和请求统计信息。

默认情况下,这些指标可从获取 "http://<triton_inference_server_IP>:8002/metrics"

Triton 推理服务器 IP 是先前记录的负载平衡器 IP 。

这些指标只能通过访问端点来使用,不会推送到或发布到任何远程服务器。

错误:缺少图形映像

错误:缺少图形映像