简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。
测试计划
| 区域 | 任务 | 型号 | 数据集 | QSL 大小 | 质量 | 多流延迟约束 |
|---|---|---|---|---|---|---|
想象 |
图像分类 |
Resnet50v1.5 |
图像网(224x224) |
1024 |
FP32 的 99% |
50毫秒 |
想象 |
物体检测(大) |
SSD-ResNet34 |
可可 (1200x1200) |
64 |
FP32 的 99% |
66毫秒 |
想象 |
物体检测(小) |
SSD-MobileNetsv1 |
可可 (300x300) |
256 |
FP32 的 99% |
50毫秒 |
想象 |
医学图像分割 |
3D UNET |
BraTS 2019(224x224x160) |
16 |
FP32 的 99% 和 99.9% |
不适用 |
演讲 |
语音转文本 |
RNNT |
Librispeech dev-clean |
2513 |
FP32 的 99% |
不适用 |
语言 |
语言处理 |
BERT |
SQuAD v1.1 |
10833 |
FP32 的 99% |
不适用 |
下表列出了 Edge 基准测试场景。
| 区域 | 任务 | 场景 |
|---|---|---|
想象 |
图像分类 |
单流、离线、多流 |
想象 |
物体检测(大) |
单流、离线、多流 |
想象 |
物体检测(小) |
单流、离线、多流 |
想象 |
医学图像分割 |
单流、离线 |
演讲 |
语音转文本 |
单流、离线 |
语言 |
语言处理 |
单流、离线 |
我们使用本次验证中开发的网络存储架构执行了这些基准测试,并将结果与之前提交给 MLPerf 的边缘服务器上的本地运行结果进行了比较。比较是为了确定共享存储对推理性能有多大的影响。