テスト計画
変更を提案
PDF
このドキュメントは、MLPerf Inference v0.7、MLPerf Inference v1.1 "コード"、およびの "ルール"あとに続きます "コード"。次の表に示すように、エッジでの推論向けに設計された MLPerf ベンチマークを実行しました。
| 面積 | タスク | モデル | データセット | QSLサイズ | 品質 | マルチストリーム遅延制約 |
|---|---|---|---|---|---|---|
ビジョン |
画像分類 |
Resnet50v1.5 |
ImageNet (224x224) |
1024 |
FP32 の 99% |
50ミリ秒 |
ビジョン |
物体検出（大） |
SSD リネット 34 |
Coco（1200x1200） |
64 |
FP32 の 99% |
66ミリ秒 |
ビジョン |
物体検出（小） |
ssd - MobileNetsv1 を参照してください |
Coco（300x300） |
256 |
FP32 の 99% |
50ミリ秒 |
ビジョン |
医療画像のセグメンテーション |
3D UNET |
2019 年 BRT （ 224x224x160 ） |
16 |
FP32 の 99% および 99.9% |
N/A |
スピーチ |
音声テキスト |
RNNT |
ライブラリキーテック開発 - クリーン |
2513 |
FP32 の 99% |
N/A |
言語 |
言語処理 |
BERT |
分隊 v1.1 |
10833 |
FP32 の 99% |
N/A |
次の表に、 Edge ベンチマークのシナリオを示します。
| 面積 | タスク | シナリオ |
|---|---|---|
ビジョン |
画像分類 |
シングルストリーム、オフライン、マルチストリーム |
ビジョン |
物体検出（大） |
シングルストリーム、オフライン、マルチストリーム |
ビジョン |
物体検出（小） |
シングルストリーム、オフライン、マルチストリーム |
ビジョン |
医療画像のセグメンテーション |
単一ストリーム、オフライン |
スピーチ |
音声テキスト |
単一ストリーム、オフライン |
言語 |
言語処理 |
単一ストリーム、オフライン |
この検証で開発されたネットワーク・ストレージ・アーキテクチャを使用してこれらのベンチマークを実行し、 MLPerf に送信されたエッジ・サーバ上のローカル実行の結果と比較しました。この比較は、共有ストレージが推論パフォーマンスに与える影響を判断するためのものです。