Skip to main content
NetApp Solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Testplan

Beitragende
PDFs

Dieses Dokument folgt MLPerf Inferenz v0.7 "Codieren", MLPerf Inferenz v1.1 "Codieren", und "Regeln". Wir führten MLPerf-Benchmarks aus, die für die Inferenz am Rand entwickelt wurden, wie in der folgenden Tabelle definiert.

Werden Aufgabe Modell Datensatz QSL-Größe Qualität Einschränkung der Latenz bei mehreren Streams

Vision

Bildklassifizierung

Resnet50v1.5

ImageNet (24 x 224)

1024

99 % des FP32

50 ms

Vision

Objekterkennung (groß)

SSD - Wiedereinsetzen Net34

COCO (1200 x 1200)

64

99 % des FP32

66 ms

Vision

Objekterkennung (klein)

SSD- MobileNetsv1

COCO (300 x 300)

256

99 % des FP32

50 ms

Vision

Segmentierung von medizinischem Bildmaterial

3D-UNET

Briats 2019 (22x24 x 2160)

16

99 % und 99.9 % des FP32

k. A.

Sprache

Sprache-zu-Text

RNNT

Librispeech dev-clean

2513

99 % des FP32

k. A.

Sprache

Sprachverarbeitung

BERT

Kader v1.1

10833

99 % des FP32

k. A.

In der folgenden Tabelle sind Edge Benchmark-Szenarien aufgeführt.

Werden Aufgabe Szenarien

Vision

Bildklassifizierung

Single Stream, offline, Multistream

Vision

Objekterkennung (groß)

Single Stream, offline, Multistream

Vision

Objekterkennung (klein)

Single Stream, offline, Multistream

Vision

Segmentierung von medizinischem Bildmaterial

Single Stream offline

Sprache

Sprache-zu-Text

Single Stream offline

Sprache

Sprachverarbeitung

Single Stream offline

Diese Benchmarks wurden mithilfe der im Rahmen dieser Validierung entwickelten Netzwerk-Storage-Architektur durchgeführt und mit denen von lokalen Ausführung auf den Edge-Servern verglichen, die zuvor MLPerf vorgelegt wurden. Der Vergleich soll ermitteln, welche Auswirkungen der Shared Storage auf die Inferenz-Performance hat.