Piano di prova
Suggerisci modifiche
PDF
Questo documento segue MLPerf Inference v0.7 "codice" , Inferenza MLPerf v1.1 "codice" , E "regole" . Abbiamo eseguito benchmark MLPerf progettati per l'inferenza al limite, come definito nella tabella seguente.
| Zona | Compito | Modello | Set di dati | Dimensione QSL | Qualità | Vincolo di latenza multistream |
|---|---|---|---|---|---|---|
Visione |
Classificazione delle immagini |
Resnet50v1.5 |
ImageNet (224x224) |
1024 |
99% di FP32 |
50 ms |
Visione |
Rilevamento di oggetti (grandi) |
SSD-ResNet34 |
COCCO (1200x1200) |
64 |
99% di FP32 |
66 ms |
Visione |
Rilevamento di oggetti (piccoli) |
SSD-MobileNetsv1 |
COCCO (300x300) |
256 |
99% di FP32 |
50 ms |
Visione |
Segmentazione delle immagini mediche |
3D UNET |
BraTS 2019 (224x224x160) |
16 |
99% e 99,9% di FP32 |
n / a |
Discorso |
Sintesi vocale |
RNNT |
Librispeech dev-clean |
2513 |
99% di FP32 |
n / a |
Lingua |
Elaborazione del linguaggio |
BERT |
SQuAD v1.1 |
10833 |
99% di FP32 |
n / a |
La tabella seguente presenta gli scenari di benchmark di Edge.
| Zona | Compito | Scenari |
|---|---|---|
Visione |
Classificazione delle immagini |
Singolo flusso, offline, multiflusso |
Visione |
Rilevamento di oggetti (grandi) |
Singolo flusso, offline, multiflusso |
Visione |
Rilevamento di oggetti (piccoli) |
Singolo flusso, offline, multiflusso |
Visione |
Segmentazione delle immagini mediche |
Singolo flusso, offline |
Discorso |
Sintesi vocale-testo |
Singolo flusso, offline |
Lingua |
Elaborazione del linguaggio |
Singolo flusso, offline |
Abbiamo eseguito questi benchmark utilizzando l'architettura di archiviazione in rete sviluppata in questa convalida e abbiamo confrontato i risultati con quelli delle esecuzioni locali sui server edge precedentemente inviati a MLPerf. Il confronto serve a determinare l'impatto dell'archiviazione condivisa sulle prestazioni di inferenza.