In diesem Szenario waren alle Daten dem Server zur Verfügung und die Zeit, die für die Verarbeitung aller Proben erforderlich war, wurde gemessen. Als Ergebnisse der Tests berichten wir Bandbreiten in Proben pro Sekunde. Wenn mehr als ein Server verwendet wurde, berichten wir über die gesamte Bandbreite, die über alle Server zusammengefasst wurde. Die Ergebnisse für alle drei Anwendungsfälle sind in der folgenden Abbildung dargestellt. Für den Fall mit zwei Servern wird die kombinierte Bandbreite von beiden Servern angegeben.

Die Ergebnisse zeigen, dass Netzwerkspeicher sich nicht negativ auf die Performance auswirken – die Änderung ist minimal und bei einigen Aufgaben wird keine gefunden. Beim Hinzufügen des zweiten Servers wird die Gesamtbandbreite entweder genau verdoppelt oder im schlimmsten Fall ist die Änderung weniger als 1 %.

Dieser Benchmark misst die Latenz. Für den Fall mehrerer Computing-Server wird die durchschnittliche Latenz angegeben. Die Ergebnisse für die Aufgabensuite finden Sie in der folgenden Abbildung. Bei zwei Servern wird die durchschnittliche Latenz von beiden Servern angegeben.

Die Ergebnisse zeigen auch hier, dass der Netzwerkspeicher ausreichend ist, um die Aufgaben zu bewältigen. Der Unterschied zwischen lokalem und Netzwerk-Speicher in einem Server-Fall ist minimal oder nicht. Gleiches gilt, wenn zwei Server denselben Storage nutzen – die Latenz auf beiden Servern bleibt bei sehr geringen Änderungen gleich.

In diesem Fall führt das System zu der Anzahl der Streams, die das System verarbeiten kann, und erfüllt gleichzeitig die QoS-Einschränkung. Das Ergebnis ist also immer eine ganze Zahl. Für mehrere Server wird die Gesamtanzahl der Streams, die über alle Server zusammengefasst wurden, angegeben. Nicht alle Workloads unterstützen dieses Szenario, aber wir haben sie auch ausgeführt. Die Ergebnisse unserer Tests sind in der folgenden Abbildung zusammengefasst. Im Fall von zwei Servern wird die kombinierte Anzahl von Streams beider Server angegeben.

Die Ergebnisse zeigen die perfekte Performance der Einrichtung: Lokaler Speicher und Netzwerk-Storage liefern die gleichen Ergebnisse, und mit dem zweiten Server verdoppelt sich die Anzahl der Streams, die durch das vorgeschlagene Setup bewältigt werden können.

Zur Bewertung der Performance der vorgeschlagenen Architektur wurden zahlreiche Tests durchgeführt. Es gibt sechs verschiedene Workloads (Bildklassifizierung, Objekterkennung [klein], Objekterkennung [groß], medizinische Bildgebung, Speech-to-Text, Und natürliche Sprachverarbeitung [NLP]), die in zwei verschiedenen Szenarien ausgeführt wurden: Offline und Single Stream. Die Ergebnisse werden in den folgenden Abschnitten beschrieben.