In diesem Szenario standen dem Server alle Daten zur Verfügung und es wurde die Zeit gemessen, die für die Verarbeitung aller Proben benötigt wurde. Als Ergebnisse der Tests geben wir Bandbreiten in Samples pro Sekunde an. Wenn mehr als ein Rechenserver verwendet wurde, geben wir die Gesamtbandbreite aller Server an. Die Ergebnisse für alle drei Anwendungsfälle sind in der folgenden Abbildung dargestellt. Für den Fall mit zwei Servern melden wir die kombinierte Bandbreite beider Server.

Die Ergebnisse zeigen, dass sich der Netzwerkspeicher nicht negativ auf die Leistung auswirkt – die Änderung ist minimal und bei einigen Aufgaben wird keine Änderung festgestellt. Beim Hinzufügen des zweiten Servers verdoppelt sich die Gesamtbandbreite entweder genau oder die Änderung beträgt im schlimmsten Fall weniger als 1 %.

Dieser Benchmark misst die Latenz. Für den Fall mehrerer Rechenserver geben wir die durchschnittliche Latenz an. Die Ergebnisse für die Aufgabenreihe sind in der folgenden Abbildung dargestellt. Für den Fall mit zwei Servern geben wir die durchschnittliche Latenz beider Server an.

Die Ergebnisse zeigen erneut, dass der Netzwerkspeicher zur Bewältigung der Aufgaben ausreicht. Der Unterschied zwischen lokalem und Netzwerkspeicher ist im Fall eines Servers minimal oder nicht vorhanden. Wenn zwei Server denselben Speicher verwenden, bleibt die Latenz auf beiden Servern gleich oder ändert sich nur geringfügig.

In diesem Fall ist das Ergebnis die Anzahl der Streams, die das System verarbeiten kann, während die QoS-Einschränkung eingehalten wird. Das Ergebnis ist also immer eine Ganzzahl. Bei mehr als einem Server geben wir die Gesamtzahl der Streams aller Server an. Dieses Szenario wird nicht von allen Workloads unterstützt, wir haben jedoch die entsprechenden Workloads ausgeführt. Die Ergebnisse unserer Tests sind in der folgenden Abbildung zusammengefasst. Im Fall mit zwei Servern melden wir die kombinierte Anzahl der Streams von beiden Servern.

Die Ergebnisse zeigen eine perfekte Leistung des Setups – lokaler und Netzwerkspeicher liefern die gleichen Ergebnisse und durch Hinzufügen des zweiten Servers verdoppelt sich die Anzahl der Streams, die das vorgeschlagene Setup verarbeiten kann.

Um die Leistung der vorgeschlagenen Architektur zu bewerten, wurden zahlreiche Tests durchgeführt. Es gibt sechs verschiedene Workloads (Bildklassifizierung, Objekterkennung [klein], Objekterkennung [groß], medizinische Bildgebung, Sprache-zu-Text und natürliche Sprachverarbeitung [NLP]), die in zwei verschiedenen Szenarien ausgeführt wurden: offline und Einzelstream. Die Ergebnisse werden in den folgenden Abschnitten beschrieben.