測試結果
我們執行多項測試、以評估所建議架構的效能。
共有六種不同的工作負載(影像分類、物件偵測[小]、物件偵測[大]、醫療影像、語音對文字、 和自然語言處理[NLP])、您可以在三種不同的情況下執行:離線、單一串流和多重串流。
最後一個案例只能用於影像分類和物件偵測。 |
這可提供15種可能的工作負載、這些工作負載都是在三種不同的設定下進行測試:
-
單一伺服器/本機儲存設備
-
單一伺服器/網路儲存設備
-
多伺服器/網路儲存設備
以下各節將說明結果。
AI在離線情境中推斷AFF 以供參考
在此案例中、所有資料都可供伺服器使用、並測量處理所有樣本所需的時間。我們會將頻寬報告為每秒取樣數、做為測試結果。當使用多部運算伺服器時、我們會報告所有伺服器的總頻寬。下圖顯示所有三種使用案例的結果。在兩部伺服器的案例中、我們會報告兩部伺服器的總頻寬。
結果顯示、網路儲存設備不會對效能造成負面影響、因為這項變更很小、而且對於某些工作、找不到任何項目。新增第二部伺服器時、總頻寬可能會精確加倍、或是最糟的情況下、變更量會低於1%。
AI在單一串流情境中推斷AFF 以供參考
此基準測試可測量延遲。針對多個運算伺服器案例、我們會報告平均延遲。工作套件的結果如下圖所示。在兩部伺服器的案例中、我們會報告兩部伺服器的平均延遲。
結果再次顯示、網路儲存設備足以處理工作。在單一伺服器案例中、本機與網路儲存設備之間的差異最小或無。同樣地、當兩部伺服器使用相同的儲存設備時、兩部伺服器的延遲時間會維持不變、或是變更量會非常小。
AI在多重串流情境中推斷AFF 以供參考
在這種情況下、結果是系統可以處理的串流數量、同時滿足QoS限制。因此、結果永遠是整數。對於多部伺服器、我們會報告在所有伺服器上總計串流的總數。並非所有的工作負載都支援這種情況、但我們已經執行了這些工作負載。我們的測試結果摘要如下圖所示。在兩部伺服器的案例中、我們會報告來自兩部伺服器的串流總數。
結果顯示設定的完美效能:本機與網路儲存設備的結果相同、而新增第二台伺服器的資料流數量是建議設定所能處理的資料流數量的兩倍。
EF的測試結果
我們執行多項測試、以評估所建議架構的效能。共有六種不同的工作負載(影像分類、物件偵測[小]、物件偵測[大]、醫療影像、語音對文字、 和自然語言處理(NLP])、這是在兩種不同的情況下執行:離線和單一串流。以下各節將說明結果。
EF離線情境中的AI推斷
在此案例中、所有資料都可供伺服器使用、並測量處理所有樣本所需的時間。我們會將頻寬報告為每秒取樣數、做為測試結果。對於單一節點執行、我們會報告兩部伺服器的平均執行量、而對於兩部伺服器執行、則會報告所有伺服器的總頻寬總和。使用案例的結果如下圖所示。
結果顯示、網路儲存設備不會對效能造成負面影響、因為這項變更很小、而且對於某些工作、找不到任何項目。新增第二部伺服器時、總頻寬可能會精確加倍、或是最糟的情況下、變更量會低於1%。
EF單一串流案例中的AI推斷
此基準測試可測量延遲。在所有情況下、我們都會報告執行中所有伺服器的平均延遲時間。會提供工作套件的結果。
結果再次顯示、網路儲存設備足以處理工作。在單一伺服器的情況下、本機與網路儲存設備之間的差異最小或無。同樣地、當兩部伺服器使用相同的儲存設備時、兩部伺服器的延遲時間會維持不變、或是變更量會非常小。