測試結果
我們進行了大量的測試來評估所提出的架構的效能。
有六種不同的工作負載(影像分類、物件偵測[小]、物件偵測[大]、醫學影像、語音轉文字和自然語言處理[NLP]),您可以在三種不同的場景中運行:離線、單流和多流。
|
|
最後一種場景僅用於影像分類和物件檢測。 |
這給出了 15 種可能的工作負載,它們都在三種不同的設定下進行了測試:
-
單一伺服器/本地存儲
-
單一伺服器/網路存儲
-
多伺服器/網路存儲
結果在以下章節中描述。
AFF離線場景下的AI推理
在這種情況下,所有資料都可供伺服器使用,並且測量處理所有樣本所需的時間。我們將每秒樣本的頻寬作為測試結果來報告。當使用多台計算伺服器時,我們會報告所有伺服器的總頻寬。下圖顯示了所有三個用例的結果。對於雙伺服器的情況,我們報告兩台伺服器的組合頻寬。

結果表明,網路儲存不會對效能產生負面影響——變化很小,對於某些任務來說,沒有發現任何變化。當添加第二台伺服器時,總頻寬要么正好翻倍,要么在最壞的情況下,變化小於 1%。
AFF單流場景下的 AI 推理
該基準測量延遲。對於多計算伺服器的情況,我們報告平均延遲。下圖給出了這組任務的結果。對於雙伺服器的情況,我們報告兩台伺服器的平均延遲。

結果再次表明,網路儲存足以處理這些任務。在一台伺服器的情況下,本地儲存和網路儲存之間的差異很小或沒有。類似地,當兩台伺服器使用相同的儲存空間時,兩台伺服器上的延遲保持不變或變化很小。
AFF多流場景下的 AI 推理
在這種情況下,結果是系統在滿足 QoS 限制的同時可以處理的流的數量。因此,結果始終是整數。對於多台伺服器,我們報告所有伺服器上的流量總數。並非所有工作負載都支援此場景,但我們執行了支援此場景的工作負載。下圖總結了我們的測試結果。對於雙伺服器的情況,我們報告來自兩個伺服器的流的總數。

結果顯示該設定的效能完美——本地和網路儲存給出相同的結果,並且添加第二台伺服器使建議的設定可以處理的串流數量增加一倍。
EF 測試結果
我們進行了大量的測試來評估所提出的架構的效能。有六種不同的工作負載(影像分類、物件偵測[小]、物件偵測[大]、醫學影像、語音轉文字和自然語言處理[NLP]),它們在兩種不同的場景中運作:離線和單流。結果在以下章節中描述。
EF 離線場景下的 AI 推理
在這種情況下,所有資料都可供伺服器使用,並且測量處理所有樣本所需的時間。我們將每秒樣本的頻寬作為測試結果來報告。對於單一節點運行,我們報告兩台伺服器的平均值,而對於雙伺服器運行,我們報告所有伺服器的總頻寬總和。用例的結果如下圖所示。

結果表明,網路儲存不會對效能產生負面影響——變化很小,對於某些任務來說,沒有發現任何變化。當添加第二台伺服器時,總頻寬要么正好翻倍,要么在最壞的情況下,變化小於 1%。
EF 單流場景下的 AI 推理
該基準測量延遲。對於所有情況,我們報告運行中涉及的所有伺服器的平均延遲。給出了這一系列任務的結果。

結果再次顯示網路儲存足以處理這些任務。在一台伺服器的情況下,本地儲存和網路儲存之間的差異很小或沒有。類似地,當兩台伺服器使用相同的儲存空間時,兩台伺服器上的延遲保持不變或變化很小。