テスト結果
提案されたアーキテクチャのパフォーマンスを評価するために、多数のテストが実行されました。
6 つの異なるワークロード (画像分類、オブジェクト検出 [小]、オブジェクト検出 [大]、医療用画像処理、音声テキスト変換、自然言語処理 [NLP]) があり、オフライン、単一ストリーム、マルチストリームの 3 つの異なるシナリオで実行できます。
|
|
最後のシナリオは、画像分類とオブジェクト検出のみに実装されています。 |
これにより、15 のワークロードが考えられます。これらはすべて、3 つの異なる設定でテストされました。
-
単一サーバー/ローカルストレージ
-
単一サーバー/ネットワークストレージ
-
マルチサーバー/ネットワークストレージ
結果については次のセクションで説明します。
AFFのオフラインシナリオにおけるAI推論
このシナリオでは、すべてのデータがサーバーで利用可能であり、すべてのサンプルを処理するのにかかる時間が測定されました。テストの結果として、帯域幅を 1 秒あたりのサンプル数で報告します。複数のコンピューティング サーバーが使用された場合、すべてのサーバーの合計帯域幅が報告されます。 3 つのユースケースすべての結果を下の図に示します。 2 台のサーバーの場合、両方のサーバーの合計帯域幅を報告します。

結果は、ネットワーク ストレージがパフォーマンスに悪影響を与えないことを示しています。変化は最小限であり、一部のタスクではまったく影響が見られません。 2 台目のサーバーを追加すると、合計帯域幅はちょうど 2 倍になるか、最悪の場合でも変化は 1% 未満になります。
AFFの単一ストリーム シナリオにおける AI 推論
このベンチマークはレイテンシを測定します。複数の計算サーバーの場合、平均レイテンシを報告します。一連のタスクの結果は以下の図に示されています。 2 台のサーバーの場合、両方のサーバーからの平均待ち時間を報告します。

結果は、ネットワーク ストレージがタスクを処理するのに十分であることを示しています。 1 台のサーバーの場合、ローカル ストレージとネットワーク ストレージの違いは最小限か、まったくありません。同様に、2 台のサーバーが同じストレージを使用する場合、両方のサーバーのレイテンシは同じままか、わずかに変化します。
AFFのマルチストリーム シナリオにおける AI 推論
この場合、結果は、QoS 制約を満たしながらシステムが処理できるストリームの数になります。したがって、結果は常に整数になります。複数のサーバーがある場合、すべてのサーバー上のストリームの合計数を報告します。すべてのワークロードがこのシナリオをサポートしているわけではありませんが、サポートしているワークロードは実行済みです。テストの結果は下の図にまとめられています。 2 台のサーバーの場合、両方のサーバーからのストリームの合計数を報告します。

結果はセットアップの完璧なパフォーマンスを示しています。ローカル ストレージとネットワーク ストレージは同じ結果をもたらし、2 番目のサーバーを追加すると、提案されたセットアップで処理できるストリームの数が 2 倍になります。
EFのテスト結果
提案されたアーキテクチャのパフォーマンスを評価するために、多数のテストが実行されました。 6 つの異なるワークロード (画像分類、オブジェクト検出 [小]、オブジェクト検出 [大]、医療用画像処理、音声テキスト変換、自然言語処理 [NLP]) があり、オフラインと単一ストリームの 2 つの異なるシナリオで実行されました。結果については次のセクションで説明します。
EFのオフラインシナリオにおけるAI推論
このシナリオでは、すべてのデータがサーバーで利用可能であり、すべてのサンプルを処理するのにかかる時間が測定されました。テストの結果として、帯域幅を 1 秒あたりのサンプル数で報告します。単一ノード実行の場合は両方のサーバーからの平均を報告しますが、2 サーバー実行の場合はすべてのサーバーの合計帯域幅を報告します。ユースケースの結果は以下の図に示されています。

結果は、ネットワーク ストレージがパフォーマンスに悪影響を与えないことを示しています。変化は最小限であり、一部のタスクではまったく影響が見られません。 2 台目のサーバーを追加すると、合計帯域幅はちょうど 2 倍になるか、最悪の場合でも変化は 1% 未満になります。
EF の単一ストリーム シナリオにおける AI 推論
このベンチマークはレイテンシを測定します。すべてのケースにおいて、実行に関係するすべてのサーバーの平均レイテンシを報告します。一連のタスクの結果が示されます。

結果は、ネットワーク ストレージがタスクを処理するのに十分であることを再度示しています。 1 台のサーバーの場合、ローカル ストレージとネットワーク ストレージの違いは最小限か、まったくありません。同様に、2 台のサーバーが同じストレージを使用する場合、両方のサーバーのレイテンシは同じままか、わずかに変化します。