日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

テスト結果

寄稿者

AFF のテスト結果

提案するアーキテクチャのパフォーマンスを評価するために、多数のテストを実施しました。6 種類のワークロードがあります(画像分類、オブジェクト検出 [ 小規模 ] 、オブジェクト検出 [ 大規模 ] 、医療画像処理、音声テキスト変換、 また、ナチュラル言語処理( NLP )もサポートされており、オフライン、シングルストリーム、マルチストリームの 3 つのシナリオで実行できます。

注記 最後のシナリオは、画像分類とオブジェクト検出の場合にのみ実装されます。

その結果、次の 3 種類のセットアップですべてテストされた 15 のワークロードが生成されます。

  • 単一のサーバ / ローカルストレージ

  • 単一のサーバ / ネットワークストレージ

  • マルチサーバ / ネットワークストレージ

結果については、以降のセクションで説明します。

AFF のオフラインシナリオにおける AI 推論

このシナリオでは、すべてのデータがサーバで使用可能であり、すべてのサンプルの処理にかかった時間が測定されました。テストの結果として、帯域幅が 1 秒あたりのサンプル数で報告されます。複数のコンピューティングサーバを使用した場合、すべてのサーバの合計帯域幅がレポートされます。3 つのユースケースすべての結果を次の図に示します。2 サーバの場合は、両方のサーバからの帯域幅の合計を報告します。

エラー:グラフィックイメージがありません

結果から、ネットワークストレージがパフォーマンスに悪影響を与えていないことがわかります。変更は最小限で、一部のタスクでは何も検出されません。2 台目のサーバを追加する場合、合計帯域幅は正確に 2 倍になるか、最悪の場合は 1 % 未満になります。

AFF 向けの単一ストリームのシナリオでの AI 推論

このベンチマークではレイテンシを測定します。複数のコンピューティングサーバの場合は、平均レイテンシが報告されます。一連のタスクの結果を次の図に示します。2 台のサーバの場合は、両方のサーバの平均レイテンシが報告されます。

エラー:グラフィックイメージがありません

結果からも、タスクを処理するのに十分なネットワークストレージがあることがわかります。1 つのサーバケースにおけるローカルストレージとネットワークストレージの違いは、最小またはなしです。同様に、 2 台のサーバが同じストレージを使用している場合、両方のサーバの遅延は同じままであるか、非常に小さい値で変化します。

AFF のマルチストリームシナリオにおける AI 推論

この場合、 QoS の制約を満たしながらシステムで処理可能なストリーム数が返されます。したがって、結果は常に整数になります。複数のサーバについて ' すべてのサーバの合計ストリーム数を報告しますすべてのワークロードがこのシナリオをサポートしているわけではありませんが、そのシナリオを実行してきました。テストの結果を次の図にまとめます。2 サーバの場合は、両方のサーバからのストリームの合計数を報告します。

エラー:グラフィックイメージがありません

この結果は、ローカルストレージとネットワーキングストレージでセットアップのパフォーマンスが完璧に向上し、 2 台目のサーバを追加すると、提案されたセットアップで処理できるストリーム数が 2 倍になります。

EF シリーズのテスト結果

提案するアーキテクチャのパフォーマンスを評価するために、多数のテストを実施しました。6 種類のワークロードがあります(画像分類、オブジェクト検出 [ 小規模 ] 、オブジェクト検出 [ 大規模 ] 、医療画像処理、音声テキスト変換、 とナチュラル言語処理( NLP )は、オフラインとシングルストリームの 2 つの異なるシナリオで実行されました。結果については、以降のセクションで説明します。

EF 向けのオフラインシナリオでの AI 推論

このシナリオでは、すべてのデータがサーバで使用可能であり、すべてのサンプルの処理にかかった時間が測定されました。テストの結果として、帯域幅が 1 秒あたりのサンプル数で報告されます。1 つのノードの実行については両方のサーバからの平均をレポートし、 2 つのサーバの実行については、すべてのサーバに合計された合計帯域幅をレポートします。ユースケースの結果を次の図に示します。

エラー:グラフィックイメージがありません

結果から、ネットワークストレージがパフォーマンスに悪影響を与えていないことがわかります。変更は最小限で、一部のタスクでは何も検出されません。2 台目のサーバを追加する場合、合計帯域幅は正確に 2 倍になるか、最悪の場合は 1 % 未満になります。

EF 向けの単一ストリームのシナリオでの AI 推論

このベンチマークではレイテンシを測定します。いずれの場合も、実行に関連するすべてのサーバの平均レイテンシを報告します。一連のタスクの結果が表示されます。

エラー:グラフィックイメージがありません

結果から、このタスクを処理するのに十分なネットワークストレージがあることが再びわかります。1 つのサーバケースにおけるローカルストレージとネットワークストレージの違いは、最小またはなしです。同様に、 2 台のサーバが同じストレージを使用している場合、両方のサーバの遅延は同じままであるか、非常に小さい値で変化します。