简体中文版经机器翻译而成,仅供参考。如与英语版出现任何冲突,应以英语版为准。

测试结果

提供者

AFF 的测试结果

我们会运行大量测试来评估建议的架构的性能。有六种不同的工作负载(图像分类,对象检测(小),对象检测(大),医学影像,语音到文本, 和自然语言处理( NLP ),您可以在三种不同的情形下运行:脱机,单流和多流。

注 最后一种情形仅适用于映像分类和对象检测。

这样可以提供 15 个可能的工作负载,这些工作负载都在三种不同的设置下进行了测试:

  • 单个服务器 / 本地存储

  • 单个服务器 / 网络存储

  • 多服务器 / 网络存储

以下各节将介绍这些结果。

AFF 脱机情形中的 AI 推理

在这种情况下,服务器可以使用所有数据,并测量了处理所有样本所需的时间。我们会将带宽报告为每秒样本数作为测试结果。如果使用了多个计算服务器,则会报告所有服务器的总带宽总和。下图显示了所有这三种使用情形的结果。对于双服务器情形,我们会报告两个服务器的总带宽。

错误:缺少图形映像

结果显示,网络存储不会对性能产生负面影响,更改极少,对于某些任务,未找到任何结果。添加第二台服务器时,总带宽恰好是两倍,或者最差情况下,更改率小于 1% 。

在 AFF 的单个流方案中进行 AI 推理

此基准测试可测量延迟。对于多个计算服务器案例,我们会报告平均延迟。下图显示了这组任务的结果。对于双服务器案例,我们会报告两个服务器的平均延迟。

错误:缺少图形映像

结果再次表明,网络存储足以处理这些任务。在一台服务器的情况下,本地存储与网络存储之间的差别很小或没有差别。同样,当两个服务器使用相同的存储时,两个服务器上的延迟保持不变或变化量非常小。

在 AFF 的多流方案中进行 AI 推理

在这种情况下,结果是系统在满足 QoS 限制的情况下可以处理的流数量。因此,结果始终为整数。对于多个服务器,我们会报告所有服务器上的流总数。并非所有工作负载都支持此方案,但我们已执行了这些工作负载。下图总结了我们的测试结果。对于双服务器案例,我们会报告两个服务器的流总数。

错误:缺少图形映像

结果显示了设置的完美性能—本地存储和网络存储的结果相同,添加第二个服务器会使建议设置可以处理的流数量增加一倍。

EF 的测试结果

我们会运行大量测试来评估建议的架构的性能。有六种不同的工作负载(图像分类,对象检测(小),对象检测(大),医学影像,语音到文本, 和自然语言处理( NLP )),这两种情况下运行:脱机和单流。以下各节将介绍这些结果。

EF 脱机情形中的 AI 推理

在这种情况下,服务器可以使用所有数据,并测量了处理所有样本所需的时间。我们会将带宽报告为每秒样本数作为测试结果。对于单节点运行,我们会报告两个服务器的平均值,而对于两个服务器运行,我们会报告所有服务器的总带宽总和。下图显示了使用情形的结果。

错误:缺少图形映像

结果显示,网络存储不会对性能产生负面影响,更改极少,对于某些任务,未找到任何结果。添加第二台服务器时,总带宽恰好是两倍,或者最差情况下,更改率小于 1% 。

在一个流场景中对 EF 进行 AI 推理

此基准测试可测量延迟。对于所有情况,我们都会报告运行中涉及的所有服务器的平均延迟。系统将提供此任务套件的结果。

错误:缺少图形映像

结果再次显示,网络存储足以处理这些任务。在一台服务器的情况下,本地存储与网络存储之间的差别很小或没有差别。同样,当两个服务器使用相同的存储时,两个服务器上的延迟保持不变或变化量非常小。