以下列表列出了数据科学界在不同开发级别下采用的最受欢迎的开源NLP库：

SPARK NLP是一个统一的解决方案 、可满足所有NLP任务和要求、可为实际生产用例提供可扩展、高性能和高准确性的NLP驱动软件。它利用传输学习、在研究领域和跨行业实施最新的一流算法和模型。由于Spark不能全面支持上述库、因此、Spark NLP是基于构建的 "激发ML" 利用Spark的通用内存分布式数据处理引擎作为任务关键型生产工作流的企业级NLP库。其标注器利用基于规则的算法、机器学习和TensorFlow为深度学习实施提供支持。其中包括常见的NLP任务、包括但不限于令牌化、lemization、stemming、部分语音标记、命名实体识别、 拼写检查和情感分析。

Transformers (Bert)提供的双向编码器表示是一种基于转换器的机器学习技术、适用于NLP。它推广了预训练和微调的概念。Bert中的转换器架构源自机器翻译、与基于神经网络(RNN)的经常性语言模型相比、该模型更好地模拟长期依赖关系。它还引入了屏蔽语言建模(Masked Language Modeling、MLM)任务、其中随机屏蔽了所有令牌的15%、模型对其进行预测、从而实现了真正的双向性。

由于该领域的专业语言和缺少标记数据、财务情绪分析具有挑战性。 "完成"一种基于经过预先培训的Bert的语言模式、该语言模式已经过域调整 "Reuters TRC2"一种财务资料、并使用标记的数据( "金融租赁银行")进行财务状况分类。研究人员从新闻文章中提取了4、500句话、并使用了财务术语。然后、16名具有财务背景的专家和硕士学生将这些句子标记为肯定、中立和否定。我们构建了一个端到端Spark工作流、用于分析2016年至2020年排名前10位的纳斯达克公司收益电话记录的情绪、使用FinBeert和另外两个经过预先培训的管道( "金融新闻情感分析"， "说明文档DL")。

适用于Spark NLP的底层深度学习引擎是TensorFlow、它是一个端到端的开源机器学习平台、可轻松构建模型、随时随地进行强大的ML生产以及进行强大的研究试验。因此、在Spark `Yarn集群`模式下执行管道时、我们基本上是在集群上挂载的网络连接存储中运行分布式TensorFlow、并在一个主节点和多个辅助节点之间并行处理数据和模型。

使用TeraGen、TeraSort、TeraValidate和DFSIO (读写)执行与MapReduce相关的性能的核心Hadoop验证。TeraGen和TeraSort验证结果显示在中 "TR-3969：《适用于Hadoop的NetApp解决方案》" 对于E系列和AFF 的"存储分层"一节(xref)。

根据客户的要求、我们认为使用Spark进行分布式培训是各种使用情形中最重要的一个。在本文档中、我们使用了 "Hovorod on Spark" 使用NetApp全闪存FAS (AFF)存储控制器、Azure NetApp Files 和StorageGRID 验证NetApp内部部署、云原生和混合云解决方案的Spark性能。

Horovod on Spark软件包为Horovod提供了一个方便的包装、使在Spark集群中运行分布式训练工作负载变得简单、从而实现了一个紧密的模型设计环路、其中数据处理、模型训练和模型评估都在训练和推理数据所在的Spark中完成。

在Spark上运行Horovod有两种API：一种是高级估算器API、另一种是运行API。虽然这两种方法都使用相同的底层机制来启动Horovod on Spark执行程序、但Estimator API可对数据处理、模型训练循环、模型检查点、指标收集和分布式培训进行抽象化。我们使用Horovod Spark Estimators、TensorFlow和Keras基于进行端到端数据准备和分布式培训工作流 "Kagle Rossmann商店销售人员" 竞争。

可以在部分中找到脚本`keras_sock_horovod_rossmann_estimator.py` "适用于每个主要用例的Python脚本。" 它包含三个部分：

请参见一节 ""机器学习"" 查看各种运行时比较结果。

随着 ML 平台和应用程序的最新发展，我们现在非常关注大规模学习。点击率（ CTR ）是指每 100 次在线广告曝光的平均点击次数（以百分比表示）。它已广泛用作各种行业垂直市场和用例的关键指标，包括数字营销，零售，电子商务和服务提供商。请参见我们的 "TR-4904 ： Azure 中的分布式培训—点击率预测" 有关CTR应用程序以及使用Kubernetes实施的端到端Cloud AI工作流、分布式数据ETL以及使用dask和CUDA ML的模型培训的更多详细信息。

在本技术报告中、我们使用了的变体 "Trigeo Terabyte单击Logs dataset" (请参见TR-4904)、针对使用Keras的多员工分布式深度学习、使用深度和跨网(深度和跨网)模型构建Spark工作流、将其在日志丢失错误功能方面的性能与基线Spark ML物流回归模型进行比较。DCN可以 高效地捕获有界限的有效功能交互、学习高度非线性的交互、无需手动执行功能工程或全面搜索、并且计算成本较低。

网络级推荐系统的数据大多是离散的、分类的、导致功能空间庞大而稀疏、这对功能探索来说是一项挑战。这样、大多数大型系统就只能使用诸如物流回归等线性模型。但是、确定常见的预测功能并同时探索未知或罕见的交叉功能是做出良好预测的关键。线性模型简单、可解释且易于扩展、但其表达能力有限。

另一方面、交叉特征在提高模型的显示能力方面表现出了显著的意义。遗憾的是、它通常需要手动执行功能工程或全面搜索才能识别此类功能。通常很难将功能交互概括为不可见。使用像DCN这样 的交叉神经网络、可以通过自动明确应用功能交叉来避免特定于任务的功能工程。跨网络由多个层组成、其中最大程度的交互可通过层深度来确定。每个层都会根据现有层生成较高顺序的交互、并保留先前层的交互。

深度神经网络(DNN)有望捕获功能之间非常复杂的交互。但是、与DCN相比、它需要的参数数量几乎要多一个数量级、无法明确形成交叉功能、并且可能无法高效地了解某些类型的功能交互。跨网络可节省内存并易于实施。将交叉组件和DNN组件联合训练在一起、有效地捕获预测性功能交互、并在Criteo CTR数据集上提供一流的性能。

一个型号的DCN-首先是一个嵌入层和堆栈层、然后是一个跨网络和一个并行的深度网络。然后是最后一个组合层、该层将两个网络的输出相结合。您的输入数据可以是具有稀疏和密集功能的向量。在Spark中、这两者都是如此 "毫升" 和 "mllib" 库的类型为`SparseVector`。因此、用户必须区分这两者、并在调用各自的功能和方法时要小心谨慎。在CTR预测等网络级建议系统中、输入主要是分类功能、例如`‘国家/地区=美国'`。此类功能通常编码为单热向量、例如、‘、1、0、…'。使用`SparseVector`的单热编码(OHEE)在处理实际数据集时非常有用、因为这些数据集的词义不断变化且不断增长。我们在中修改了示例 "DeepCTR" 要处理大型卷标、请在我们的DCN"嵌入和堆栈"层中创建嵌入载体。

。 "Criteo显示广告数据集" 预测广告点击率。它具有13个整数功能和26个分类功能、其中每个类别的基数都很高。对于此数据集、由于输入大小较大、光泽度提高了0.001实际上是一项显著的改进。如果对大型用户群的预测准确性稍作提高、可能会导致公司收入大幅增加。该数据集包含7天内的11 GB用户日志、相当于大约4、100万条记录。我们使用Spark `dataFrame.Random拆 分()函数`随机拆分数据进行训练(80%)、交叉验证(10%)、其余10%用于测试。

在与Keras的TensorFlow上实施了DCN。在使用DCN-CN-CN-CN-CN-CN-CN-CN-A实施模型培训过程中、主要包含四个

除了使用了DCN之外、我们还测试了其他常见的深度学习模型来进行CTR预测、其中包括 "DeepFM"， "xDeepFM"， "自动内置"，和 "DCNv2"。

在此验证中、我们使用了四个辅助节点和一个具有AF-A800 HA对的主节点。所有集群成员均通过10GbE网络交换机进行连接。

在此NetApp Spark解决方案 验证中、我们使用了三种不同的存储控制器：E5760、E5724和AFF-A800。E系列存储控制器通过12 Gbps SAS连接连接到五个数据节点。AFF HA对存储控制器通过与Hadoop工作节点的10GbE连接提供导出的NFS卷。Hadoop集群成员通过E系列、AFF 和StorageGRID Hadoop解决方案中的10GbE连接进行连接。