NetApp帮助组织应对快速数据和云增长、多云管理以及采用 AI 等下一代技术所带来的复杂性。NetApp将各种功能整合到智能数据管理软件和存储基础架构中，并与针对 AI 工作负载优化的高性能实现了良好的平衡。像 LLM 这样的生成式 AI 解决方案需要多次读取和处理从存储到内存的源数据集以促进智能。

NetApp一直是边缘到核心到云生态系统中数据移动性、数据治理和数据安全技术的领导者，帮助企业客户构建大规模 AI 解决方案。NetApp凭借强大的合作伙伴网络，一直致力于帮助首席数据官、AI 工程师、企业架构师和数据科学家设计自由流动的数据管道，以完成 AI 模型训练和推理的数据准备、数据保护和战略数据管理职责，从而优化 AI/ML 生命周期的性能和可扩展性。NetApp数据技术和功能（例如用于深度学习数据管道的NetApp ONTAP AI、用于在存储端点之间无缝高效地传输数据的NetApp SnapMirror以及用于在数据流从批量转变为实时且数据工程即时发生时进行实时渲染的NetApp FlexCache）为实时生成 AI 模型的部署带来了价值。随着各类企业采用新的人工智能工具，他们面临着从边缘到数据中心再到云端的数据挑战，需要可扩展、负责任和可解释的人工智能解决方案。

作为混合和多云领域的数据权威， NetApp致力于构建合作伙伴和联合解决方案网络，以帮助构建数据管道和数据湖的各个方面，以进行生成式 AI 模型训练（预训练）、微调、基于上下文的推理和 LLM 的模型衰减监控。

各行各业的企业都发现人工智能有越来越多的潜力，可以从现有数据中提取并产生新的价值形式，用于业务运营、销售、营销和法律服务。根据 IDC（国际数据公司）关于全球生成式人工智能用例和投资的市场情报，软件开发和产品设计中的知识管理受到的影响最大，其次是营销的故事情节创作和开发人员的代码生成。在医疗保健领域，临床研究组织正在开辟医学新领域。 ProteinBERT 等预训练模型结合了基因本体 (GO) 注释，可以快速设计药物的蛋白质结构，这代表了药物发现、生物信息学和分子生物学领域的一个重要里程碑。生物技术公司已启动生成性人工智能药物的人体试验，旨在治疗肺纤维化（IPF）等疾病，这是一种导致肺组织不可逆瘢痕形成的肺部疾病。

图 1：驱动生成式人工智能的用例

生成式人工智能推动的自动化应用的增加也正在改变许多职业的工作活动的供需。根据麦肯锡的数据，美国劳动力市场（下图）经历了快速转型，考虑到人工智能的影响，这种转型可能还会持续下去。

资料来源：麦肯锡公司

LLM 主要依赖于深度学习、GPU 和计算。然而，当GPU缓冲区填满时，数据需要快速写入存储器。虽然一些 AI 模型足够小，可以在内存中执行，但 LLM 需要高 IOPS 和高吞吐量存储才能快速访问大型数据集，特别是当它涉及数十亿个令牌或数百万个图像时。对于 LLM 的典型 GPU 内存要求，训练具有 10 亿个参数的模型所需的内存可能高达 80GB @32 位全精度。在这种情况下，Meta 的 LLaMA 2（一系列 LLM，规模从 70 亿到 700 亿个参数）可能需要 70x80、约 5600GB 或 5.6TB 的 GPU RAM。此外，您需要的内存量与您想要生成的最大令牌数量成正比。例如，如果你想生成最多 512 个 token（约 380 个单词）的输出，你需要"512 MB"。这看起来似乎无关紧要——但是，如果您想运行更大的批次，它就会开始累积。因此，对于组织来说，在内存中训练或微调 LLM 的成本非常高，从而使存储成为生成 AI 的基石。

对于大多数企业而言，根据目前的趋势，部署 LLM 的方法可以概括为 3 种基本场景。正如最近"《哈佛商业评论》"文章：（1）从头开始训练（预训练）法学硕士——成本高昂，并且需要专业的 AI/ML 技能；（2）使用企业数据微调基础模型——复杂但可行；（3）使用检索增强生成 (RAG) 查询包含公司数据的文档存储库、API 和矢量数据库。在实施过程中，每种方法都需要在工作量、迭代速度、成本效率和模型准确性之间进行权衡，用于解决不同类型的问题（下图）。

图 3：问题类型

基础模型 (FM) 也称为基础模型，是一种大型 AI 模型 (LLM)，使用大规模自我监督对大量未标记数据进行训练，通常适用于广泛的下游 NLP 任务。由于训练数据没有经过人工标记，因此模型是自然产生的，而不是明确编码的。这意味着该模型无需明确编程即可生成自己的故事或叙述。因此FM的一个重要特点就是同质化，即在许多领域使用相同的方法。然而，通过个性化和微调技术，如今出现的产品中集成的 FM 不仅擅长生成文本、文本转图像和文本转代码，而且还擅长解释特定领域的任务或调试代码。例如，OpenAI 的 Codex 或 Meta 的 Code Llama 等 FM 可以根据编程任务的自然语言描述生成多种编程语言的代码。这些模型精通十几种编程语言，包括 Python、C#、JavaScript、Perl、Ruby 和 SQL。它们理解用户的意图并生成完成所需任务的特定代码，这对于软件开发、代码优化和编程任务的自动化很有用。

在数据准备和数据预处理之后进行 LLM 部署的常见做法之一是选择已经在大型多样化数据集上训练过的预训练模型。在微调的背景下，这可以是开源的大型语言模型，例如："Meta 的骆驼 2"使用 700 亿个参数和 2 万亿个令牌进行训练。一旦选择了预训练模型，下一步就是根据特定领域的数据对其进行微调。这涉及调整模型的参数并根据新数据对其进行训练以适应特定的领域和任务。例如，BloombergGPT 是一门专有的法学硕士课程，接受过广泛金融数据的培训，服务于金融行业。

针对特定任务设计和训练的领域特定模型通常在其范围内具有更高的准确性和性能，但在其他任务或领域之间的可转移性较低。当业务环境和数据在一段时间内发生变化时，与测试期间的表现相比，FM 的预测准确性可能会开始下降。这时，重新训练或微调模型就变得至关重要。

传统 AI/ML 中的模型再训练是指使用新数据更新已部署的 ML 模型，通常是为了消除发生的两种类型的漂移。（1）概念漂移——当输入变量和目标变量之间的联系随时间而改变时，由于我们想要预测的描述发生了变化，模型可能会产生不准确的预测。(2) 数据漂移——当输入数据的特征发生变化时发生，例如客户习惯或行为随时间发生变化，因此模型无法对此类变化做出反应。

类似地，再培训也适用于 FM/LLM，但是成本可能要高得多（数百万美元），因此大多数组织可能不会考虑。它正处于积极的研究中，在 LLMOps 领域中仍然处于新兴阶段。因此，当微调 FM 中出现模型衰减时，企业可以选择使用较新的数据集再次进行微调（便宜得多），而不是重新训练。从成本角度来看，下面列出了 Azure-OpenAI 服务的模型价格表示例。对于每个任务类别，客户可以在特定数据集上微调和评估模型。

来源：Microsoft Azure

即时工程是指如何与 LLM 通信以执行所需任务而无需更新模型权重的有效方法。人工智能模型训练和微调对于 NLP 应用非常重要，推理也同样重要，训练后的模型可以响应用户的提示。推理的系统要求通常更多地取决于 AI 存储系统的读取性能，该系统将数据从 LLM 输送到 GPU，因为它需要能够应用数十亿个存储的模型参数来产生最佳响应。

与传统的机器学习操作 (MLOps) 一样，大型语言模型操作 (LLMOps) 也需要数据科学家和 DevOps 工程师的协作，并使用工具和最佳实践来管理生产环境中的 LLM。然而，法学硕士的工作流程和技术堆栈在某些方面可能会有所不同。例如，使用 LangChain 等框架构建的 LLM 管道将多个 LLM API 调用串联到外部嵌入端点（例如矢量存储或矢量数据库）。嵌入端点和矢量存储作为下游连接器（如矢量数据库）的使用代表了数据存储和访问方式的重大发展。与从头开始开发的传统 ML 模型相比，LLM 通常依赖于迁移学习，因为这些模型从 FM 开始，并使用新数据进行微调以提高在更特定领域的性能。因此，LLMOps 提供风险管理和模型衰减监测功能至关重要。

“ChatGPT——虽然很巧妙，但仍然会输出一些无意义的信息。”——《麻省理工科技评论》。垃圾进，垃圾出，一直是计算领域的难题。生成式人工智能的唯一区别在于，它擅长使垃圾变得高度可信，从而导致不准确的结果。法学硕士 (LLM) 倾向于捏造事实来适应其所构建的叙述。因此，那些将生成式人工智能视为利用人工智能降低成本的绝佳机会的公司需要有效地检测深度伪造、减少偏见并降低风险，以保持系统的诚实和道德。在负责任且可解释的生成式人工智能模型的设计中，拥有强大人工智能基础设施的自由流动数据管道至关重要，该管道通过端到端加密和人工智能护栏支持数据移动性、数据质量、数据治理和数据保护。

采用NVIDIA DGX BasePOD 的NetApp ONTAP AI 参考架构是一种适用于机器学习 (ML) 和人工智能 (AI) 工作负载的可扩展架构。对于 LLM 的关键训练阶段，数据通常会定期从数据存储复制到训练集群中。此阶段使用的服务器使用 GPU 来并行计算，从而产生巨大的数据需求。满足原始 I/O 带宽需求对于维持高 GPU 利用率至关重要。

NVIDIA AI Enterprise 是一款端到端、云原生的 AI 和数据分析软件套件，经过NVIDIA优化、认证和支持，可在具有NVIDIA认证系统的 VMware vSphere 上运行。该软件有助于在现代混合云环境中简单、快速地部署、管理和扩展 AI 工作负载。由NetApp和 VMware 提供支持的NVIDIA AI Enterprise 以简化、熟悉的软件包提供企业级 AI 工作负载和数据管理。

[[1p-cloud-platforms]] === 1P云平台

完全托管的云存储产品在 Microsoft Azure 上以Azure NetApp Files (ANF) 的形式原生提供，在 AWS 上以Amazon FSx for NetApp ONTAP (FSx ONTAP) 的形式提供，在 Google 上以Google Cloud NetApp Volumes (GNCV ) 的形式提供。 1P 是一种托管的高性能文件系统，使客户能够在公共云中运行高可用性 AI 工作负载并提高数据安全性，以便使用 AWS SageMaker、Azure-OpenAI Services 和 Google 的 Vertex AI 等云原生 ML 平台对 LLM/FM 进行微调。