NetApp幫助組織應對快速資料和雲端成長、多雲管理以及採用 AI 等下一代技術所帶來的複雜性。NetApp將各種功能整合到智慧資料管理軟體和儲存基礎架構中，並與針對 AI 工作負載最佳化的高效能實現了良好的平衡。像 LLM 這樣的生成式 AI 解決方案需要多次讀取和處理從儲存到記憶體的來源資料集以促進智慧。

NetApp一直是邊緣到核心到雲端生態系統中資料移動性、資料治理和資料安全技術的領導者，幫助企業客戶建立大規模 AI 解決方案。NetApp憑藉著強大的合作夥伴網絡，一直致力於幫助首席資料長、AI 工程師、企業架構師和資料科學家設計自由流動的資料管道，以完成 AI 模型訓練和推理的資料準備、資料保護和策略資料管理職責，從而優化 AI/ML 生命週期的效能和可擴展性。NetApp資料技術和功能（例如用於深度學習資料管道的NetApp ONTAP AI、用於在儲存端點之間無縫高效地傳輸資料的NetApp SnapMirror以及用於在資料流從批次轉變為即時且資料工程即時發生時進行即時渲染的NetApp FlexCache）為即時生成 AI 模型的部署帶來了價值。隨著各類企業採用新的人工智慧工具，他們面臨從邊緣到資料中心再到雲端的資料挑戰，需要可擴展、負責任且可解釋的人工智慧解決方案。

作為混合和多雲領域的資料權威， NetApp致力於建立合作夥伴和聯合解決方案網絡，以幫助建立資料管道和資料湖的各個方面，以進行生成式 AI 模型訓練（預訓練）、微調、基於上下文的推理和 LLM 的模型衰減監控。

各行各業的企業都發現人工智慧有越來越多的潛力，可以從現有數據中提取並產生新的價值形式，用於業務運營、銷售、行銷和法律服務。根據 IDC（國際數據公司）關於全球生成式人工智慧用例和投資的市場情報，軟體開發和產品設計中的知識管理受到的影響最大，其次是行銷的故事情節創作和開發人員的程式碼生成。在醫療保健領域，臨床研究組織正在開闢醫學新領域。 ProteinBERT 等預訓練模型結合了基因本體 (GO) 註釋，可以快速設計藥物的蛋白質結構，這代表了藥物發現、生物資訊學和分子生物學領域的一個重要里程碑。生物技術公司已啟動生成性人工智慧藥物的人體試驗，旨在治療肺纖維化（IPF）等疾病，這是一種導致肺組織不可逆瘢痕形成的肺部疾病。

圖 1：驅動生成式人工智慧的用例

生成式人工智慧推動的自動化應用的增加也正在改變許多職業的工作活動的供需。根據麥肯錫的數據，美國勞動市場（下圖）經歷了快速轉型，考慮到人工智慧的影響，這種轉型可能還會持續下去。

資料來源：麥肯錫公司

LLM 主要依賴深度學習、GPU 和運算。然而，當GPU緩衝區填滿時，資料需要快速寫入記憶體。雖然一些 AI 模型足夠小，可以在記憶體中執行，但 LLM 需要高 IOPS 和高吞吐量儲存才能快速存取大型資料集，特別是當它涉及數十億個令牌或數百萬個影像時。對於 LLM 的典型 GPU 記憶體需求，訓練具有 10 億個參數的模型所需的記憶體可能高達 80GB @32 位元全精度。在這種情況下，Meta 的 LLaMA 2（一系列 LLM，規模從 70 億到 700 億個參數）可能需要 70x80、約 5600GB 或 5.6TB 的 GPU RAM。此外，您需要的記憶體量與您想要產生的最大令牌數量成正比。例如，如果你想產生最多 512 個 token（約 380 個單字）的輸出，你需要"512MB"。這看起來似乎無關緊要——但是，如果您想運行更大的批次，它就會開始累積。因此，對於組織來說，在記憶體中訓練或微調 LLM 的成本非常高，從而使儲存成為生成 AI 的基石。

對於大多數企業而言，根據目前的趨勢，部署 LLM 的方法可以概括為 3 種基本情境。正如最近"《哈佛商業評論》"文章：（1）從頭開始訓練（預訓練）法學碩士——成本高昂，並且需要專業的 AI/ML 技能；（2）使用企業資料微調基礎模型——複雜但可行；（3）使用檢索增強生成 (RAG) 查詢包含公司資料的文件儲存庫、API 和向量資料庫。在實施過程中，每種方法都需要在工作量、迭代速度、成本效率和模型準確性之間進行權衡，以解決不同類型的問題（下圖）。

圖 3：問題類型

基礎模型 (FM) 也稱為基礎模型，是一種大型 AI 模型 (LLM)，使用大規模自我監督對大量未標記資料進行訓練，通常適用於廣泛的下游 NLP 任務。由於訓練資料沒有經過人工標記，因此模型是自然產生的，而不是明確編碼的。這意味著該模型無需明確編程即可產生自己的故事或敘述。因此FM的一個重要特徵是同質化，即在許多領域使用相同的方法。然而，透過個人化和微調技術，如今出現的產品中整合的 FM 不僅擅長生成文字、文字轉圖像和文字轉程式碼，而且還擅長解釋特定領域的任務或偵錯程式碼。例如，OpenAI 的 Codex 或 Meta 的 Code Llama 等 FM 可以根據程式設計任務的自然語言描述產生多種程式語言的程式碼。這些模型精通十幾種程式語言，包括 Python、C#、JavaScript、Perl、Ruby 和 SQL。它們理解使用者的意圖並產生完成所需任務的特定程式碼，這對於軟體開發、程式碼最佳化和程式設計任務的自動化很有用。

在資料準備和資料預處理之後進行 LLM 部署的常見做法之一是選擇已經在大型多樣化資料集上訓練過的預訓練模型。在微調的背景下，這可以是開源的大型語言模型，例如："Meta 的駱駝 2"使用 700 億個參數和 2 兆個代幣進行訓練。一旦選擇了預訓練模型，下一步就是根據特定領域的資料微調。這涉及調整模型的參數並根據新數據對其進行訓練以適應特定的領域和任務。例如，BloombergGPT 是一門專有的法學碩士課程，接受過廣泛金融數據的培訓，服務於金融業。

針對特定任務設計和訓練的領域特定模型通常在其範圍內具有更高的準確性和性能，但在其他任務或領域之間的可轉移性較低。當業務環境和資料在一段時間內發生變化時，與測試期間的表現相比，FM 的預測準確性可能會開始下降。這時，重新訓練或微調模型就變得至關重要。

傳統 AI/ML 中的模型再訓練是指使用新資料更新已部署的 ML 模型，通常是為了消除發生的兩種類型的漂移。（1）概念漂移－當輸入變數和目標變數之間的聯繫隨時間而改變時，由於我們想要預測的描述發生了變化，模型可能會產生不準確的預測。(2) 資料漂移－當輸入資料的特徵發生變化時發生，例如客戶習慣或行為隨時間變化，因此模型無法對此類變化做出反應。

類似地，再培訓也適用於 FM/LLM，但成本可能要高得多（數百萬美元），因此大多數組織可能不會考慮。它正處於積極的研究中，在 LLMOps 領域中仍然處於新興階段。因此，當微調 FM 中出現模型衰減時，企業可以選擇使用較新的資料集再次進行微調（便宜得多），而不是重新訓練。從成本角度來看，以下列出了 Azure-OpenAI 服務的模型價格表示例。對於每個任務類別，客戶可以在特定資料集上微調和評估模型。

來源：Microsoft Azure

即時工程是指如何與 LLM 通訊以執行所需任務而無需更新模型權重的有效方法。人工智慧模型訓練和微調對於 NLP 應用非常重要，推理也同樣重要，訓練後的模型可以回應使用者的提示。推理的系統需求通常更多地取決於 AI 儲存系統的讀取性能，該系統將資料從 LLM 輸送到 GPU，因為它需要能夠應用數十億個儲存的模型參數來產生最佳響應。

與傳統的機器學習操作 (MLOps) 一樣，大型語言模型操作 (LLMOps) 也需要資料科學家和 DevOps 工程師的協作，並使用生產環境中 LLM 管理的工具和最佳實踐。然而，法學碩士的工作流程和技術堆疊在某些方面可能會有所不同。例如，使用 LangChain 等框架建立的 LLM 管道將多個 LLM API 呼叫串聯到外部嵌入端點（例如向量儲存或向量資料庫）。嵌入端點和向量儲存作為下游連接器（如向量資料庫）的使用代表了資料儲存和存取方式的重大發展。與從頭開始開發的傳統 ML 模型相比，LLM 通常依賴遷移學習，因為這些模型從 FM 開始，並使用新資料進行微調以提高在更特定領域的效能。因此，LLMOps 提供風險管理和模型衰減監測功能至關重要。

「ChatGPT——雖然很巧妙，但仍然會輸出一些無意義的信息。」——《麻省理工科技評論》。垃圾進，垃圾出，一直是計算領域的難題。生成式人工智慧的唯一區別在於，它擅長使垃圾高度可信，從而導致不準確的結果。法學碩士 (LLM) 傾向於捏造事實來適應其所建構的敘述。因此，那些將生成式人工智慧視為利用人工智慧降低成本的絕佳機會的公司需要有效地檢測深度偽造、減少偏見並降低風險，以保持系統的誠實和道德。在負責任且可解釋的生成式人工智慧模型的設計中，擁有強大人工智慧基礎設施的自由流動資料管道至關重要，該管道透過端到端加密和人工智慧護欄支援資料移動性、資料品質、資料治理和資料保護。

採用NVIDIA DGX BasePOD 的NetApp ONTAP AI 參考架構是一種適用於機器學習 (ML) 和人工智慧 (AI) 工作負載的可擴展架構。對於 LLM 的關鍵訓練階段，資料通常會定期從資料儲存複製到訓練叢集。此階段使用的伺服器使用 GPU 來並行運算，產生龐大的資料需求。滿足原始 I/O 頻寬需求對於維持高 GPU 利用率至關重要。

NVIDIA AI Enterprise 是一款端到端、雲端原生的 AI 和資料分析軟體套件，經過NVIDIA優化、認證和支持，可在具有NVIDIA認證系統的 VMware vSphere 上運行。該軟體有助於在現代混合雲環境中簡單、快速地部署、管理和擴展 AI 工作負載。由NetApp和 VMware 提供支援的NVIDIA AI Enterprise 以簡化、熟悉的軟體包提供企業級 AI 工作負載和資料管理。

[[1p-cloud-platforms]] === 1P雲端平台

完全託管的雲端儲存產品在 Microsoft Azure 上以Azure NetApp Files (ANF) 的形式原生提供，在 AWS 上以Amazon FSx for NetApp ONTAP (FSx ONTAP) 的形式提供，在 Google 上以Google Cloud NetApp Volumes (GNCV ) 的形式提供。 1P 是一種託管的高效能檔案系統，可讓客戶在公有雲中運行高可用性 AI 工作負載並提高資料安全性，以便使用 AWS SageMaker、Azure-OpenAI Services 和 Google 的 Vertex AI 等雲端原生 ML 平台對 LLM/FM 進行微調。