各行各業的企業都發現、 AI 從現有資料中擷取並產生新形式的價值、以用於商業營運、銷售、行銷和法律服務。根據 IDC （ International Data Corporation ）關於全球通用 AI 使用案例和投資的市場情報、軟體開發和產品設計的知識管理將受到最大的影響、其次是建立行銷腳本和開發人員程式碼。在醫療領域、臨床研究組織正在開創新的醫療領域。經過預先訓練的模式、例如 ProteinBERT 、將基因學（ GO ）標註納入醫療藥物的蛋白質結構快速設計、這是藥物探索、生物資訊學和分子生物學的重大里程碑。Biotech 公司已開始進行人工智慧型發現醫學的人類試驗、其目的是治療肺部纖維化（ IPF ）等疾病、這種肺部疾病會造成無法還原的肺部組織創傷。

圖 1 ：使用案例來推動泛用 AI

由泛用 AI 帶動的自動化採用率增加、也改變了許多職業的工作活動供應與需求。根據 McKinsey 的資料、美國勞動力市場（下圖）經歷了快速的轉型、只有在考量 AI 的影響時、才能持續轉型。

資料來源： McKinsey & Company

LMS 主要仰賴深度學習、 GPU 和運算。不過、 GPU 緩衝區填滿時、資料必須快速寫入儲存設備。雖然某些 AI 機型的規模足夠小、足以在記憶體中執行、但 LMS 需要高 IOPS 和高處理量儲存設備、才能快速存取大型資料集、尤其是當它涉及數十億個權杖或數百萬個影像時。對於 LLM 的一般 GPU 記憶體需求、以 10 億個參數訓練模型所需的記憶體、最高可達 80 GB @32 位元的完整精確度。在這種情況下、 Meta ’ s llama 2 是規模從 70 億到 700 億參數不等的 LMS 系列、可能需要 70x80 、約5600 GB 或 5.6TB 的 GPU RAM 。此外、您所需的記憶體容量與您想要產生的最大權杖數量直接成比例。例如、如果您想要產生最多 512 個權杖（約 380 個字）的輸出、則需要 "512MB"。這似乎並不重要、但如果您想要執行較大的批次、就會開始增加。因此、組織在記憶體中訓練或微調 LMS 的成本非常昂貴、因此儲存設備成為泛用 AI 的基石。

對於大多數企業而言、根據目前的趨勢、部署 LDM 的方法可以精簡為 3 個基本案例。如最近所述 "《哈佛商業評論》" 文章：（ 1 ）從頭開始訓練（課前訓練） LLM –成本高昂、需要專業的 AI/ML 技能；（ 2 ）使用企業資料微調基礎模型–複雜但可行；（ 3 ）使用擷取擴充產生（ RAG ）來查詢包含公司資料的文件儲存庫、 API 和向量資料庫。每個解決方案都會在其實作中的工作、迭代速度、成本效益和模型準確度之間取得平衡、用於解決不同類型的問題（下圖）。

圖 3 ：問題類型

基礎模型（ FM ）也稱為基礎模型、是一種大型 AI 模型（ LLM ）、針對大量未經標記的資料進行訓練、大規模使用自我監督、通常適用於各種下游 NLP 工作。由於訓練資料並未由人類標示、因此模型會出現、而非明確編碼。這表示模型可以產生自己的故事或敘述、而無需明確設定。因此 FM 的重要特徵是同質化、這表示許多網域都使用相同的方法。不過、透過個人化和微調技術、 FMS 整合到現在出現的產品中、不僅能產生文字、文字對影像和文字對程式碼、也能說明網域特定的工作或偵錯程式碼。例如、像 OpenAI 的 Codex 或 Meta 的 Code Llama 等 FMS 、可根據程式設計工作的自然語言說明、以多種程式設計語言產生程式碼。這些模型精通十多種程式設計語言、包括 Python 、 C# 、 JavaScript 、 Perl 、 Ruby 、 和 SQL 。他們瞭解使用者的意圖、並產生特定的程式碼、以完成所需的工作、對軟體開發、程式碼最佳化及程式設計工作自動化非常有用。

在資料準備和資料預先處理之後、 LLM 部署的常見做法之一是選擇經過預先訓練的模型、該模型已在大型且多元化的資料集上接受訓練。在微調的情況下、這可以是開放原始碼的大型語言模型、例如 "中繼的 Llama 2." 針對 700 億個參數和 2 兆個記號進行訓練。選擇預先訓練的模型後、下一步是針對特定網域的資料進行微調。這包括調整模型的參數、並訓練其新資料、以因應特定的網域和工作。例如、 BloombergGPT 是專屬 LLM 、專門針對金融業的各種財務資料進行訓練。專為特定工作所設計和訓練的網域特定模型、通常在其範圍內具有較高的準確度和效能、但在其他工作或網域之間的傳輸能力較低。當業務環境和資料在一段時間內變更時、相較於測試期間的效能、 FM 的預測準確度可能會開始下降。這是重新訓練或微調模型的關鍵所在。傳統 AI / ML 的模型重新訓練是指使用新資料更新已部署的 ML 模型、通常是為了消除發生的兩種類型的資料外包。（ 1 ）概念漂移–當輸入變數與目標變數之間的連結隨著時間而改變時、由於我們要預測變更的內容說明、因此模型可能會產生不正確的預測。（ 2 ）資料漂移：當輸入資料的特性發生變化時、例如隨著時間而改變客戶習慣或行為、因此模型無法回應此類變更。同樣地、重新訓練也適用於 FMS/LLMs 、不過可能會花費大量成本（以百萬美元計）、因此大多數組織可能不會考慮這樣做。它正在積極研究中、仍在 LLMOps 領域中出現。因此、當精細調校的 FMS 發生模式衰退時、企業可能會選擇使用較新的資料集再次微調（較便宜）、而非重新訓練。從成本觀點來看、以下是 Azure OpenAI Services 的模型價格表範例。對於每個工作類別、客戶可以微調和評估特定資料集上的模型。

資料來源： Microsoft Azure

「提示工程」是指如何與 LLM 通訊、以執行所需工作而不更新模型權重的有效方法。如同 AI 模型訓練和微調對 NLP 應用程式一樣重要、推斷也同樣重要、訓練模型會回應使用者提示。推斷的系統需求通常更多地說明 AI 儲存系統的讀取效能、因為 AI 儲存系統需要套用數十億個儲存的模型參數、才能產生最佳回應、因此會將資料從 LMS 饋送至 GPU 。

與傳統機器學習作業（ MLOps ）一樣、大型語言模型作業（ LLLMOps ）也需要資料科學家和 DevOps 工程師合作、提供工具和最佳實務、以便在正式作業環境中管理 LMS 。然而、 LLM 的工作流程和技術堆疊在某些方面可能會有所不同。例如、 LLM 管線是使用 LangChain 字串等架構建置、將多個 LLM API 呼叫結合到外部嵌入端點、例如 vectorStores 或向量資料庫。使用嵌入式端點和 Vectorstore 作為下游連接器（例如向量資料庫）、代表資料儲存和存取方式的重大發展。相較於從頭開始開發的傳統 ML 模型、 LMS 通常仰賴傳輸學習、因為這些模型是從 FMS 開始、而 FMS 則是以新資料進行微調、以改善更特定領域的效能。因此、 LLMOps 提供風險管理和模式衰退監控的功能至關重要。

「 ChatGPT –它很流暢、但仍是一大堆廢話。」– MIT 技術評論。垃圾回收、總是運算上的難題。與泛用 AI 的唯一差異在於、它在讓垃圾變得高度可信、導致結果不準確方面表現優異。LMS 很容易發明事實、以符合其建置的敘述。因此、將泛用 AI 視為降低成本的大好機會的公司、必須有效偵測深層假貨、減少偏見、降低風險、以保持系統誠實且合乎道德。具備強大 AI 基礎架構的自由流動資料傳輸管道、可透過端對端加密支援資料移動性、資料品質、資料治理和資料保護、而 AI guardrails 則在設計負責任且可解釋的 AI 模型時表現出色。

NetApp ® ONTAP ® AI 參考架構搭配 NVIDIA DGX BasePOD 、是適用於機器學習（ ML ）和人工智慧（ AI ）工作負載的可擴充架構。對於 LMS 的關鍵訓練階段、資料通常會定期從資料儲存設備複製到訓練叢集。此階段使用的伺服器使用 GPU 來平行化運算、為資料帶來極大的需求。滿足原始 I/O 頻寬需求、對於維持高 GPU 使用率至關重要。

NVIDIA AI Enterprise是一套端點對端點、雲端原生的AI與資料分析軟體套件、經過NVIDIA最佳化、認證及支援、可在採用NVIDIA認證系統的VMware vSphere上執行。此軟體可在現代化的混合雲環境中、輕鬆快速地部署、管理及擴充AI工作負載。NVIDIA AI Enterprise採用NetApp與VMware技術、以簡化且熟悉的套件提供企業級AI工作負載與資料管理功能。

完全託管的雲端儲存方案可在 Microsoft Azure 上原生提供、例如 Azure NetApp Files （ anf ）、 AWS 、 Amazon FSx for NetApp ONTAP （ FSxN ）、以及 Google 雲端 NetApp Volumes （ GNCV ）。1P 是一套託管的高效能檔案系統、可讓客戶在公有雲中執行高可用度的 AI 工作負載、並改善資料安全性、以微調 LM/FMS 搭配 AWS SageMaker 、 Azure OpenAI Services 和 Google 的 Vertex AI 等雲端原生 ML 平台。