多くの組織が生成 AI を使用して、新しい製品機能を構築し、エンジニアリングの生産性を向上させ、より優れた結果と消費者エクスペリエンスを提供する AI 搭載アプリケーションのプロトタイプを作成しています。 Generative Pre-trained Transformers (GPT) などの生成 AI は、ニューラル ネットワークを使用して、テキスト、オーディオ、ビデオなど多様な新しいコンテンツを作成します。大規模言語モデル (LLM) には極めて大きな規模と膨大なデータセットが関係するため、企業が AI ソリューションを設計する前に、オンプレミス、ハイブリッド、マルチクラウドの導入オプションの魅力的なデータ ストレージ機能を活用し、データのモビリティ、データ保護、ガバナンスに関連するリスクを軽減する堅牢な AI インフラストラクチャを設計することが重要です。このホワイト ペーパーでは、これらの考慮事項と、生成 AI モデルのトレーニング、再トレーニング、微調整、推論のための AI データ パイプライン全体でシームレスなデータ管理とデータ移動を可能にする対応するNetApp AI 機能について説明します。

最近では、2022 年 11 月に GPT-3 のスピンオフである ChatGPT がリリースされて以来、ユーザーのプロンプトに応じてテキスト、コード、画像、さらには治療用タンパク質を生成するために使用される新しい AI ツールが大きな注目を集めています。これは、ユーザーが自然言語を使用してリクエストを行うことができ、AI がユーザーのリクエストを反映したニュース記事や製品の説明などのテキストを解釈して生成したり、既存のデータでトレーニングされたアルゴリズムを使用してコード、音楽、音声、視覚効果、3D アセットを生成したりすることを意味します。その結果、安定的な拡散、幻覚、プロンプトエンジニアリング、価値の調整などのフレーズが AI システムの設計で急速に登場しています。これらの自己教師型または半教師型の機械学習 (ML) モデルは、クラウド サービス プロバイダーやその他の AI 企業ベンダーを通じて、事前トレーニング済みの基礎モデル (FM) として広く利用できるようになり、さまざまな業界のさまざまな企業で、幅広い下流の NLP (自然言語処理) タスクに採用されています。マッキンゼーなどの調査アナリスト企業は、「生成 AI が生産性に与える影響は、世界経済に数兆ドルの価値をもたらす可能性がある」と主張しています。企業が AI を人間の思考パートナーとして再考するとともに、FM が同時に企業や機関が生成 AI で何ができるかまで範囲を広げるなか、膨大な量のデータを管理する機会は今後も増え続けるでしょう。このドキュメントでは、オンプレミス、ハイブリッド、またはマルチクラウド環境の両方でNetApp の顧客に価値をもたらすNetApp の機能に関連する生成 AI と設計コンセプトの概要を説明します。

では、顧客が AI 環境でNetAppを使用するとどのようなメリットがあるのでしょうか? NetApp は、データとクラウドの急速な増加、マルチクラウド管理、AI などの次世代テクノロジーの導入によって生じる複雑さに組織が対応できるよう支援します。 NetApp は、AI ワークロードに最適化された高性能とバランスの取れたインテリジェントなデータ管理ソフトウェアとストレージ インフラストラクチャにさまざまな機能を統合しました。 LLM のような生成 AI ソリューションでは、インテリジェンスを強化するために、ソース データセットをストレージからメモリに何度も読み取って処理する必要があります。 NetApp は、エッジからコア、クラウドまでのエコシステム全体にわたるデータ モビリティ、データ ガバナンス、データ セキュリティ テクノロジーのリーダーであり、大規模な AI ソリューションを構築するエンタープライズ顧客にサービスを提供しています。 NetApp は、強力なパートナー ネットワークを活用して、最高データ責任者、AI エンジニア、エンタープライズ アーキテクト、データ サイエンティストを支援し、AI モデルのトレーニングと推論におけるデータ準備、データ保護、戦略的データ管理の責任を果たすための自由に流れるデータ パイプラインを設計し、AI/ML ライフサイクルのパフォーマンスと拡張性を最適化しています。ディープラーニング データ パイプライン用のNetApp ONTAP AI、ストレージ エンドポイント間でデータをシームレスかつ効率的に転送するためのNetApp SnapMirror 、データ フローがバッチからリアルタイムに移行し、データ エンジニアリングが適切なタイミングでNetAppれる場合にリアルタイム レンダリングを実現するNetApp FlexCacheなどの NetApp のデータ テクノロジーと機能は、リアルタイム生成 AI モデルの導入に価値をもたらします。あらゆるタイプの企業が新しい AI ツールを導入するにつれ、エッジからデータ センター、クラウドに至るまで、拡張可能で責任ある説明可能な AI ソリューションが求められるデータの課題に直面しています。ハイブリッドおよびマルチクラウドのデータ オーソリティとして、 NetAppは、生成 AI モデルのトレーニング (事前トレーニング)、微調整、コンテキストベースの推論、LLM のモデル減衰モニタリングのためのデータ パイプラインとデータ レイクの構築のあらゆる側面を支援するパートナー ネットワークと共同ソリューションの構築に取り組んでいます。

生成 AI は、コンテンツの作成方法、新しいデザイン コンセプトの生成方法、斬新な構成の探索方法を変えています。これは、テキスト、コード、画像、オーディオ、ビデオ、合成データなどの新しいコンテンツを生成できる、Generative Adversarial Network (GAN)、Variational Autoencoders (VAE)、Generative Pre-Trained Transformers (GPT) などのニューラル ネットワーク フレームワークを示しています。 OpenAI の Chat-GPT、Google の Bard、Hugging Face の BLOOM、Meta の LLaMA などのトランスフォーマーベースのモデルは、大規模言語モデルの多くの進歩を支える基盤技術として登場しました。同様に、OpenAI の Dall-E、Meta の CM3leon、Google の Imagen は、テキストから画像への拡散モデルの例であり、顧客に前例のないレベルのフォトリアリズムを提供して、新しい複雑な画像をゼロから作成したり、データセットの拡張と、テキストと視覚のセマンティクスをリンクするテキストから画像への合成を使用して既存の画像を編集して高品質のコンテキスト認識画像を生成したりします。デジタル アーティストは、NeRF (Neural Radiance Field) などのレンダリング テクノロジと生成 AI を組み合わせて、静的な 2D 画像を没入型の 3D シーンに変換し始めています。一般に、LLMは次の4つのパラメータによって特徴付けられます: (1) モデルのサイズ（通常は数十億のパラメータ単位）; (2) トレーニングデータセットのサイズ; (3) トレーニングのコスト、および (4) トレーニング後のモデルパフォーマンス。 LLM も主に 3 つのトランスフォーマー アーキテクチャに分類されます。 (i) エンコーダーのみのモデル。例：BERT（Google、2018）、（ii）エンコーダー・デコーダー例：BART（Meta、2020）、および（iii）デコーダーのみのモデル。例：LLaMA（Meta、2023）、PaLM-E（Google、2023）。ビジネス要件に応じて、企業がどのアーキテクチャを選択するかに関係なく、トレーニング データセット内のモデル パラメータの数 (N) とトークンの数 (D) によって、通常、トレーニング (事前トレーニング) または LLM の微調整のベースライン コストが決まります。

図3: 機械学習/大規模言語モデルのワークフロー

トレーニングですか、それとも微調整ですか? (a) LLM モデルを最初からトレーニングするか、事前トレーニング済みの FM を微調整するか、RAG を使用して基盤モデル外のドキュメント リポジトリからデータを取得してプロンプトを拡張するか、(b) オープンソースの LLM (例: Llama 2) または独自の FM (例: ChatGPT、Bard、AWS Bedrock) を活用するかという問題は、組織にとって戦略的な決定です。それぞれのアプローチには、コスト効率、データ重力、運用、モデルの精度、LLM の管理の間でトレードオフがあります。

NetAppは企業として、社内の業務文化や製品の設計およびエンジニアリングへの取り組みに AI を取り入れています。たとえば、NetApp の自律型ランサムウェア保護は、AI と機械学習を使用して構築されています。ファイル システムの異常を早期に検出し、脅威が運用に影響する前に特定できるようにします。 2 番目に、 NetApp は売上や在庫の予測などのビジネス オペレーションに予測 AI を使用し、チャットボットを使用してコール センターの製品サポート サービス、技術仕様、保証、サービス マニュアルなどで顧客を支援します。 3 番目に、 NetApp は、NetApp ONTAP AI、NetApp SnapMirror、NetApp FlexCache などの NetApp 製品と機能を使用して、需要予測、医療用画像処理、感情分析などの予測 AI ソリューションや、製造業における産業用画像異常検出用の GAN や銀行および金融サービスにおけるマネー ロンダリング防止および詐欺検出などの生成 AI ソリューションを構築NetAppにサービスを提供する製品とソリューションを通じて、AINetAppSnapMirrorONTAPとNetApp /NetAppFlexCacheに顧客価値をもたらします。

チャットボット、コード生成、画像生成、ゲノムモデル表現などの生成 AI アプリケーションにおけるデータの移動と管理は、エッジ、プライベート データ センター、ハイブリッド マルチクラウド エコシステムにまたがって行われます。たとえば、ChatGPT などの事前トレーニング済みモデルの API を介して公開されるエンドユーザー アプリから、乗客が航空券をビジネス クラスにアップグレードするのを支援するリアルタイム AI ボットは、乗客情報がインターネット上で公開されていないため、単独ではそのタスクを達成できません。 API は、ハイブリッドまたはマルチクラウド エコシステム内に存在する可能性のある航空会社からの乗客の個人情報とチケット情報にアクセスする必要があります。同様のシナリオは、1 対多の生物医学研究機関が関与する創薬全体にわたって臨床試験を実行するために LLM を使用するエンドユーザー アプリケーションを介して薬剤分子と患者データを共有する科学者にも当てはまる可能性があります。 FM または LLM に渡される機密データには、PII、財務情報、健康情報、生体認証データ、位置データ、通信データ、オンライン行動、法的情報などが含まれる場合があります。このようなリアルタイム レンダリング、プロンプト実行、エッジ推論のイベントでは、エンド ユーザー アプリからオープン ソースまたは独自の LLM モデルを経由してストレージ エンドポイントにデータが移動され、さらにオンプレミスまたはパブリック クラウド プラットフォーム上のデータ センターにデータが移動されます。このようなすべてのシナリオにおいて、大規模なトレーニング データセットとそのようなデータの移動に依存する LLM を伴う AI 操作にとって、データのモビリティとデータ保護は非常に重要です。

図4: 生成AI - LLMデータパイプライン

NetApp のストレージ インフラストラクチャ、データ、クラウド サービスのポートフォリオは、インテリジェントなデータ管理ソフトウェアによって強化されています。

データ準備: LLM 技術スタックの最初の柱は、従来の ML スタックからほとんど変更されていません。 AI パイプラインでのデータ前処理は、トレーニングや微調整の前にデータを正規化およびクレンジングするために必要です。このステップには、Amazon S3 層の形式、またはファイル ストアやNetApp StorageGRIDなどのオブジェクト ストアなどのオンプレミスのストレージ システムの形式で存在する場所に関係なくデータを取り込むためのコネクタが含まれます。

NetApp の製品セキュリティ。 LLM は応答の中で機密データを誤って公開する可能性があるため、LLM を活用した AI アプリケーションに関連する脆弱性を研究する CISO にとっては懸念事項となります。 OWASP (Open Worldwide Application Security Project) で概説されているように、LLM 内のデータ ポイズニング、データ漏洩、サービス拒否、プロンプト インジェクションなどのセキュリティ問題は、データの露出から攻撃者による不正アクセスまで、企業に影響を及ぼす可能性があります。データ ストレージ要件には、構造化データ、半構造化データ、非構造化データの整合性チェックと不変のスナップショットが含まれる必要があります。データセットのバージョン管理には、 NetAppスナップショットおよびSnapLock が使用されています。厳格なロールベースのアクセス制御 (RBAC)、安全なプロトコル、業界標準の暗号化を導入し、保存中のデータと転送中のデータの両方を保護できます。 Cloud Insightsと Cloud Data Sense を組み合わせることで、脅威の原因をフォレンジック的に特定し、復元するデータの優先順位を決定するのに役立つ機能が提供されます。

NetApp は、コアとなるデータ製品、テクノロジー、機能に加え、強力な AI パートナー ネットワークとも緊密に連携し、顧客に付加価値を提供しています。

Domino Data Lab は、AI 導入のどの段階であっても、高速、安全、かつ経済的な Generative AI の構築と製品化のための多用途のエンタープライズ グレードのツールを提供します。 Domino のエンタープライズ MLOps プラットフォームを使用すると、データ サイエンティストは好みのツールとすべてのデータを使用し、どこからでも簡単にモデルをトレーニングおよび展開し、リスクとコストを効果的に管理できます。これらはすべて 1 つのコントロール センターから実行できます。

エッジ AI 向け Modzy。 NetAppと Modzy は提携して、画像、音声、テキスト、表など、あらゆる種類のデータに大規模な AI を提供しています。 Modzy は、AI モデルを展開、統合、実行するための MLOps プラットフォームであり、データ サイエンティストにモデル監視、ドリフト検出、説明可能性の機能を提供し、シームレスな LLM 推論のための統合ソリューションを提供します。

Run:AI とNetAppは提携して、AI ワークロードのオーケストレーションを簡素化する Run:AI クラスタ管理プラットフォームを使用したNetApp ONTAP AI ソリューションの独自の機能を実証しました。 GPU リソースを自動的に分割および結合し、Spark、Ray、Dask、Rapids の統合フレームワークが組み込まれているため、データ処理パイプラインを数百台のマシンに拡張できるように設計されています。

生成 AI は、モデルが大量の高品質データでトレーニングされた場合にのみ効果的な結果を生成できます。 LLM は目覚ましい成果を達成してきましたが、その限界、設計上の課題、およびデータのモビリティとデータ品質に関連するリスクを認識することが重要です。 LLM は、異種のデータ ソースからの大規模かつ多様なトレーニング データセットに依存します。モデルによって生成された不正確な結果や偏った結果は、企業と消費者の両方を危険にさらす可能性があります。これらのリスクは、データ品質、データ セキュリティ、およびデータ モビリティに関連するデータ管理の課題から潜在的に生じる LLM の制約に対応する可能性があります。 NetApp は、急速なデータ増加、データ モビリティ、マルチクラウド管理、AI の導入によって生じる複雑さに組織が対応できるよう支援します。大規模な AI インフラストラクチャと効率的なデータ管理は、生成 AI などの AI アプリケーションの成功を定義する上で非常に重要です。コスト効率、データ ガバナンス、倫理的な AI プラクティスを管理しながら、企業のニーズに応じて拡張する能力を損なうことなく、すべての展開シナリオをカバーすることが、お客様にとって重要です。 NetApp は、お客様の AI 導入を簡素化し、加速させるために常に取り組んでいます。