多くの組織が、ジェネレーティブAIを使用して、新しい製品機能の構築、エンジニアリングの生産性の向上、より優れた結果と消費者体験を提供するAIベースのアプリケーションのプロトタイプ作成を行っています。Generative Pre-Trained Transformers（GPT）などのジェネレーティブAIは、ニューラルネットワークを使用して、テキスト、オーディオ、ビデオなど多様な新しいコンテンツを作成します。大規模な言語モデル（LLM）に関連する膨大な規模のデータセットを考えると、オンプレミス、ハイブリッド、マルチクラウドの導入オプションにある魅力的なデータストレージ機能を活用し、データモビリティに関連するリスクを軽減する堅牢なAIインフラを設計することが重要です。 企業がAIソリューションを設計する前に、データ保護とガバナンスを強化しましょう。このホワイトペーパーでは、これらの考慮事項と、生成型AIモデルのトレーニング、再トレーニング、微調整、推論のためのAIデータパイプライン全体でのシームレスなデータ管理とデータ移動を可能にする、対応するNetApp®AIの機能について説明します。

最近では、2022年11月にGPT-3のスピンオフであるChatGPTがリリースされた後、テキスト、コード、画像、さらには治療用タンパク質をユーザーのプロンプトに応答して生成するために使用される新しいAIツールが大きな名声を得ています。これは、ユーザーが自然言語を使用して要求を行うことができることを示しています。AIは、ユーザーの要求を反映したニュース記事や製品説明などのテキストを解釈して生成したり、既存のデータでトレーニングされたアルゴリズムを使用してコード、音楽、スピーチ、視覚効果、3Dアセットを生成したりします。その結果、AIシステムの設計には、「安定した拡散」、「幻覚」、「迅速なエンジニアリング」、「価値の整合」などのフレーズが急速に登場しています。これらの自己管理型または半管理型機械学習（ML）モデルは、クラウドサービスプロバイダや他のAIベンダーを通じて、事前トレーニング済みの基礎モデル（FM）として広く利用されるようになり、さまざまな業界のさまざまな事業所で、下流の自然言語処理（NLP）タスクに採用されています。マッキンゼーのような調査アナリスト企業は、「ジェネレーティブAIが生産性に与える影響は、世界経済に数兆ドルの価値をもたらす可能性がある」と主張しています。 企業はAIを人間の思考パートナーとして再定義しつつあり、FMSは、企業や機関がジェネレーティブAIでできることを同時に拡大していますが、膨大な量のデータを管理する機会は今後も増え続けるでしょう。このドキュメントでは、オンプレミス環境とハイブリッド環境またはマルチクラウド環境の両方で、NetAppのお客様に価値をもたらすNetApp機能に関連した、生成型AIの概要と設計の概念について説明します。

では、お客様がAI環境でNetAppを使用するためのITには何が含まれていますか。 NetAppは、データとクラウドの急速な増加、マルチクラウド管理、AIなどの次世代テクノロジの採用によって生じる複雑さに対応するのに役立ちます。NetAppは、さまざまな機能をインテリジェントなデータ管理ソフトウェアとストレージインフラに統合し、AIワークロード向けに最適化されたハイパフォーマンスとのバランスを良好に保ちました。LLMのような生成型AIソリューションでは、インテリジェンスを強化するために、ストレージからソースデータセットを何度も読み取り、処理してメモリに格納する必要があります。NetAppは、エッジからコア、クラウドまでのエコシステム全体で、データモビリティ、データガバナンス、データセキュリティのテクノロジ分野で業界をリードしており、大規模なAIソリューションを構築する大企業のお客様にサービスを提供しています。NetAppには強力なパートナーネットワークがあり、最高データ責任者、AIエンジニア、エンタープライズアーキテクト、データサイエンティストが自由に流れるデータパイプラインを設計し、データの前処理、データ保護、 AIモデルのトレーニングと推論に関する戦略的データ管理責任を負い、AI / MLライフサイクルのパフォーマンスと拡張性を最適化します。NetAppのデータテクノロジと機能には、ディープラーニングデータパイプライン向けのNetApp®ONTAP AI®、ストレージエンドポイント間でシームレスかつ効率的にデータを転送するNetApp®SnapMirror®などがあります。 また、リアルタイムレンダリングのためのNetApp®FlexCache®データフローがバッチからリアルタイムに移行し、データエンジニアリングが迅速に行われる場合、リアルタイムジェネレーティブAIモデルの導入に価値をもたらします。あらゆるタイプの企業が新しいAIツールを導入する際、エッジからデータセンター、クラウドまで、拡張性と責任性に優れた説明可能なAIソリューションが求められるデータの課題に直面します。ハイブリッドクラウドとマルチクラウドにおけるデータ管理のオーソリティであるNetAppは、パートナーと共同ソリューションのネットワークの構築に取り組んでいます。このネットワークは、生成AIモデルのトレーニング（プレトレーニング）、微調整、コンテキストベースの推論、LLMのモデル崩壊監視のためのデータパイプラインとデータレイクの構築のあらゆる側面を支援します。

ジェネレーティブAIは、コンテンツの作成方法、新しいデザインコンセプトの生成方法、新しい構成の探索方法を変えています。ここでは、Generative Adversarial Network（GAN）、Variational Autoencoders（VAE）、Generative Pre-Trained Transformers（GPT）などのニューラルネットワークフレームワークについて説明します。これらのフレームワークは、テキスト、コード、画像、オーディオ、ビデオ、 合成データもありますOpenAIのChat-GPT、GoogleのBard、Hugging Face’s Bloom、Meta’s llamaなどのトランスベースモデルは、大規模な言語モデルの多くの進歩を支える基盤技術として登場しています。同様に、OpenAIのdall-E、MetaのCM3leon、GoogleのImagenは、テキストと画像のセマンティクスをリンクするデータセット拡張とテキストと画像の合成を使用して、新しい複雑な画像をゼロから作成したり、既存の画像を編集して高品質のコンテキスト認識画像を生成する、かつてないほどのフォトリアリズムを提供するテキスト間拡散モデルの例です。デジタルアーティストは、静的な2D画像を没入型の3Dシーンに変換するために、Nerf（Neural Radiance Field）などのレンダリング技術をジェネレーティブAIと組み合わせて適用し始めています。一般に、LLMは、(1)モデルのサイズ(通常は数十億個のパラメータ)、(2)トレーニングデータセットのサイズ、(3)トレーニングコスト、(4)トレーニング後のモデルパフォーマンスの4つのパラメータによって大まかに特徴付けられます。LLMは、主に3つの変圧器アーキテクチャに分類されます。（i）エンコーダのみの機種例：BERT（Google、2018）、（ii）エンコーダ-デコーダ例：BART（Meta、2020）、（iii）デコーダのみのモデル。例：llama（Meta、2023）、palm-E（Google、2023）。ビジネス要件に応じて、モデルパラメータの数（N）とトレーニングデータセット内のトークンの数（D）を選択するアーキテクチャに関係なく、一般にトレーニングのベースラインコスト（プレトレーニング）またはLLMの微調整を決定します。

図3：機械学習/大規模言語モデルのワークフロー

トレーニングか微調整か？ LLMモデルを最初からトレーニングするか、事前にトレーニングされたFMを微調整するか、RAGを使用して基礎モデル以外のドキュメントリポジトリからデータを取得し、プロンプトを強化するか、 （b）オープンソースのLLM（Llama 2など）または独自のFMS（ChatGPT、Bard、AWS Bedrockなど）を活用することは、組織にとって戦略的な決定です。各アプローチには、コスト効率、データの重力、運用、モデルの精度、LLMの管理のトレードオフがあります。

企業としてのNetAppは、社内のワークカルチャーや、製品設計やエンジニアリングの取り組みにAIを取り入れています。たとえば、ネットアップの自律型ランサムウェア対策は、AIと機械学習を使用して構築されています。ファイルシステムの異常を早期に検出し、運用に影響が及ぶ前に脅威を特定するのに役立ちます。次に、NetAppは、販売や在庫予測、チャットボットなどのビジネスオペレーションに予測AIを使用して、コールセンター製品サポートサービス、技術仕様、保証、サービスマニュアルなどの顧客を支援します。3つ目は、NetAppが、需要予測、医療画像処理、センチメント分析などの予測AIソリューションを構築するお客様にサービスを提供する製品とソリューションを通じて、AIデータパイプラインとML / LLMワークフローでお客様に価値を提供することです。 また、NetApp®ONTAP AI®、NetApp®SnapMirror®、NetApp®FlexCache®などのNetApp製品と機能を使用して、製造部門での産業画像の異常検出や、銀行や金融サービスでのマネーロンダリング防止や不正検出に対応するGANなどの生成AIソリューションも提供します。

チャットボット、コード生成、画像生成、ゲノムモデル表現などの生成AIアプリケーションでのデータの移動と管理は、エッジ、プライベートデータセンター、ハイブリッドマルチクラウドエコシステム全体にわたって可能です。例えば、ChatGPTのような事前訓練されたモデルのAPIを介して公開されたエンドユーザーアプリから航空券をビジネスクラスにアップグレードするのを支援するリアルタイムAIボットは、乗客情報がインターネット上で公開されていないため、単独でそのタスクを達成することはできません。APIは、ハイブリッドまたはマルチクラウドエコシステムに存在する可能性のある航空会社からの乗客の個人情報とチケット情報にアクセスする必要があります。同様のシナリオは、LLMを使用して1対多のバイオ医療研究機関を含む創薬全体の臨床試験を完了するエンドユーザーアプリケーションを介して、薬物分子と患者データを共有する科学者にも当てはまるかもしれません。FMSまたはLLMに渡される機密データには、PII、財務情報、健康情報、生体認証データ、位置情報、 通信データ、オンライン行動、法的情報。リアルタイムのレンダリング、迅速な実行、エッジでの推論の場合、エンドユーザアプリケーションからストレージエンドポイントへ、オープンソースまたは独自のLLMモデルを介して、オンプレミスのデータセンターやパブリッククラウドプラットフォームにデータが移動されます。このようなすべてのシナリオで、大規模なトレーニングデータセットとその移動に依存するLLMを使用するAI運用では、データモビリティとデータ保護が不可欠です。

図4：AIとLLMの生成データパイプライン

ネットアップのストレージインフラ、データ、クラウドサービスのポートフォリオには、インテリジェントなデータ管理ソフトウェアが搭載されています。

データの準備: LLM技術スタックの最初の柱は、従来のMLスタックからほとんど変更されていません。AIパイプラインでのデータの前処理は、トレーニングや微調整の前にデータを正規化してクレンジングするために必要です。この手順には、Amazon S3階層の形式で格納されている場所、またはオンプレミスのストレージシステム（ファイルストアやNetApp StorageGRIDなどのオブジェクトストア）にある場所にデータを取り込むためのコネクタが含まれます。

ネットアップの製品セキュリティ。LLMは、応答の中で不注意に機密データを明らかにする可能性があるため、LLMを活用するAIアプリケーションに関連する脆弱性を調査するCISOにとって懸念事項となります。OWASP(Open Worldwide Application Security Project)で概説されているように、データ中毒、データ漏えい、サービス拒否、LLM内での迅速な注入などのセキュリティ問題は、データの露出から不正アクセスへの攻撃者にサービスを提供する攻撃者に至るまで、企業に影響を与える可能性があります。データストレージの要件には、構造化データ、半構造化データ、非構造化データの整合性チェックと書き換え不可のスナップショットが含まれている必要があります。データセットのバージョン管理にはNetApp SnapshotとSnapLockが使用されています。厳格なロールベースアクセス制御（RBAC）、セキュアなプロトコル、保存中と転送中の両方のデータを保護する業界標準の暗号化を提供します。Cloud InsightsとCloud Data Senseを組み合わせることで、脅威の原因をフォレンジックで特定し、リストアするデータに優先順位を付けることができます。

NetAppは、コアデータ製品、テクノロジ、機能に加えて、強力なAIパートナーネットワークと緊密に連携し、お客様に付加価値を提供しています。

*エッジAI向けModzy *。NetApp®とModzyは提携して、画像、音声、テキスト、表など、あらゆる種類のデータに大規模なAIを提供しています。Modzyは、AIモデルを導入、統合、実行するためのMLOpsプラットフォームであり、データサイエンティストにモデル監視、ドリフト検出、説明性の機能を提供し、シームレスなLLM推論のための統合解決策を備えています。

ジェネレーティブAIは、質の高いデータを基にモデルをトレーニングした場合にのみ効果的な結果を生み出すことができます。LLMは目覚ましいマイルストーンを達成していますが、データモビリティとデータ品質に関連する制約、設計上の課題、リスクを認識することが重要です。LLMは、異種データソースの大規模で異なるトレーニングデータセットに依存しています。モデルによって生成された不正確な結果や偏った結果は、企業と消費者の両方を危険にさらす可能性があります。これらのリスクは、データ品質、データセキュリティ、データモビリティに関連するデータ管理の課題から生じる可能性のあるLLMの制約に対応する可能性があります。NetAppは、データの急増、データモビリティ、マルチクラウド管理、AIの採用によって発生する複雑さに対応するのに役立ちます。大規模なAIインフラと効率的なデータ管理は、ジェネレーティブAIなどのAIアプリケーションの成功を定義するうえで不可欠です。コスト効率、データガバナンス、倫理的なAIプラクティスを制御しながら、企業が必要に応じて拡張する機能を犠牲にすることなく、すべての導入シナリオをカバーすることが重要です。NetAppは、お客様のAI導入の簡易化と高速化を常に支援しています。