Xeon 6 をホスト CPU として使用することで、高速化されたシステムは、高いシングルスレッド パフォーマンス、メモリ帯域幅の拡大、信頼性、可用性、保守性 (RAS) の向上、および I/O レーンの増加といったメリットを享受できます。 Intel AMX は、INT8 および BF16 の推論を高速化し、FP16 トレーニング済みモデルのサポートを提供します。INT8 の場合はコアあたりサイクルあたり最大 2,048 回の浮動小数点演算、BF16/FP16 の場合はコアあたりサイクルあたり最大 1,024 回の浮動小数点演算が可能です。 Xeon 6 プロセッサを使用して RAG ソリューションを展開するには、通常、最低 250 GB の RAM と 500 GB のディスク容量が推奨されます。ただし、これは LLM モデルのサイズに大きく依存します。詳細については、Intel "Xeon 6プロセッサ"製品概要。

図1 - Intel Xeon 6プロセッサを搭載したコンピューティングサーバー

エントリーレベルおよびミッドレベルのNetApp AFF A シリーズ システムは、より強力なパフォーマンス、密度、および優れた効率性を提供します。 NetApp AFF A20、 AFF A30、 AFF A50 システムは、ハイブリッド クラウド全体で最低コストで RAG アプリケーションのデータをシームレスに管理、保護、および移動できる単一の OS に基づいて、ブロック、ファイル、およびオブジェクトをサポートする真の統合ストレージを提供します。

図 2 - NetApp AFF A シリーズ システム。

このリファレンス デザインの検証には、Supermicro の Intel Xeon 6 プロセッサ (222HA-TN-OTO-37) を搭載したサーバーと Arista の 100GbE スイッチ (7280R3A) が使用されました。

図3 - AIPod Miniデプロイメントアーキテクチャ

Open Platform for Enterprise AI (OPEA) は、Intel がエコシステム パートナーと協力して主導するオープン ソース イニシアチブです。 RAG に重点を置いた最先端の生成 AI システムの開発を加速するように設計された、構成可能なビルディング ブロックのモジュール式プラットフォームを提供します。 OPEA には、LLM、データストア、プロンプト エンジン、RAG アーキテクチャ ブループリント、パフォーマンス、機能、信頼性、エンタープライズ準備に基づいて生成 AI システムを評価する 4 段階の評価方法を備えた包括的なフレームワークが含まれています。

OPEA は、主に次の 2 つの主要コンポーネントで構成されています。

詳細については、 "OPEAプロジェクトドキュメント"

OPEA for Intel® AI for Enterprise RAG は、エンタープライズデータを実用的な洞察に変換する作業を簡素化します。Intel Xeon プロセッサーを搭載し、業界パートナーのコンポーネントを統合して、エンタープライズソリューションの導入を合理化するアプローチを提供します。実績のあるオーケストレーションフレームワークを使用してシームレスに拡張し、企業が必要とする柔軟性と選択肢を提供します。

OPEA の基盤を基に、Intel® AI for Enterprise RAG は、スケーラビリティ、セキュリティ、ユーザー エクスペリエンスを強化する主要な機能によってこの基盤を拡張します。これらの機能には、最新のサービスベースのアーキテクチャとのシームレスな統合を実現するサービス メッシュ機能、パイプラインの信頼性を実現する本番環境対応の検証、ワークフローの管理と監視を容易にする RAG as a Service 用の機能豊富な UI などが含まれます。さらに、Intel とパートナーのサポートにより、安全でコンプライアンスに準拠した運用を実現する UI とアプリケーションを備えた統合 ID およびアクセス管理（IAM）を組み合わせた、幅広いソリューション エコシステムへのアクセスが提供されます。プログラム可能なガードレールにより、パイプラインの動作をきめ細かく制御でき、セキュリティとコンプライアンスの設定をカスタマイズできます。

NetApp ONTAP は、NetApp の重要なデータ ストレージ ソリューションを支える基盤テクノロジーです。 ONTAP には、サイバー攻撃に対する自動ランサムウェア保護、組み込みのデータ転送機能、ストレージ効率機能など、さまざまなデータ管理およびデータ保護機能が含まれています。これらの利点は、オンプレミスから、NAS、SAN、オブジェクト、LLM 展開のソフトウェア定義ストレージのハイブリッド マルチクラウドまで、さまざまなアーキテクチャに適用されます。 ONTAPクラスタ内のONTAP S3 オブジェクト ストレージ サーバを使用して RAG アプリケーションを導入し、承認されたユーザーとクライアント アプリケーションを通じて提供されるONTAPのストレージ効率とセキュリティを活用できます。詳細については、 "ONTAP S3 の構成について学ぶ"

NetApp Tridentソフトウェアは、Red Hat OpenShift を含むコンテナおよび Kubernetes ディストリビューション向けのオープンソースで完全にサポートされているストレージ オーケストレーターです。 Trident は、 NetApp ONTAPを含むNetAppストレージ ポートフォリオ全体と連携し、NFS および iSCSI 接続もサポートします。詳細については、 "Git 上のNetApp Trident"

NetApp ONTAPストレージ アプライアンスを導入およびプロビジョニングします。参照 "ONTAPハードウェア システムのドキュメント"詳細については。

Kubernetes ノードからアクセス可能なネットワーク上で、NFS および S3 アクセス用のONTAPストレージ仮想マシン (SVM) を構成します。

ONTAP System Manager を使用して SVM を作成するには、[ストレージ] > [ストレージ VM] に移動し、[+ 追加] ボタンをクリックします。 SVM の S3 アクセスを有効にするときは、システム生成の証明書ではなく、外部 CA (証明機関) 署名付き証明書を使用するオプションを選択します。自己署名証明書または公的に信頼された CA によって署名された証明書のいずれかを使用できます。詳細については、 "ONTAP のドキュメント。"

次のスクリーンショットは、 ONTAP System Manager を使用して SVM を作成する様子を示しています。環境に応じて必要に応じて詳細を変更します。

図5 - ONTAP System Managerを使用したSVMの作成。

前の手順で作成した SVM の S3 ユーザー/グループ設定を構成します。その SVM のすべての S3 API 操作へのフルアクセス権を持つユーザーがいることを確認します。詳細については、 ONTAP S3 のドキュメントを参照してください。

注：このユーザーは、Intel® AI for Enterprise RAGアプリケーションのデータ取り込みサービスに必要になります。ONTAP System Managerを使用してSVMを作成した場合、System Managerは、SVMの作成時に `sm_s3_user`という名前のユーザーと `FullAccess`という名前のポリシーを自動的に作成しますが、 `sm_s3_user`には権限が割り当てられません。

このユーザーの権限を編集するには、[ストレージ] > [ストレージ VM] に移動し、前の手順で作成した SVM の名前をクリックして、[設定] をクリックし、[S3] の横にある鉛筆アイコンをクリックします。与える `sm_s3_user`すべてのS3 API操作へのフルアクセスを付与するには、関連付ける新しいグループを作成します。 `sm_s3_user`と `FullAccess`次のスクリーンショットに示すようなポリシーです。

図6 - S3のアクセス許可

先ほど作成した SVM 内に S3 バケットを作成します。 ONTAP System Manager を使用して SVM を作成するには、[ストレージ] > [バケット] に移動し、[+ 追加] ボタンをクリックします。詳細については、 ONTAP S3 のドキュメントを参照してください。

次のスクリーンショットは、 ONTAP System Manager を使用して S3 バケットを作成する様子を示しています。

図 7 - S3 バケットを作成する。

前の手順で作成した S3 バケットのアクセス許可を設定します。前の手順で設定したユーザーに次の権限があることを確認します。 GetObject, PutObject, DeleteObject, ListBucket, GetBucketAcl, GetObjectAcl, ListBucketMultipartUploads, ListMultipartUploadParts, GetObjectTagging, PutObjectTagging, DeleteObjectTagging, GetBucketLocation, GetBucketVersioning, PutBucketVersioning, ListBucketVersions, GetBucketPolicy, PutBucketPolicy, DeleteBucketPolicy, PutLifecycleConfiguration, GetLifecycleConfiguration, GetBucketCORS, PutBucketCORS.

ONTAP System Manager を使用して S3 バケットの権限を編集するには、[ストレージ] > [バケット] に移動し、バケットの名前をクリックして、[権限] をクリックし、[編集] をクリックします。参照 "ONTAP S3 ドキュメント"詳細については、こちらをご覧ください。

次のスクリーンショットは、 ONTAP System Manager で必要なバケット権限を示しています。

図8：S3バケットの権限。

ONTAP CLI を使用して、前の手順で作成したバケットのバケット クロスオリジン リソース共有 (CORS) ルールを作成します。

このルールにより、OPEA for Intel® AI for Enterprise RAG Webアプリケーションは、Webブラウザー内からバケットと対話できるようになります。

サーバーを展開し、各サーバーに Ubuntu 22.04 LTS をインストールします。 Ubuntu をインストールしたら、すべてのサーバーに NFS ユーティリティをインストールします。 NFS ユーティリティをインストールするには、次のコマンドを実行します。

完全なステップバイステップの導入ワークフローについては、次のドキュメントを参照してください：NetApp AIPod Mini for ERAG - 導入手順すべての前提条件、インフラストラクチャの準備、構成パラメータ、および導入手順は、上記の導入ガイドに記載されています。

Intel® AI for Enterprise RAG UI の OPEA にアクセスします。詳細については、 "Intel® AI for Enterprise RAG 導入ドキュメント"を参照してください。

図 9 - Intel® AI for Enterprise RAG UI 向け OPEA。

RAG ベースのクエリ拡張に含めるファイルを取り込むことができるようになりました。ファイルの取り込みには複数のオプションがあります。ニーズに応じて適切なオプションを選択してください。

注：ファイルが取り込まれた後、OPEA for Intel® AI for Enterprise RAG アプリケーションはファイルの更新を自動的にチェックし、それに応じて更新を取り込みます。

*オプション1：S3バケットに直接アップロードする 一度に多くのファイルを取り込むには、任意のS3クライアントを使用して、ファイルをS3バケット（以前に作成したバケット）にアップロードすることをお勧めします。一般的なS3クライアントには、AWS CLI、Amazon SDK for Python（Boto3）、s3cmd、S3 Browser、Cyberduck、Commander Oneなどがあります。ファイルがサポートされているタイプである場合、S3バケットにアップロードしたファイルは、OPEA for Intel® AI for Enterprise RAGアプリケーションによって自動的に取り込まれます。

注：このドキュメントの執筆時点では、PDF、HTML、TXT、DOC、DOCX、ADOC、PPT、PPTX、MD、XML、JSON、JSONL、YAML、XLS、XLSX、CSV、TIFF、JPG、JPEG、PNG、SVG のファイルタイプがサポートされています。

OPEA for Intel® AI for Enterprise RAG UI を使用して、ファイルが適切に取り込まれたことを確認できます。詳細については、Intel® AI for Enterprise RAG UI のドキュメントを参照してください。アプリケーションが大量のファイルを取り込むには時間がかかる場合があることに注意してください。

*オプション2：UIを使用してアップロードする 少数のファイルのみを取り込む必要がある場合は、OPEA for Intel® AI for Enterprise RAG UIを使用して取り込むことができます。詳細については、Intel® AI for Enterprise RAG UIのドキュメントを参照してください。

図 10 - データ取り込み UI。

付属のチャット UI を使用して、OPEA for Intel® AI for Enterprise RAG アプリケーションと「チャット」できるようになりました。クエリに応答する際、アプリケーションは取り込んだファイルを使用して RAG を実行します。つまり、アプリケーションは取り込んだファイル内の関連情報を自動的に検索し、クエリに応答するときにこの情報を組み込みます。