Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

AI Data Engineアーキテクチャ

共同作成者 netapp-dbagwell

AI Data Engine(AIDE)は、お客様が提供するインフラストラクチャ上で動作します。Metadata Engineはストレージをスキャンして、検索可能なカタログを作成します。NetApp Consoleは、Consoleエージェントを通じてデプロイメントを管理します。Model Context Protocol(MCP)サーバーオプションを使用すると、AIクライアントはお客様が設定した範囲内でカタログを検索できます。

[コンポーネント]

NetApp ConsoleのAI Data Engineダッシュボード、調査、およびポリシーはすべて、メタデータカタログに基づいて機能します。以下のコンポーネントは、カタログを構築してNetApp Consoleに接続し、AIクライアントに管理されたアクセスを提供します。

Metadata Engine

Metadata Engineは、AI Data Engineのコア機能です。接続したデータソースをスキャンし、メタデータを抽出して、検索可能なカタログに保存します。ファイルの内容を読み取ったり分類したりすることはありません。Metadata Engineは、スキャンサイクルごとにカタログを更新し、ストレージシステム全体にわたる追加、変更、削除を検出します。

NetApp Console エージェント

AI Data Engineには、お客様の環境にデプロイされたNetApp Consoleエージェントが必要です。Consoleエージェントは、お客様の環境とNetApp Console間の接続を維持する汎用的なNetAppプラットフォームコンポーネントです。これは、NetApp Consoleとお客様のAI Data Engine環境間の認証と通信を処理します。スキャンおよびカタログサービスは、Consoleエージェント上ではなく、AI Data Engine環境で実行されます。

メモ コンソールエージェントはAI Data Engine専用ではありません。他のNetAppサービス用にコンソールエージェントをすでに展開している場合は、同じエージェントを使用できます。コンソールエージェントの展開手順については、"NetApp Consoleエージェントのドキュメント"を参照してください。

Governed Access Gateway

ガバナンスアクセスゲートウェイは、AI Data EngineのMCPサーバーです。これにより、AIクライアントはメタデータカタログを検索できるようになります。ゲートウェイはAI Data Engine環境で実行され、AIクライアントは社内ネットワークから、またはVPN経由でHTTPSを使用してゲートウェイに接続します。コンソールエージェントはMCPトラフィックを中継しません。

Microsoft Entra IDはユーザーを認証し、ゲートウェイは各AIクライアントが検索を許可されているコレクションのみにアクセスできるように制限します。このゲートウェイはメタデータの検索とタグ付けのみをサポートしており、ファイルにタグ付けできるのは上級ユーザーのみです。ファイルの内容は取得しません。

構成タイプ

AI Data Engineは2種類のデプロイメントタイプをサポートしています。どちらもKubernetes上でAI Data Engineサービスを実行します。

AIDEシングルノード展開

お客様が提供する単一のLinux VM上で動作します。インストーラーはk3sとサポートコンポーネントを自動的にプロビジョニングします。単一ノード構成では、高可用性や水平スケーリングは実現できません。

AIDEマルチノード展開

お客様が提供するKubernetesクラスター上で動作し、高可用性が求められる大規模環境向けに設計されています。

サポート対象プラットフォーム、サイジング、インフラストラクチャ要件については、"AIDEの要件"を参照してください。

各展開タイプには、アウトバウンドプロキシ経由でのみインターネットに接続する環境向けの個別の手順も用意されています。"AI Data Engineのプロキシについて" を参照してください。

データフロー

AI Data Engineは2つの別々のパスを使用します:1つはカタログを構築してNetApp Consoleに提供するパス、もう1つはAIクライアントに提供するパスです。

メタデータスキャンとNetApp Consoleアクセス

  1. お客様が管理するインフラストラクチャにAI Data Engineを導入し、NetApp Consoleエージェントに接続します。

  2. AI Data Engineにカタログ化させるデータソースは、*データソース*で接続します。詳細については、"データソースを接続する"を参照してください。

  3. Metadata Engineは、データソースをスキャンしてメタデータを抽出し、カタログにインデックス化します。

  4. NetApp Consoleでは、ダッシュボードにカタログからのストレージに関するインサイトが表示され、調査機能ではメタデータフィルターを使用してカタログを直接クエリできます。

  5. 検索条件をポリシーとして保存し、再実行することで一致するファイルを特定できます。また、調査画面からファイルに対してアクションを実行することも可能です。

メモ このカタログには、スキャン中に収集されたメタデータが反映されています。ソースファイルへの変更は、影響を受けるファイルとディレクトリが再スキャンされ、結果がインデックス化された後にカタログに反映されます。

管理されたAIアクセス

  1. Microsoft Entra IDを設定し、AIアクセス用のコレクションを有効にし、各コレクションを検索できるユーザーを選択します。

  2. ユーザーはAIクライアントをGoverned Access GatewayのHTTPSエンドポイントに接続し、Microsoft Entra IDでサインインします。

  3. ゲートウェイはユーザーのアクセスを確認し、承認されたリクエストをMetadata Engineに渡します。

  4. AIクライアントは、ユーザーがアクセスして操作を実行できるコレクション内のメタデータを検索します。