Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

AI Data Engineアーキテクチャ

共同作成者 netapp-dbagwell
PDF

AI Data Engine（AIDE）は、Metadata Engine とポリシーフレームワークで構成されています。これらの機能は連携して、ストレージシステムからメタデータを抽出し、検索可能なインデックスにカタログ化し、特定の条件に一致するファイルを識別して操作するための保存済みクエリを定義できるようにします。

[コンポーネント]

AI Data Engine との主なやり取りは、ダッシュボード、調査、ポリシー、構成という4つの機能領域を通じて行われます。これらの機能領域は、以下の基盤となるコンポーネントによって支えられています。

Metadata Engine

Metadata EngineはAI Data Engineのコア機能です。接続されているストレージシステムをスキャンしてファイルシステムのメタデータを抽出し、そのメタデータを検索可能なカタログに保存します。Metadata Engineはスキャンサイクルごとにカタログを更新し、ストレージシステム全体にわたる追加、変更、削除を検出します。

NetApp Console エージェント

AI Data Engineには、お客様の環境にデプロイされたNetApp Console Agentが必要です。Console Agentは汎用的なNetAppプラットフォームコンポーネントであり、オンプレミス環境とNetApp Console間の接続を維持します。サイトとAIDEサービス間の認証と通信を処理します。

メモ コンソールエージェントは AI Data Engine 専用ではありません。他の NetApp サービス用にコンソールエージェントをすでにデプロイしている場合は、同じエージェントを使用できます。コンソールエージェントのデプロイ手順については、"NetApp Console Agentのドキュメント" を参照してください。

展開モデル

AI Data Engineは2つのデプロイメントモデルをサポートしています：

AIDE Lite

小規模環境に適した、単一VM構成のデプロイメント。カタログ化するファイル数に応じて、Small、Medium、Largeの3つの構成が用意されています。

AIDE Enterprise

高可用性が求められる大規模環境向けの、Kubernetesベースのマルチノードクラスタ構成。

AIDE エンタープライズ版は、最大約10億個のファイルと1日あたり2億5,000万個のファイルをサポートする3ノード構成から、最大約60億個のファイルと1日あたり20億個のファイルをサポートする9ノード構成までスケールアウトできます。ノードのサイジングの詳細については、"AIDEの要件"を参照してください。ノードを追加することで、容量を60億ファイル以上に拡張できます。スケールアウトの詳細については、"柔軟なサイズガイドライン"を参照してください。

"導入オプションの詳細はこちら"。

データフロー

  1. AI Data Engineはオンプレミス環境にデプロイされます。

  2. AIIDEがカタログ化するストレージシステムを*構成 > システム*で追加します。サポートされているシステムには、NetApp ONTAP、StorageGRID、データベースシステム、およびNFS、SMB/CIFS、またはS3プロトコルを公開するNASまたはオブジェクトストレージシステムが含まれます。

  3. Metadata EngineはNFSおよびSMB/CIFSプロトコルを使用して共有フォルダをマウントし、ファイルシステムをスキャンしてファイルメタデータを抽出します。

  4. メタデータはカタログに索引付けされています。

  5. ダッシュボードには、カタログからストレージに関するインサイトが表示されます。

  6. 調査機能を使用すると、メタデータフィルターを使用してカタログを直接検索できます。

  7. 検索条件をポリシーとして保存し、それを再実行することで、一致するファイルを特定して処理することができます。

メモ Metadata Engineは、設定されているすべてのボリュームのスキャンが完了すると、すぐに新しいスキャンラウンドを開始し、ファイルシステムを再スキャンして追加、変更、削除を検出します。