AI Data Engineの新機能
AI Data Engine(AIDE)9.18.1は、NetAppのAIデータ管理のためのプラットフォームの初回リリースです。このリリースでは、組織がAIワークロードの非構造化データをカタログ化して整理できるようにするMetadata Engineと管理ワークフローが導入され、高度なガバナンスとベクトル化機能の基盤が提供されます。高度なガバナンス(ガードレール)とベクトル化は、適切なAI Data Engineライセンスを持つお客様が利用できます。
AIDE 9.18.1初回リリースの新機能
AIDE 9.18.1 では、次の基本機能が導入されています。
最初のリリースには、ONTAP クラスタ全体のファイルとオブジェクトをカタログ化する Metadata Engine が含まれています。
主な機能は次のとおりです:
-
ピア クラスター上のローカルおよびリモート ONTAP ボリュームからのメタデータ(コア属性、拡張属性、オブジェクトタグ)の自動抽出。
-
企業データのグローバルビューを必要とするアプリケーション向けの集中クエリおよびフィルタリング REST API。
-
スケーラブルな Metadata Engine ストレージ。
-
ワークスペースの作成中にトリガーされる自動メタデータ抽出。
ワークスペースは、AI プロジェクトのデータソース(ボリューム)の論理的なグループ化を提供します。
最初のリリースでは以下がサポートされます:
-
ローカルおよびリモートのONTAPボリュームにまたがるワークスペースの作成(クラスターピアリングを使用)。
-
ワークスペースへのアクセス制御の割り当て、マルチユーザーとマルチテナント環境のサポート。
-
ワークスペースの作成時にメタデータを自動的に抽出し、カタログに入力します。
Data Sync により、ソース データが変更されても、手動による介入なしにメタデータ カタログとデータ コレクションが最新の状態に保たれます。
主な機能は次のとおりです:
-
ポリシーベースの SnapMirror レプリケーションを使用した、リモートまたはローカルの ONTAP クラスタからのデータの自動同期。
-
変更されたデータのみを伝播し、オーバーヘッドを削減する増分更新。
-
ワークスペースごとに設定可能な更新間隔。
-
同期ステータスとアクティビティのワークスペースレベルの監視。
最初のリリースには次のワークフローが含まれています:
-
クラスターのセットアップ中にデータコンピューティングノード(DCN)を検出して追加します。
-
Metadata Engine専用のメタデータストレージVMの作成。
-
クラスター全体のメタデータアクセス用の Data Engine サービスインターフェースの設定。
-
他の ONTAP クラスタとピアリングして、データ資産全体にメタデータカタログを拡張します。
-
OIDC/OAuthベースの認証により、Microsoft Entra IDおよびActive Directory Federation Services(ADFS)を使用したONTAP System ManagerおよびData Engine Consoleへの安全なアクセスを実現。
-
ワークスペースとメタデータ管理のためのロールベースのアクセス制御。
適切なAIDEライセンスをお持ちのお客様は、以下の機能をご利用いただけます:
-
ベクトル化とRAG:AI Data Engine ConsoleでのデータコレクションAIDEワークスペースからのメタデータを使用した、埋め込み、および検索エンドポイントの作成。
-
ガードレールベースのガバナンス:AI Data Engine Consoleでのガードレール ポリシーの定義、およびONTAP System Managerでのそれらのポリシーとワークスペースの関連付け。
サポートされているハードウェアとプラットフォーム
AIDE 9.18.1 は、以下の要素を組み合わせた ONTAP AI データ プラットフォーム クラスタで実行されます:
-
AFX 1K ストレージ ノード
-
NetApp データコンピューティングノード