AI Data Engine の要件
AI Data Engine(AIDE)を展開する前に、環境のネットワーク、Kubernetes、サイジング、およびオペレーティングシステムの要件を確認してください。シングルノード展開の場合、Linux VMをご用意いただければ、AI Data Engineがその他のすべてを自動的にプロビジョニングします。マルチノード展開の場合、独自のKubernetesクラスタをご用意いただく必要があります。
ネットワーク要件
以下のネットワーク接続が開いている必要があります:
| 接続 | ポート | Protocol | 送受信方向 | 目的 |
|---|---|---|---|---|
コンソールエージェントからNetApp Consoleへ |
443 |
TCP |
アウトバウンド |
HTTPS:NetApp Consoleへの接続 |
コンソールエージェントからONTAPへ |
443 |
TCP |
アウトバウンド |
HTTPS:ONTAPクラスターの検出 |
コンソールエージェントからAI Data Engineへ |
80、443、8080、9000 |
TCP |
双方向 |
コンソールエージェントとAI Data Engine間の通信 |
AIクライアントからMCPサーバへ |
443 |
TCP |
インバウンド |
HTTPS:社内ネットワークまたはVPNからAIDEクラスタのホスト名へのAIクライアントアクセス。AIクライアントは、ポート443でホスト名に接続します。内部サービスポートには接続しません。 |
AI Data EngineからONTAP (NFS)へ |
111つまたは2049つ |
TCP/UDP |
保管場所へ |
NFSデータソースへのアクセス |
AI Data EngineからONTAP (SMB)へ |
139つまたは445つ |
TCP/UDP |
保管場所へ |
SMBデータソースへのアクセス |
クラスタノードからNFSサーバ(マルチノード構成ボリューム) |
2049 |
TCP |
アウトバウンド |
AI Data Engine構成を保持するエクスポートへのNFSアクセス。環境はマルチノード展開のみです。Kerberosを使用する場合、管理ホストもこのエクスポートをマウントします。 |
AI Data EngineからActive Directoryへ |
389、636、3268、3269 |
TCP(389番ポートはUDPも使用) |
アウトバウンド |
ユーザ認証、SMB/CIFSスキャン、およびNFSユーザIDとグループIDのActive Directory名へのマッピング用のLDAP(389)、LDAPS(636)、およびグローバルカタログ(3268、3269)。ポート389はTCPとUDPの両方を使用します。その他のポートはすべてTCPのみを使用します。 |
AI Data EngineからKerberos KDC(Active Directoryドメイン コントローラ)へ |
88 |
TCP/UDP |
アウトバウンド |
SMB/CIFSデータソースに対するKerberos認証。Kerberosを使用する場合にのみ必要です。KerberosおよびActive Directoryの要件を参照してください。 |
AI Data EngineからDNSサーバへ |
53 |
TCP/UDP |
アウトバウンド |
Kerberosを使用する場合のファイルサーバとKDCの名前解決 |
AI Data EngineからNetAppサービス、コンテナレジストリ、CDNへ |
443 |
TCP |
アウトバウンド |
HTTPS:CDNからのインストーラスクリプトのダウンロード、ECRからのコンテナイメージとHelmチャートのプル、S3からのコンポーネントカタログのダウンロード |
アウトバウンドインターネットアクセス
オンラインインストールの場合、以下のエンドポイントにアクセス可能である必要があります。行に条件が記述されている場合、エンドポイントが必要となるのは、その条件が満たされている場合のみです。
| エンドポイント | 目的 | 開始者 | デプロイメントタイプ |
|---|---|---|---|
|
NetAppコンテナレジストリ(AIDEコンテナイメージとHelmチャート) |
コンテナランタイムとインストーラ |
両方 |
|
NetAppコンテナレジストリ(デュアルスタック/仮想プライベートクラウド(VPC)エンドポイントアクセス) |
コンテナランタイムとインストーラ |
両方 |
|
AWS ECR API(認証およびイメージマニフェストの取得) |
コンテナランタイムとインストーラ |
両方 |
|
AWS ECRレジストリ認証情報の更新 |
AI Data Engine |
両方 |
|
AWS S3(ECRコンテナイメージレイヤーストレージ) |
コンテナランタイム |
両方 |
|
AWS S3(ECRコンテナイメージレイヤーストレージ) |
コンテナランタイム |
両方 |
|
AWS S3(コンポーネントバージョンカタログ) |
インストーラとAI Data Engine |
両方 |
|
AWS S3(コンポーネントバージョンカタログ) |
インストーラとAI Data Engine |
両方 |
|
AWS STS(レジストリおよびS3アクセス用の一時的な認証情報交換) |
AI Data Engine |
両方 |
|
AI Data Engineオペレーター:バージョンポリシー |
AI Data Engine |
両方 |
|
NetApp Console登録 |
インストーラ |
両方 |
|
NetApp Console認証 |
AI Data Engine |
両方 |
|
FSxとNetAppワークロード検出 |
AI Data Engine |
両方 |
|
Google Cloud NetApp Volumesの検出 |
AI Data Engine |
両方 |
|
ヘルスモニターは、ヘルスダッシュボードにパブリックIPアドレスを表示するためにこれを使用します。AI Data Engineは、これがなくても動作します。 |
AI Data Engine |
両方 |
|
ヘルスダッシュボードに表示されるパブリックIPアドレスを取得するための代替手段。AI Data Engineはこれなしでも動作します。 |
AI Data Engine |
両方 |
|
ヘルスダッシュボードに表示されるパブリックIPアドレスを取得するための代替手段。AI Data Engineはこれなしでも動作します。 |
AI Data Engine |
両方 |
|
ヘルスダッシュボードに表示されるパブリックIPアドレスを取得するための代替手段。AI Data Engineはこれなしでも動作します。 |
AI Data Engine |
両方 |
|
プロキシ接続テスト。アウトバウンドプロキシを使用する場合にのみ使用されます。テストが失敗しても、インストールや実行は妨げられません。このエンドポイントは、k3sシステムイメージを提供するDocker Hubのエンドポイントとは別個のものです。 |
AI Data Engine |
両方 |
|
プロキシ接続テスト。アウトバウンドプロキシを使用する場合にのみ使用されます。テストが失敗しても、インストールや実行は妨げられません。 |
AI Data Engine |
両方 |
|
AI Data EngineインスタンスからNetAppへ製品の使用状況メトリクスを送信するために使用されるAWS Cognitoアクセス。プロキシ接続テストにも使用されます。 |
AI Data Engine |
両方 |
|
ログとメトリクスのストリーミング |
AI Data Engine |
両方 |
|
管理されたAIアクセス(MCP)を使用する場合にのみ必要です。Microsoft Entra IDテナントの検出と署名キーの取得。 |
AI Data Engine |
両方 |
|
CloudFront インストーラースクリプト用CDN |
インストーラ |
両方 |
|
Helmのダウンロード |
インストーラ |
両方 |
|
kubectl ダウンロード |
インストーラ |
両方 |
|
jqのダウンロード、およびシングルノード展開におけるk3sバイナリのダウンロード |
インストーラ |
両方 |
|
GitHubダウンロードのリダイレクト |
インストーラ |
両方 |
|
k3sランタイムのダウンロード |
インストーラ |
シングルノードのみ |
|
k3s SELinuxポリシーパッケージ( |
インストーラ |
シングルノードのみ(RHELファミリー) |
|
k3sシステムイメージのDocker Hub認証 |
コンテナランタイム |
シングルノードのみ |
|
k3sシステムイメージのDocker Hubレジストリ |
コンテナランタイム |
シングルノードのみ |
|
k3sシステムイメージ用のDocker Hubイメージレイヤーストレージ |
コンテナランタイム |
シングルノードのみ |
この表に示されているエンドポイントは、インターネットに直接接続する場合でも、プロキシ経由で接続する場合でも同じです。
プロキシを使用する場合は、ワイルドカードや先頭のドットを使用せず、記載されているホスト名を正確に使用して、ポート443でHTTPS (CONNECT)の各エンドポイントを許可してください。
インストーラのダウンロードをホストする `d13jb5dapseb36.cloudfront.net`を、ホスト名で許可します。そのIPアドレスは他のサイトと共有されており、頻繁に変更されるため、IPアドレスに基づくルールは機能しなくなります。
マルチノード構成の場合、クラスタノードがコンテナランタイム接続を確立します。NetApp Consoleからのマルチノードインストールコマンドで異なる `--registry`値が指定されている場合は、表のレジストリホスト名ではなく、そのレジストリホスト名を許可してください。
"AI Data Engineのプロキシについて" を参照してください。プロキシを使用してデプロイするには、"プロキシを使用したシングルノード展開としてAI Data Engineを展開します" または "プロキシを使用したマルチノード展開としてAI Data Engineを展開する" を参照してください。
|
|
お使いの環境でプロキシ設定が必要な場合は、パッケージマネージャーに適切なプロキシ設定がされていることを確認してください。 |
AI Data Engineは、集中認証およびコンソールサービスについてもNetApp Consoleに依存しています。 `\https://api.bluexp.netapp.com`や `\https://netapp-cloud-account.auth0.com`などのエンドポイントは、"ネットワーク アクセス要件(NetApp Console)"にリストされています。
デプロイを開始する前に、AI Data Engine ホストからこれらのエンドポイントへの DNS 解決が機能していることを確認してください。
サポートされているKubernetesバージョン
AI Data Engineは、この表に記載されているディストリビューションとバージョンのみをサポートしています。
| 導入 | Kubernetesディストリビューション | サポートされているバージョン | 提供元 |
|---|---|---|---|
AIDEシングルノード |
k3sを使用したチャンク アップロード署名要求がサポートされるようになりました。 |
v1.35 |
インストーラーはk3sを自動的にプロビジョニングします。特に何もする必要はありません。 |
AIDEマルチノード |
RKE2を使用したチャンク アップロード署名要求がサポートされるようになりました。 |
v1.34~v1.36(v1.36.xを推奨) |
クラスターはお客様がご用意ください。共有型でも専用型でも構いません。 |
AIDEマルチノード |
OpenShift |
OpenShift 4.22.16 (Kubernetes v1.35.8) |
クラスターはお客様がご用意ください。共有型でも専用型でも構いません。 |
AIDEマルチノード |
Azure Kubernetes Service(AKS) |
v1.34~v1.36 |
クラスターはお客様がご用意ください。共有型でも専用型でも構いません。 |
AIDEシングルノード展開の要件
Linux VM を用意していただくと、AI Data Engine が k3s を含むその他すべてを自動的にプロビジョニングします。Kubernetes の設定や管理は不要です。ホストの準備、ディスク容量、ファイアウォールの要件については、"AIDEシングルノード展開の前提条件" を参照してください。
VMサイジング
これらのサイズは、3~4日間の初期スキャン期間に最適化された推奨基本構成であり、厳密な制限ではありません。柔軟なサイズガイドラインを参照して、これらの数値を左右する要因と、それらを超えてスケールする方法をご確認ください。
| サイズ | vCPU | RAM | ディスク | Storage IOPS | ストレージスループット | Network | おおよそのファイル |
|---|---|---|---|---|---|---|---|
小規模 |
16 |
64 GB |
565 GB 1 |
8,000 |
1,000MB/s |
1 GbE |
200 million |
中 |
32 |
128 GB |
2,065 GB 1 |
12,000 |
1,500MB/s |
1 GbE |
10億 |
大規模 |
96 |
192 GB |
6,065 GB 1 |
16,000 |
2,000MB/s |
10 GbE |
30億 |
1 ディスク値は、OS、k3sランタイム、およびAIDEデータが単一のディスクを共有する場合に必要な最小空き容量です。これには、OS、k3s、kubelet、およびログ用の65GBと、AIDEデータボリューム(Smallの場合は500GB、Mediumの場合は2,000GB、Largeの場合は6,000GB)が含まれます。これらのコンポーネントが別々のディスクにある場合は、"シングルノードの前提条件におけるディスク容量"を参照してください。
|
|
あらゆる規模の導入において、NVMe SSDまたはその他のソリッドステートストレージの使用を推奨します。単一ノード構成のAIDEデータボリュームには、NFSではなくブロックストレージを使用してください。NFSベースのストレージは、パフォーマンス低下の原因となる可能性があります。 |
柔軟なサイズガイドライン
小型、中型、大型の構成これらは、3~4日間の初期スキャン期間における推奨される基準値であり、ソフトウェアによって強制される厳密な制限ではありません。
- サイズ推奨の根拠は何ですか?
-
-
ファイルとディレクトリの合計数:カタログ化するオブジェクトの総数は、コンピューティングとストレージの要件を決定する主要因です。オブジェクト数が増えるほど、メモリ、CPU、ストレージの必要量も比例して増加します。
-
ディレクトリ構造:リソースの使用量は、ディレクトリのネストの深さや、ファイルが共有やボリュームにどのように分散されているかによって異なります。深くネストされた構造や高度に断片化された構造は、よりフラットな階層構造で同じファイル数の場合よりも多くのリソースを必要とする可能性があります。
-
必要なスキャン処理能力:初期カタログの完了速度は、CPUとメモリ割り当てに直接関係します。推奨サイズを下回るプロビジョニングを行うと、スループットが低下し、初期スキャンウィンドウが長くなります。
-
ストレージ パフォーマンス:ハイパフォーマンス ストレージを強く推奨します。メタデータのインデックス作成とイベント処理には、展開規模に比例した持続的な IOPS とスループットが必要です。
-
- 展開したサイズが小さすぎたり、そのサイズを上回ったりした場合はどうなりますか
-
各設定は、特定のファイル数とスキャン速度に合わせて調整されています。お使いの環境が構成でサポートされている範囲を超える場合、以下のことが予想されます:
-
初期カタログ期間の延長:計算処理能力の低下により、1日あたりのスキャン対象オブジェクト数が減少します。例えば、30億個のオブジェクトを対象とするデプロイメントでも、より小さなサイズでプロビジョニングされた場合、目標の3~4日よりも大幅に時間がかかる可能性があります。
-
継続的な取り込みスループットの低下:継続的な負荷がかかると、新しいファイルイベントと増分スキャン更新の処理速度が低下します。
-
スキャンの停止:AI Data Engineコンポーネントは、展開する規模に合わせて構成されます。環境がそのサイズを大幅に超える場合、スキャン速度が低下するだけでなく、停止してしまう可能性があります。ワークロードの異常やリソースの制約を確認するには、"デプロイメントの状態を監視し、問題を調査する"を参照してください。
-
ストレージ容量リスク:オブジェクトの総数に対してストレージ容量が不足すると、メタデータインデックスが容量のしきい値に近づく可能性があります。ストレージ拡張を計画するには、NetAppサポートにお問い合わせください。
-
- 推奨サイズを超える拡張
-
AI Data Engineコンポーネントはデプロイする規模に合わせて構成されているため、ホストVMにvCPU、メモリ、またはストレージを追加しても、容量が自動的に増加するわけではありません。ファイル数や必要なパフォーマンスがデプロイしたサイズを超える場合は、NetAppサポートに連絡してサイズを再調整してください。
シングルノード展開では、高可用性や水平スケールアウトはサポートされません。環境のファイル数が常に30億を超える場合、または高可用性と耐障害性が必要な場合は、代わりに"AIDEマルチノード展開"を展開してください。
オペレーティング システム
| OS | サポート対象のバージョン |
|---|---|
Ubuntu |
22.04 LTS、24.04 LTS(24.04 LTS推奨) |
Red Hat Enterprise Linux(RHEL) |
8.x、9.x |
AIDEマルチノード展開の要件
独自のKubernetesクラスターをご用意いただきます。このクラスターは、他のワークロードと共有することも、AI Data Engine専用にすることもできます。インストーラーは、既存のKubernetesクラスターにAI Data Engineを展開しますが、クラスターのプロビジョニングや管理は行いません。クラスター、ストレージ、およびインストーラーホストの要件については、"AIDEマルチノード展開の前提条件"を参照してください。
|
|
すべてのマルチノード構成には、NVMeまたはハイパフォーマンスSSDストレージを推奨します。 |
LinuxカーネルとNFS nconnectのサポート
共有AIDE構成ボリュームで必要となるスループットを提供する nconnect NFSマウントオプションには、Linuxカーネル5.3以降が推奨されます。以下のディストリビューションバージョンは `nconnect`をサポートし、カーネルの推奨事項を満たしています。RHELおよびCentOS 8.3では、Red Hatカーネルのバックポートが使用されています。
| Distribution | カーネルバージョン | `nconnect`サポート |
|---|---|---|
RHEL / CentOS 8.3以降 |
4.18(バックポート) |
はい |
RHEL / CentOS 9.x |
5.14 |
はい |
Ubuntu 20.04 |
5.4 |
はい |
Ubuntu 22.04 |
5.15 |
はい |
ノードサイズ設定
これらのサイズは、3~4日間の初期スキャン期間に最適化された推奨ベースラインクラスタ構成であり、厳密な容量制限ではありません。60億ファイルを超える環境では、NetAppによるカスタムサイジングが必要です。詳細については、柔軟なサイズガイドラインを参照してください。
| サイズ | ノード | ノードあたりのvCPU数 | ノードあたりのRAM容量 | ノードあたりのディスク | ノードあたりのストレージIOPS | ノードあたりのストレージスループット | ノードごとのネットワーク | おおよそのファイル |
|---|---|---|---|---|---|---|---|---|
小規模 |
3 |
32 |
128 GB |
~1.3TB |
8,000 |
1,000MB/s |
1 GbE |
10億 |
中 |
6 |
48 |
192 GB |
~2TB |
12,000 |
1,500MB/s |
10 GbE |
30億 |
大規模 |
9 |
64 |
256 GB |
~2.7TB |
16,000 |
2,000MB/s |
10 GbE |
60億 |
柔軟なサイズガイドライン
小型、中型、大型の構成 は、3~4日間の初期スキャン期間における推奨ベースラインクラスタ構成であり、ソフトウェアが強制する厳密な容量上限ではありません。60億ファイルを超える環境では、NetAppでのカスタムサイジングが必要です。
- サイズ推奨の根拠は何ですか?
-
-
ファイルとディレクトリの合計数:オブジェクトの合計数は、ストレージとコンピューティングの要件を決定する主要な要因です。大規模な環境では、処理負荷を分散し、パフォーマンスを維持するために、追加のクラスタノードが必要になります。
-
高可用性レプリケーション:マルチノード展開では、デフォルトでノード間でのデータレプリケーションが有効になり、耐障害性が向上します。レプリケーションを行うと、同等のシングルノード構成と比較して、ストレージとメモリの総必要量が増加します。
-
ノード数とワークロードの分散:処理スループットとカタログの総容量は、クラスタ内のノード数に応じてスケールします。追加ノードは、インデックス作成のワークロードとストレージ容量の両方をクラスタ全体に分散します。
-
必要なスキャン処理能力:クラスタ全体のCPUとメモリの割り当てによって、1日のスキャン速度と初期カタログの完了速度が決まります。
-
ノードごとのストレージ性能:各ノードには高性能ストレージを強く推奨します。クラスタ全体の容量はノード数に比例して増加します。
-
- 展開したサイズが小さすぎたり、そのサイズを上回ったりした場合はどうなりますか
-
各設定は、特定のファイル数とスキャン速度に合わせて調整されています。お使いの環境が構成でサポートされている範囲を超える場合、以下のことが予想されます:
-
初期カタログ期間の延長:ノード数が少ない、またはノードあたりのリソースが少ないとスループットが低下し、初期カタログ期間が比例して延長されます。
-
ピーク負荷時の処理遅延の増加:クラスター全体のメモリ不足により、大量のデータを取り込む期間中に処理遅延が増加する可能性があります。
-
スキャンの停止:AI Data Engineコンポーネントは、展開する規模に合わせて構成されます。環境がそのサイズを大幅に超える場合、スキャン速度が低下するだけでなく、停止してしまう可能性があります。ワークロードの異常やリソースの制約を確認するには、"デプロイメントの状態を監視し、問題を調査する"を参照してください。
-
ストレージ容量リスク:対象オブジェクト数に対してクラスタストレージが不足すると、メタデータインデックスが容量しきい値に近づく可能性があります。ストレージ拡張を計画するには、NetAppサポートにお問い合わせください。
-
- 推奨サイズを超える拡張
-
既存のマルチノードクラスタの水平スケーリングはサポートされていません。ワーカーノードや専用ストレージノードを追加しても、スキャン処理、イベント取り込み、カタログ容量が自動的に増加するわけではありません。環境が導入したサイズを超える場合、またはスキャン処理やイベント取り込みの容量を増やす必要がある場合は、変更を計画するためにNetAppサポートまたはNetAppの担当者にお問い合わせください。
60億ファイルを超える規模に拡張するには、ノードのサイジングのガイダンスやカスタムスケールについて、NetAppの担当者にお問い合わせください。
KerberosおよびActive Directoryの要件
Kerberos認証を使用してSMB/CIFS共有をスキャンしたり、NFSユーザーIDとグループIDをActive Directory名にマッピングしたりする前に、これらの要件を確認してください。時刻同期、DNS、およびホストパッケージの要件は、Kerberosにのみ適用されます。AIDEはKerberosクライアントです:既存のKerberosキー配布センター(KDC)に対して認証を行い、Kerberosサーバーとしては動作しません。
時刻同期
AIDEノードとKDCのクロックの差が許容されるクロックスキューを超えると、Kerberos認証は失敗します。Active Directoryでは、デフォルトで最大5分の時間差が許容されます。
以下の点を確認してください。
-
ネットワークタイムプロトコル(NTP)は、すべてのAIDEノードでアクティブになっています。
-
AIDEノードは、ドメインコントローラーと同期された時刻ソースを使用します。
DNS
以下のDNS要件を満たしてください:
-
各AIDEノードは、完全修飾ドメイン名(FQDN)でファイルサーバーとKDCを解決できます。
-
ノードがActive Directory DNSサーバーを使用するように構成する場合、そのサーバーは外部名も解決する必要があります。そうでない場合、AIDEはアウトバウンドインターネットアクセスに記載されているエンドポイントに到達できません。
-
マルチノード構成でDNS設定を変更する場合は、各ノードでActive Directory DNSサーバーを唯一のネームサーバーとして構成してください。クラスターにおける名前解決では、リストされているネームサーバーの中からランダムに1つが選択されるため、Active Directoryの名前を解決できないネームサーバーがあると、断続的な障害が発生します。
DNS設定を変更するには、"シングルノード展開でSMB/CIFS共有のKerberosを設定する" または "マルチノード展開でSMB/CIFS共有のKerberosを設定する" の「名前解決を修正する」を参照してください。
ホストパッケージ
| 導入 | 必要なパッケージ |
|---|---|
シングル ノード |
Kerberosクライアントツール:Ubuntu上の |
マルチノード |
各ノードに`cifs-utils`を、キータブを作成およびテストするホストにKerberosクライアントツールとNFSクライアントをインストールする必要があります。 |
KerberosベースのSMB/CIFSスキャンを行う場合にのみ、すべてのAIDEノードで `cifs-utils`が必要になります。シングルノードインストーラがインストールします。マルチノード構成の場合は、各ノードにインストールします。ノードに `cifs-utils`がない場合、SMB/CIFS共有のKerberosスキャンは失敗します。
NFS の Active Directory 属性
NFSユーザーIDとグループIDをActive Directory名に解決するには、 `uidNumber`および `gidNumber`属性が入力され、AIDEがクエリを実行する場合はグローバルカタログにレプリケートされている必要があります。"NFS 用の Active Directory ID マッピングを構成する"を参照してください。
アクティブバージョンとサポート連絡先
AI Data EngineのアクティブなバージョンとNetAppサポートの連絡先情報を確認するには、Configuration > About AIDE に移動してください。