AI Data Engine の要件
AI Data Engine を導入する前に、ご使用の環境におけるネットワーク、VMのサイジング、およびオペレーティングシステムの要件を確認してください。
ネットワーク要件
以下のネットワーク接続が開いている必要があります:
| 接続 | ポート | Protocol | 送受信方向 | 目的 |
|---|---|---|---|---|
コンソールエージェントから NetApp コンソールへ |
443 |
TCP |
アウトバウンド |
HTTPS:NetApp Consoleへの接続 |
コンソールエージェントからONTAPへ |
443 |
TCP |
アウトバウンド |
HTTPS:ONTAPクラスターの検出 |
コンソールエージェントからAI Data Engineへ |
80、443、8080、9000 |
TCP |
双方向 |
コンソールエージェントとAI Data Engine間の通信 |
AI Data EngineからONTAP (NFS)へ |
111つまたは2049つ |
TCP/UDP |
保管場所へ |
NFSデータソースへのアクセス |
AI Data Engine から ONTAP (SMB/CIFS) |
139つまたは445つ |
TCP/UDP |
保管場所へ |
SMB/CIFSデータソースへのアクセス |
AI Data EngineからActive Directoryへ |
389、636、3268、3269 |
TCP/UDP |
アウトバウンド |
LDAP (389)、LDAPS (636)、およびグローバルカタログ (3268、3269) はユーザ認証およびSMB/CIFSスキャンに使用します。ポート389はTCPとUDPの両方を使用します。その他のポートはすべてTCPのみを使用します。 |
AI Data EngineからNetAppサービス / コンテナレジストリへ |
443 |
TCP |
アウトバウンド |
HTTPS:アーティファクトのダウンロードとコンテナイメージのプル(AWS S3およびECR) |
アウトバウンドインターネットアクセス
オンラインインストールの場合、以下のエンドポイントにAI Data Engineホストからアクセスできる必要があります:
| エンドポイント | 目的 | Scope |
|---|---|---|
|
NetApp Console通信 |
両方 |
|
集中型ユーザ認証 |
両方 |
|
認証サービス |
両方 |
|
NetAppコンテナレジストリ(AIDEコンテナイメージ) |
両方 |
|
NetAppコンテナレジストリ(デュアルスタック/仮想プライベートクラウド(VPC)エンドポイントアクセス) |
両方 |
|
AWS ECR API(認証およびイメージマニフェストの取得) |
両方 |
|
AWS S3(ECRコンテナイメージレイヤーストレージ) |
両方 |
|
AWS S3(ECRコンテナイメージレイヤーストレージ) |
両方 |
|
AWS S3(インストーラーラッパースクリプト、Helmチャート、コンポーネントバージョンカタログ) |
両方 |
|
AWS S3(インストーラーラッパースクリプト、Helmチャート、コンポーネントバージョンカタログ) |
両方 |
|
AWS STS(レジストリおよびS3アクセス用の一時的な認証情報交換) |
両方 |
|
ソフトウェアイメージ、マニフェスト、テンプレート、ログおよびメトリクスのストリーミング |
両方 |
|
CloudFront CDN(ソフトウェア配信用) |
両方 |
|
Ubuntuの前提条件パッケージ |
Lite版のみ(Ubuntu) |
|
Ubuntuパッケージアーカイブ |
Lite版のみ(Ubuntu) |
|
Ubuntuセキュリティパッケージアーカイブ |
Lite版のみ(Ubuntu) |
|
k3sランタイムのダウンロード(インストーラーによる開始) |
ライトのみ |
|
Helmのダウンロード(インストーラーによる開始) |
ライトのみ |
AI Data Engine は、集中認証およびコンソールサービスのために NetApp Console にも依存しています。Console およびコンソールエージェントの接続に必要なエンドポイントについては、"ネットワーク アクセス要件(NetApp Console)" を参照してください。
デプロイを開始する前に、AI Data Engine ホストからこれらのエンドポイントへの DNS 解決が機能していることを確認してください。
AIDE Lite の要件
VMサイジング
これらのサイズは、3~4日間の初期スキャン期間に最適化された推奨基本構成であり、厳密な制限ではありません。柔軟なサイズガイドラインを参照して、これらの数値を左右する要因と、それらを超えてスケールする方法をご確認ください。
| サイズ | vCPU | RAM | ディスク | Storage IOPS | ストレージスループット | Network | おおよそのファイル |
|---|---|---|---|---|---|---|---|
小規模 |
16 |
64 GB |
500 GB |
8,000 |
1,000MB/s |
1 GbE |
200 million |
中 |
32 |
128 GB |
2 TB |
12,000 |
1,500MB/s |
1 GbE |
10億 |
大規模 |
96 |
192 GB |
6 TB |
16,000 |
2,000MB/s |
10 GbE |
30億 |
|
|
あらゆる規模の導入において、NVMe SSDまたはその他のソリッドステートストレージの使用を推奨します。この表のディスク値は、AIDEデータボリュームのストレージ専用です。OS、k3s ランタイム、および AIDE データがすべて単一のディスクを共有する場合は、選択したサイズのディスク値に約 65 GB を追加してください。たとえば、単一ディスク上の小規模な導入では、合計約 565 GB が必要です。 |
柔軟なサイズガイドライン
小型、中型、大型の構成これらは、3~4日間の初期スキャン期間における推奨される基準値であり、ソフトウェアによって強制される厳密な制限ではありません。
- サイズ推奨の根拠は何ですか?
-
-
ファイルとディレクトリの合計数:カタログ化するオブジェクトの総数は、コンピューティングとストレージの要件を決定する主要因です。オブジェクト数が増えるほど、メモリ、CPU、ストレージの必要量も比例して増加します。
-
ディレクトリ構造:リソースの使用量は、ディレクトリのネストの深さや、ファイルが共有やボリュームにどのように分散されているかによって異なります。深くネストされた構造や高度に断片化された構造は、よりフラットな階層構造で同じファイル数の場合よりも多くのリソースを必要とする可能性があります。
-
必要なスキャン処理能力:初期カタログの完了速度は、CPUとメモリ割り当てに直接関係します。推奨サイズを下回るプロビジョニングを行うと、スループットが低下し、初期スキャンウィンドウが長くなります。
-
ストレージ パフォーマンス:ハイパフォーマンス ストレージを強く推奨します。メタデータのインデックス作成とイベント処理には、展開規模に比例した持続的な IOPS とスループットが必要です。
-
- サイズが小さすぎるとどうなりますか?
-
推奨サイズを下回るプロビジョニングを行っても、インストールが妨げられたり、サービス障害が発生したりすることはありません。システムは引き続き稼働しており、スキャンも継続していますが、以下の点にご注意ください:
-
初期カタログ期間の延長:計算処理能力の低下により、1日あたりのスキャン対象オブジェクト数が減少します。例えば、30億個のオブジェクトを対象とするデプロイメントでも、より小さなサイズでプロビジョニングされた場合、目標の3~4日よりも大幅に時間がかかる可能性があります。
-
継続的な取り込みスループットの低下:継続的な負荷がかかると、新しいファイルイベントと増分スキャン更新の処理速度が低下します。
-
ストレージ容量リスク:オブジェクトの総数に対してストレージ容量が不足すると、メタデータインデックスが容量のしきい値に近づく可能性があります。通常、この問題はシステム全体の再デプロイを行わずに、ストレージ容量を拡張することで解決できます。
-
- 容量を追加する必要がある場合のスケーリング
-
AIDE Liteは単一のVMで動作するため、スケーリングは垂直方向になります。
-
ホストVM上のvCPU、メモリ、またはストレージを増やしてください。
-
クラスターの再構成や再インストールは不要です。
AIDE Lite はハイパフォーマンスや水平方向のスケールアウトをサポートしていません。環境内のファイル数が常に30億を超える場合、または高可用性と耐障害性が必要な場合は、代わりに"AIDE Enterprise"を導入してください。
-
オペレーティング システム
| OS | サポート対象のバージョン |
|---|---|
Ubuntu |
22.04 LTS、24.04 LTS(24.04 LTS推奨) |
Red Hat Enterprise Linux(RHEL) |
8.x、9.x |
追加の前提条件
-
インストーラーを実行するには、対象の仮想マシン上でroot権限またはsudo権限が必要です。
-
最低1GbEのネットワーク接続(大規模展開の場合は10GbE)。
-
ターゲットホストには、bash 4.0以降、curl、およびtarがインストールされている必要があります。
-
インストーラーは自動的にダウンロードしてブートストラップします
k3s、helm、kubectl、およびjq。対象となる仮想マシンにこれらのツールを事前にインストールする必要はありません。 -
インストーラーの起動前に、ホスト上でポート6443(TCP)、10250(TCP)、および8472(UDP)が空いている必要があります。ホストファイアウォール((
firewalld`RHEL上または `ufw`Ubuntu上)がアクティブな場合は、インストーラーを実行する前に、これらのポートとk3sポッドCIDR((`10.44.0.0/16)およびサービスCIDR((10.45.0.0/16)を許可してください。必要なコマンドについては、お使いのOSのファイアウォールに関するドキュメントを参照してください。 -
SELinuxをEnforcingモードで実行しているRHELシステムでは、インストーラーが必要なSELinuxポリシーパッケージを自動的に構成します。SELinuxの手動設定は不要です。
AIDE Enterprise の要件
-
インストーラーを実行するマシン上で、クラスター管理者権限を持つkubectlへのアクセス権が必要です。
-
インストールコマンドを実行するマシンには、Sudo(またはroot)権限が必要です。
-
対象クラスターにRKE2 v1.34以降(v1.36.x推奨)がインストールされています。
-
インストーラー ホストは、
--tools-dir`を介して `helm、kubectl、および `jq`を自動的にダウンロードしてブートストラップします。管理マシンにこれらのツールを事前にインストールしておく必要はありません。 -
構成されたStorageClass(デフォルト名
aide-sc)はクラスター上で利用可能で、AIDEのステートフルなバッキングサービスに使用されます。 -
少なくとも 1 つのエクスポートパスを持つ NFSサーバが利用可能で、AIDE 構成データボリュームと共有インデックス スナップショットに使用されます。
-
ターゲット Kubernetes 名前空間(デフォルト
aide)はすでにクラスター上に存在しており、インストーラーは作成しません。
|
|
NVMeまたはハイパフォーマンスSSDストレージは、すべてのEnterpriseノードの導入に推奨されます。 |
ノードサイズ設定
これらのサイズは、約3日間の初期スキャン期間に最適化された推奨ベースライン クラスタ構成であり、厳密な容量制限ではありません。AIDE Enterprise は、水平スケールアウトにより60億ファイルを超える環境をサポートします。詳細については、柔軟なサイズガイドラインを参照してください。
| サイズ | ノード | ノードあたりのvCPU数 | ノードあたりのRAM容量 | ノードあたりのディスク | ノードあたりのストレージIOPS | ノードあたりのストレージスループット | ノードごとのネットワーク | おおよそのファイル |
|---|---|---|---|---|---|---|---|---|
小規模 |
3 |
32 |
128 GB |
~1.3TB |
8,000 |
1,000MB/s |
1 GbE |
10億 |
中 |
6 |
48 |
192 GB |
~2TB |
12,000 |
1,500MB/s |
10 GbE |
30億 |
大規模 |
9 |
64 |
256 GB |
~2.7TB |
16,000 |
2,000MB/s |
10 GbE |
60億 |
柔軟なサイズガイドライン
小型、中型、大型の構成これらは、約3日間の初期スキャン期間における推奨されるベースラインクラスタ構成であり、ソフトウェアによって強制される厳密な容量上限ではありません。AIDE Enterprise は、クラスタ ノード全体での水平スケールアウトにより、30億ファイルを超える環境をサポートします。
- サイズ推奨の根拠は何ですか?
-
-
ファイルとディレクトリの合計数:オブジェクトの合計数は、ストレージとコンピューティングの要件を決定する主要な要因です。大規模な環境では、処理負荷を分散し、パフォーマンスを維持するために、追加のクラスタノードが必要になります。
-
高可用性レプリケーション: エンタープライズ展開では、耐障害性のために、デフォルトでノード間でのデータレプリケーションが有効になります。レプリケーションを行うと、同等のシングルノード構成と比較して、ストレージとメモリの総必要量が増加します。
-
ノード数とワークロードの分散:処理スループットとカタログの総容量は、クラスタ内のノード数に応じてスケールします。追加ノードは、インデックス作成のワークロードとストレージ容量の両方をクラスタ全体に分散します。
-
必要なスキャン処理能力:クラスタ全体のCPUとメモリの割り当てによって、1日のスキャン速度と初期カタログの完了速度が決まります。
-
ノードごとのストレージ性能:各ノードには高性能ストレージを強く推奨します。クラスタ全体の容量はノード数に比例して増加します。
-
- サイズが小さすぎるとどうなりますか?
-
推奨サイズを下回るプロビジョニングを行っても、インストールが妨げられたり、重大な障害が発生したりすることはありません。具体的な影響としては、以下のようなものがあります。
-
初期カタログ期間の延長:ノード数が少ない、またはノードあたりのリソースが少ないとスループットが低下し、初期カタログ期間が比例して延長されます。
-
ピーク負荷時の処理遅延の増加:クラスター全体のメモリ不足により、大量のデータを取り込む期間中に処理遅延が増加する可能性があります。進行中の処理は中断されませんが、持続的なスループットは低下します。
-
ストレージ容量リスク:対象オブジェクト数に対してクラスタストレージが不足すると、メタデータインデックスが容量しきい値に近づく可能性があります。既存ノードのストレージを拡張する(無停止)か、専用のストレージ ノードを追加することで、この問題を解決できます。
-
- 容量を追加する必要がある場合のスケーリング
-
AIDE Enterpriseは、再デプロイなしで水平スケールアウトをサポートします:
-
ワーカーノードを追加して、スキャン処理とイベント取り込みに利用できるCPUとメモリを増やします。
-
専用ストレージ ノードを追加して、カタログの総容量を増やします。これは、事前定義された最大デプロイメント サイズを超えて環境をスケールアウトするための主要な方法です。
-
クラスターにノードを追加することで、60億ファイルを超える規模にも対応できます。カスタムスケールにおけるノードのサイジングに関するガイダンスについては、NetAppの担当者にお問い合わせください。
既存のエンタープライズクラスタにノードを追加しても、進行中のスキャン操作には影響しませんが、変更はアクティビティの少ない時間帯に行うようにしてください。
-