AI Data Engine のデプロイメントについて
AI Data Engine(AIDE)をAIDEシングルノード環境として展開します。この場合、お客様が用意した単一のLinux VM上にインストーラがすべてをセットアップします。環境で大規模なKubernetesベースの高可用性が必要な場合は、お客様が用意したKubernetesクラスタ上にAIDEマルチノード環境を展開できます。
AIDEシングルノード展開
AIDEシングルノード展開は、お客様が提供する単一のLinux VMにインストールされます。インストーラは、k3s、Kubernetesランタイム、AI Data Engineが必要とするサポートツールやホスト構成など、その他のすべてを自動的にプロビジョニングします。Kubernetesをインストールしたり管理したりする必要はなく、Kubernetesの専門知識も必要ありません。
AIDEシングルノード展開は、Small、Medium、Largeの3つのサイズで提供され、それぞれ最大約2億、10億、30億のファイル環境に対応します。VMの完全なサイジングとOSの要件については、"AIDEの要件"を参照してください。これらのサイズは推奨されるベースラインであり、厳密な制限ではありません。サイジングの要因と、サイズを超過した場合の対処法については、"柔軟なサイズガイドライン"を参照してください。
AIDEマルチノード展開
環境で高可用性、耐障害性、ローリングアップグレード、または最大規模のシングルノード展開サイズを超える容量が必要な場合は、AIDEマルチノード展開をデプロイします。AIDEマルチノード展開は、既存のKubernetesクラスタにデプロイされます。独自のKubernetesクラスタ(RKE2、OpenShift、またはAKS)を用意する必要があります。クラスタはお客様自身でプロビジョニングおよび管理し、他のワークロードと共有することも、AI Data Engine専用にすることもできます。インストーラはクラスタの作成や管理を行いません。インストーラを実行するマシンは軽量の管理ホストであり、AI Data Engineワークロードは実行しません。
AIDEマルチノード展開は、Small、Medium、Largeの3つのサイズで提供され、それぞれ最大約10億、30億、60億ファイルの環境に対応します。ノードの完全なサイジングとクラスタの要件については、"AIDEの要件"を参照してください。これらのサイズは推奨されるベースラインであり、厳密な制限ではありません:60億ファイルを超える環境では、NetAppによるカスタムサイジングが必要です。詳細については、"柔軟なサイズガイドライン"を参照してください。
デプロイメントの種類を比較する
| AIDEシングルノード展開 | AIDEマルチノード展開 | |
|---|---|---|
デプロイメントタイプ |
お客様が提供する単一のLinux仮想マシン。インストーラーはk3sを自動的にプロビジョニングします。 |
マルチノードKubernetesクラスタ。お客様ご自身のRKE2、OpenShift、またはAKSクラスタをご用意ください。 |
ノード |
1台のLinux VM |
3~9ノード(小規模~大規模) |
スキャンレート |
1日あたり5000万~10億ファイル、サイズによって異なります |
1日あたり250 million~2 billionファイル、サイズによって異なります |
おおよそのファイル数(小~大) |
200 millionから3 billion |
1 billionから6 billion |
コンピューティング |
16~96個のvCPU、64~192GBのRAM |
ノードあたり32~64 vCPU、128~256 GB RAM |
ストレージ |
565 GB~6,065 GBのSSDブロックストレージ、8,000~16,000 IOPS、1,000~2,000 MB/sのスループット |
クラスタ総容量4~24TB、ノードあたり8,000~16,000IOPS、ノードあたり1,000~2,000MB/sのスループット |
Network |
1 GbE(大規模には10 GbEを推奨) |
1~10 GbE |
高可用性 |
サポート対象外 |
ノード間でサポートされています |
いつ選ぶべきか |
サイトは1つだけで、迅速な起動を希望し、高可用性は必要としない場合 |
本番規模またはHAは必須です |
展開プロセス
AI Data Engineは、NetApp Consoleから直接展開できます。*AI data hub > AI Data Engine*に移動して、AI Data Engineを展開します。ウィザードを使用して展開タイプを選択し、"AIDEの要件"を満たす環境でインストールコマンドを実行します。
NetApp ConsoleはAI Data Engineのインフラストラクチャをプロビジョニングしません。シングルノード展開の場合、Linux VMを準備すると、インストーラが残りの設定を行います。マルチノード展開の場合、Kubernetesクラスタを準備します。いずれの場合も、インフラストラクチャは要件を満たす必要があります。次に、NetApp Consoleから事前に生成されたインストールコマンドをコピーし、ターゲットホストで実行します。このコマンドはランタイムをブートストラップし、AI Data Engineスタックを自動的に展開します。
シングルノードのデプロイは通常45分以内に完了します。マルチノードのデプロイは通常30分以内に完了します。インストーラには、コンポーネントの起動中に発生する一時的な問題に対処するためのタイムアウト機能と再試行機能が組み込まれています。
詳しい手順については、"AI Data Engineをシングルノード展開として展開する"および"AI Data Engineをマルチノード展開として展開する"を参照してください。
プロキシを使用したデプロイメント
ホストまたはクラスタがアウトバウンドプロキシ経由でのみインターネットにアクセスする場合は、プロキシを使用してAI Data Engineをデプロイしてください。プロキシの手順はデプロイメントの種類ごとに異なるため、各種類には標準のデプロイメントトピックに代わる独自の完全なトピックが用意されています。
完全な手順については、サポートされているプロキシのタイプについては "AI Data Engineのプロキシについて" を、プロキシで許可するエンドポイントについては "アウトバウンドインターネットアクセス" を参照してください。