Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

AI 向け Data Mover 解決策

共同作成者
PDF

Data Mover 解決策 for AI は、お客様のニーズに基づいて AI 運用の Hadoop データを処理します。ネットアップは、 NIPAM を使用して HDFS から NFS にデータを移動します。あるユースケースでは、オンプレミスのNFSにデータを移動する必要があり、別のお客様は、クラウドのGPUクラウドインスタンスからデータを処理するために、Windows Azure Storage BlobからGoogle Cloud NetApp Volumeにデータを移動する必要がありました。

次の図は、 Data Mover の解決策の詳細を示しています。

入力/出力ダイアログを示す図、または書き込まれた内容を表す図

Data Mover 解決策を構築するには、次の手順が必要です。

  1. ONTAP SAN は HDFS を提供し、 NAS は NIPAM 経由で本番データレイククラスタに NFS ボリュームを提供します。

  2. お客様のデータは HDFS と NFS にあります。NFS データは、ビッグデータ分析や AI 処理に使用される他のアプリケーションの本番データにすることができます。

  3. NetApp FlexClone テクノロジは、本番用 NFS ボリュームのクローンを作成し、オンプレミスの AI クラスタにプロビジョニングします。

  4. HDFS SAN LUN からのデータは、 NIPAM および「 hadoop distcp 」コマンドによって NFS ボリュームにコピーされます。NIPAM は、複数のネットワークインターフェイスの帯域幅を使用してデータを転送します。この処理によってデータコピー時間が短縮され、より多くのデータを転送できるようになります。

  5. どちらの NFS ボリュームも、 AI 処理用に AI クラスタにプロビジョニングされます。

  6. オンプレミスの NFS データを処理するために、クラウド内の GPU を使用する場合は、 NFS ボリュームが NetApp SnapMirror テクノロジを使用して NetApp Private Storage （ NPS ）にミラーリングされ、 GPU のクラウドサービスプロバイダにマウントされます。

  7. お客様は、 GPU のデータをクラウドサービスプロバイダから EC2 / EMR 、 HDInsight 、または DataProc サービスで処理したいと考えています。Hadoopデータムーバーは、NIPAMとコマンドを使用して、HadoopサービスからGoogle Cloud NetApp Volumeにデータを移動します hadoop distcp。

  8. Google Cloud NetApp Volumeのデータは、NFSプロトコルを使用してAIにプロビジョニングされます。AIで処理されたデータは、NIPAM、SnapMirror、NPS経由でNVIDIAクラスタに加えて、オンプレミスの場所でもビッグデータ分析用に送信できます。

このシナリオでは、 NAS システム内のファイル数が多く、オンプレミスのネットアップストレージコントローラで AI 処理を実行するために必要なリモートサイトにデータが配置されています。このシナリオでは、 XCP Migration Tool を使用してデータをより高速に移行することをお勧めします。

ハイブリッドユースケースでは、BlueXPのCopy and Syncを使用してオンプレミスのデータをNFS、CIFS、S3のデータからクラウドに移行し、NVIDIAクラスタ内のGPUなどを使用してAI処理を行うことができます。BlueXPのコピーと同期とXCP移行ツールは、NetApp ONTAP NFSへのNFSデータ移行に使用します。