Skip to main content
NetApp artificial intelligence solutions
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

AI向けデータムーバーソリューション

PDF

AI 向けデータ ムーバー ソリューションは、AI 操作からの Hadoop データを処理するという顧客のニーズに基づいています。 NetApp はNIPAM を使用して HDFS から NFS にデータを移動します。あるユースケースでは、顧客はオンプレミスの NFS にデータを移動する必要があり、別の顧客はクラウド内の GPU クラウド インスタンスからのデータを処理するために、Windows Azure Storage Blob からGoogle Cloud NetApp Volumesにデータを移動する必要がありました。

次の図は、データ ムーバー ソリューションの詳細を示しています。

入出力ダイアログまたは書かれたコンテンツを示す図

データ ムーバー ソリューションを構築するには、次の手順が必要です。

  1. ONTAP SAN は HDFS を提供し、NAS は NIPAM を介して実稼働データ レイク クラスターに NFS ボリュームを提供します。

  2. 顧客のデータは HDFS と NFS に保存されています。 NFS データは、ビッグ データ分析や AI 操作に使用される他のアプリケーションからの実稼働データである場合があります。

  3. NetApp FlexCloneテクノロジーは、本番環境の NFS ボリュームのクローンを作成し、オンプレミスの AI クラスターにプロビジョニングします。

  4. HDFS SAN LUNからのデータはNIPAMを使用してNFSボリュームにコピーされ、 `hadoop distcp`指示。 NIPAM は複数のネットワーク インターフェイスの帯域幅を使用してデータを転送します。このプロセスによりデータのコピー時間が短縮され、より多くのデータを転送できるようになります。

  5. 両方の NFS ボリュームは、AI 操作用に AI クラスターにプロビジョニングされます。

  6. オンプレミスの NFS データをクラウドの GPU で処理するために、NFS ボリュームはNetApp SnapMirrorテクノロジーを使用してNetApp Private Storage (NPS) にミラーリングされ、GPU のクラウド サービス プロバイダーにマウントされます。

  7. 顧客は、クラウド サービス プロバイダーの GPU で EC2/EMR、HDInsight、または DataProc サービスのデータを処理したいと考えています。 HadoopデータムーバーはHadoopサービスからNIPAMを使用してGoogle Cloud NetApp Volumesにデータを移動し、 `hadoop distcp`指示。

  8. Google Cloud NetApp Volumes のデータは、NFS プロトコルを通じて AI にプロビジョニングされます。AI を通じて処理されたデータは、NIPAM、 SnapMirror 、NPS を通じてNVIDIAクラスタだけでなく、オンプレミスの場所にビッグ データ分析のために送信することもできます。

このシナリオでは、お客様は、オンプレミスのNetAppストレージ コントローラでの AI 処理に必要な、リモート ロケーションの NAS システムに大量のファイル数のデータを保持しています。このシナリオでは、XCP 移行ツールを使用して、より高速にデータを移行することをお勧めします。

ハイブリッド ユース ケースのお客様は、 BlueXP Copy and Sync を使用してオンプレミスのデータを NFS、CIFS、S3 データからクラウドに移行したり、その逆を行ったりして、 NVIDIAクラスターなどの GPU を使用して AI 処理を行うことができます。 BlueXP Copy and Sync と XCP Migration Tool の両方が、 NetApp ONTAP NFS への NFS データ移行に使用されます。