Skip to main content
NetApp artificial intelligence solutions
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

データムーバーソリューション

PDF

ビッグ データ クラスターでは、データは MapR-FS、Windows Azure Storage Blob、S3、Google ファイル システムなどの HDFS または HCFS に保存されます。 NIPAMの助けを借りて、HDFS、MapR-FS、S3をソースとしてNetApp ONTAP NFSエクスポートにデータをコピーするテストを実施しました。 `hadoop distcp`ソースからのコマンド。

次の図は、 NVIDIA がAI 操作を処理できるように、HDFS ストレージで実行されている Spark クラスターからNetApp ONTAP NFS ボリュームへの一般的なデータ移動を示しています。

入出力ダイアログまたは書かれたコンテンツを示す図

その `hadoop distcp`コマンドは MapReduce プログラムを使用してデータをコピーします。 NIPAM は MapReduce と連携して、データをコピーするときに Hadoop クラスターのドライバーとして機能します。 NIPAM は、単一のエクスポートに対して複数のネットワーク インターフェイスに負荷を分散できます。このプロセスは、HDFS または HCFS から NFS にデータをコピーするときに、複数のネットワーク インターフェイスにデータを分散することで、ネットワーク スループットを最大化します。

メモ NIPAM は MapR ではサポートも認定もされていません。