Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

Data Mover の解決策

共同作成者
PDF

ビッグデータクラスタでは、 MapR -FS 、 Windows Azure Storage Blob 、 S3 、 Google ファイルシステムなどの HDFS または HCFS にデータが格納されます。NIPAMの助けを借りて、HDFS、MapR-FS、S3をソースとしてテストを実行し、ソースからコマンドを使用してNetApp ONTAP NFSエクスポートにデータをコピーしました hadoop distcp。

次の図は、 HDFS ストレージで稼働している Spark クラスタから、 NVIDIA が AI 処理を行えるようにするための NetApp ONTAP NFS ボリュームへの、一般的なデータ移動を示しています。

入力/出力ダイアログを示す図、または書き込まれた内容を表す図

コマンドは hadoop distcp、MapReduceプログラムを使用してデータをコピーします。NIPAM は MapReduce と連携して、データをコピーする際の Hadoop クラスタのドライバとして機能します。NIPAM では、 1 つのエクスポートのために複数のネットワークインターフェイスに負荷を分散できます。このプロセスにより、 HDFS または HCFS から NFS にデータをコピーするときに、複数のネットワークインターフェイスにデータを分散させることにより、ネットワークスループットが最大になります。

メモ NIPAM は MapR でサポートまたは認定されていません。