Skip to main content
日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。

HDFSデータを移行

共同作成者
PDF

を使用して移行を計画したら scan コマンドを使用すると、HDFSデータを移行できます。

コピー

。 copy コマンドは、ソースのHadoop分散ファイルシステム（HDFS）データ全体をスキャンし、NFSバケットまたはSimple Storage Service（S3）バケットにコピーします。。 copy コマンドでは、ソースパスとデスティネーションパスを変数として指定する必要があります。スキャンおよびコピーされたファイル、スループット、速度、および経過時間の詳細がコピー処理の終了時に表示されます。

  • NFSパスの例：*

xcp copy -newid <id> hdfs:///demo/user dst_server:/dst_export

  • POSIX パスの例 :*

xcp copy -newid <id> hdfs:///demo/user file:///mnt/dest

  • S3パスの例：*

xcp copy -newid <id> hdfs:///demo/user s3://my-bucket
xcp copy -newid <id> -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

を実行します xcp help copy 詳細：

再開

。 resume コマンドは、カタログインデックスの名前または番号を指定して、中断されていたコピー処理を再開します。前回のコピー操作のカタログインデックス名または番号は、に保存されます <catalog path>:/catalog/indexes ディレクトリ。

  • 例： *

xcp resume [options] -id <id used for copy>
xcp resume [options] -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> -id <id used for copy>
メモ デフォルトでは、XCPです resume コマンドは、で使用したコピーインデックスからS3エンドポイントとS3プロファイルを使用します copy コマンドを実行しますただし、新しい場合 -s3.endpoint および -s3.profile 値はで提供されます resume コマンドを実行すると、オプションの新しい値が使用され、コピーで使用される値が使用されます command オーバーライドされます。

を実行します xcp help resume 詳細：

確認します

。 verify コマンドでは、コピー処理後にカタログインデックス番号を使用せずに、ソースディレクトリとターゲットディレクトリのデータを1バイトずつ比較します。コマンドは、両側のファイルを読み取り、データを比較します。

  • 例： *

xcp verify hdfs:///demo/user dst_server:/dst_export

  • POSIX パスの例 :*

xcp verify hdfs:///user/demo1/data file:///user/demo1/dest

  • S3パスの例：*

xcp verify hdfs:///user/demo1/data s3://my-bucket
xcp verify -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

を実行します xcp help verify 詳細：