日本語は機械翻訳による参考訳です。内容に矛盾や不一致があった場合には、英語の内容が優先されます。
HDFSデータを移行
共同作成者
変更を提案
PDF
を使用して移行を計画したら scan コマンドを使用すると、HDFSデータを移行できます。
コピー
。 copy コマンドは、ソースのHadoop分散ファイルシステム（HDFS）データ全体をスキャンし、NFSバケットまたはSimple Storage Service（S3）バケットにコピーします。。 copy コマンドでは、ソースパスとデスティネーションパスを変数として指定する必要があります。スキャンおよびコピーされたファイル、スループット、速度、および経過時間の詳細がコピー処理の終了時に表示されます。
-
NFSパスの例：*
xcp copy -newid <id> hdfs:///demo/user dst_server:/dst_export
-
POSIX パスの例 :*
xcp copy -newid <id> hdfs:///demo/user file:///mnt/dest
-
S3パスの例：*
xcp copy -newid <id> hdfs:///demo/user s3://my-bucket xcp copy -newid <id> -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket
を実行します xcp help copy 詳細：
再開
。 resume コマンドは、カタログインデックスの名前または番号を指定して、中断されていたコピー処理を再開します。前回のコピー操作のカタログインデックス名または番号は、に保存されます <catalog path>:/catalog/indexes ディレクトリ。
-
例： *
xcp resume [options] -id <id used for copy> xcp resume [options] -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> -id <id used for copy>
|
デフォルトでは、XCPです resume コマンドは、で使用したコピーインデックスからS3エンドポイントとS3プロファイルを使用します copy コマンドを実行しますただし、新しい場合 -s3.endpoint および -s3.profile 値はで提供されます resume コマンドを実行すると、オプションの新しい値が使用され、コピーで使用される値が使用されます command オーバーライドされます。
|
を実行します xcp help resume 詳細：
確認します
。 verify コマンドでは、コピー処理後にカタログインデックス番号を使用せずに、ソースディレクトリとターゲットディレクトリのデータを1バイトずつ比較します。コマンドは、両側のファイルを読み取り、データを比較します。
-
例： *
xcp verify hdfs:///demo/user dst_server:/dst_export
-
POSIX パスの例 :*
xcp verify hdfs:///user/demo1/data file:///user/demo1/dest
-
S3パスの例：*
xcp verify hdfs:///user/demo1/data s3://my-bucket xcp verify -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket
を実行します xcp help verify 詳細：