Skip to main content
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

HDFS 데이터를 마이그레이션합니다

기여자
PDF

를 사용하여 마이그레이션을 계획한 후 scan 명령을 사용하여 HDFS 데이터를 마이그레이션할 수 있습니다.

복사

를 클릭합니다 copy 명령을 실행하면 전체 소스 HDFS(Hadoop Distributed File System) 데이터가 NFS 또는 S3(Simple Storage Service) 버킷으로 스캔되어 복제됩니다. 를 클릭합니다 copy 명령을 실행하려면 소스 및 대상 경로가 변수로 필요합니다. 스캔 및 복사된 파일, 처리량, 속도 및 경과 시간 세부 정보가 복사 작업 종료 시 표시됩니다.

  • NFS 경로 예: *

xcp copy -newid <id> hdfs:///demo/user dst_server:/dst_export

  • POSIX 경로 예: *

xcp copy -newid <id> hdfs:///demo/user file:///mnt/dest

  • S3 경로 예: *

xcp copy -newid <id> hdfs:///demo/user s3://my-bucket
xcp copy -newid <id> -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

실행 xcp help copy 를 참조하십시오.

다시 시작

를 클릭합니다 resume 명령 카탈로그 인덱스 이름 또는 번호를 지정하여 이전에 중단된 복제 작업을 다시 시작합니다. 카탈로그 인덱스 이름 또는 이전 복사 작업의 번호가 에 저장됩니다 <catalog path>:/catalog/indexes 디렉토리.

  • 예: *

xcp resume [options] -id <id used for copy>
xcp resume [options] -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> -id <id used for copy>
참고 기본적으로 XCP는 resume 명령은 에서 사용된 복사본 인덱스의 S3 엔드포인트 및 S3 프로필을 사용합니다 copy 명령. 그러나 새로운 경우 -s3.endpoint 및 -s3.profile 값은 와 함께 제공됩니다 resume 명령, 옵션의 새 값 및 사본에 사용되는 값이 사용됩니다 command 재정의됩니다.

실행 xcp help resume 를 참조하십시오.

확인합니다

를 클릭합니다 verify 명령은 카탈로그 인덱스 번호를 사용하지 않고 복제 작업 후 소스 디렉토리와 타겟 디렉토리 간에 전체 바이트 단위 데이터 비교를 사용합니다. 명령은 양쪽 모두에서 파일을 읽고 데이터를 비교합니다.

  • 예: *

xcp verify hdfs:///demo/user dst_server:/dst_export

  • POSIX 경로 예: *

xcp verify hdfs:///user/demo1/data file:///user/demo1/dest

  • S3 경로 예: *

xcp verify hdfs:///user/demo1/data s3://my-bucket
xcp verify -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

실행 xcp help verify 를 참조하십시오.