S3 커넥터를 구성합니다
xCP 1.9.2부터 S3(Simple Storage Service) 커넥터를 사용하면 HDFS(Hadoop Distributed File System) 파일 시스템에서 S3 오브젝트 스토리지로 데이터를 마이그레이션할 수 있으므로 XCP 데이터 마이그레이션 범위가 향상됩니다.
S3 커넥터에 대해 지원되는 마이그레이션 사용 사례는 다음과 같습니다.
-
HDFS에서 NetApp StorageGRID로 마이그레이션
-
HDFS에서 Amazon S3로 마이그레이션
-
HDFS에서 NetApp ONTAP S3로 마이그레이션
현재 MapR는 HDFS에 대해서만 검증 및 지원됩니다. |
에 대한 지원 scan
, copy
, verify
, resume
및 delete
S3 커넥터에 대해 명령을 사용할 수 있습니다.
에 대한 지원 sync
S3 커넥터에 대해 명령을 사용할 수 없습니다.
S3 커넥터의 경로 구문은 입니다 s3://<bucket in S3>
.
-
를 사용하여 XCP 명령에 대한 특정 S3 프로필을 제공할 수 있습니다
-s3.profile
옵션을 선택합니다. -
를 사용할 수 있습니다
s3.endpoint
S3와 통신하도록 끝점 값을 수정하는 옵션입니다
StorageGRID 및 ONTAP S3의 경우 엔드포인트 사용이 필요합니다. |
S3 커넥터를 설정합니다
-
S3 커넥터를 사용하여 xCP 명령을 실행하려면 해당 플랫폼에 대한 온라인 설명서에 따라 S3에 버킷을 생성합니다.
-
"StorageGRID: 테넌트 계정 개요를 사용합니다"
계속하기 전에 가 있어야 합니다 access key
,secret key
, CA(인증 기관) 인증서 번들 및 을 참조하십시오endpoint url
정보. xCP는 작업을 시작하기 전에 이러한 매개변수를 사용하여 S3 버킷을 식별하고 연결합니다.
-
AWS(Amazon Web Services) CLI 패키지를 설치하고 AWS CLI 명령을 실행하여 S3 계정에 대한 키 및 SSL(Secure Sockets Layer) 인증서를 구성합니다.
-
을 참조하십시오 "최신 버전의 AWS CLI 설치 또는 업데이트" 를 눌러 AWS 패키지를 설치합니다.
-
를 참조하십시오 "AWS CLI 명령 참조" 를 참조하십시오.
-
-
를 사용합니다
aws configure
자격 증명 파일을 구성하는 명령입니다. 기본적으로 파일 위치는 입니다/root/.aws/credentials
. 자격 증명 파일은 액세스 키와 비밀 액세스 키를 지정해야 합니다. -
를 사용합니다
aws configure set
가 포함된 파일인 CA 인증서 번들을 지정하는 명령입니다.pem
SSL 인증서를 확인할 때 사용되는 확장자입니다. 기본적으로 파일 위치는 입니다/root/.aws/config
.-
예: *
[root@client1 ~]# aws configure AWS Access Key ID [None]: <access_key> AWS Secret Access Key [None]: <secret_key> Default region name [None]: Default output format [None]: [root@client1 ~]# cat /root/.aws/credentials [default] aws_access_key_id = <access_key> aws_secret_access_key = <secret_key> [root@client1 ~]# [root@client1 ~]# aws configure set default.ca_bundle /u/xxxx/s3/ca/aws_cacert.pem [root@client1 ~]# cat /root/.aws/config [default] ca_bundle = /u/xxxx/s3/ca/aws_cacert.pem
-
-
필요한 설정 구성이 완료된 후 xCP 명령을 실행하기 전에 AWS CLI 명령이 Linux 클라이언트에서 S3 버킷을 액세스할 수 있는지 확인합니다.
aws s3 ls --endpoint-url <endpoint_url> s3://bucket-name/
aws s3 ls --profile <profile> --endpoint-url <endpoint_url> s3://bucket-name
-
예: *
[root@client1 linux]# aws s3 ls --profile <profile> --endpoint <endpoint_url> s3://<bucket-name> PRE 1G/ PRE aws_files/ PRE copied_folders/ PRE d1/ PRE d2/ PRE giant_size_dirs/ PRE medium_size_dirs/ PRE small_size_dirs/ [root@client1 l
-