Configurer le connecteur S3
À partir de XCP 1.9.2, le connecteur simple Storage Service (S3) renforce le périmètre de la migration des données XCP en permettant la migration des données à partir des systèmes de fichiers Hadoop Distributed File System (HDFS) vers le stockage objet S3.
Les cas d'usage suivants sont pris en charge pour les connecteurs S3 :
-
Migration de HDFS vers NetApp StorageGRID
-
Migration de HDFS vers Amazon S3
-
Migration de HDFS à NetApp ONTAP S3
Actuellement, MapR est uniquement qualifié et pris en charge pour HDFS. |
Prise en charge du scan
, copy
, verify
, resume
et delete
Des commandes sont disponibles pour les connecteurs S3.
Prise en charge du sync
La commande n'est pas disponible pour les connecteurs S3.
La syntaxe du chemin pour le connecteur S3 est s3://<bucket in S3>
.
-
Vous pouvez fournir un profil S3 spécifique pour les commandes XCP à l'aide de
-s3.profile
option. -
Vous pouvez utiliser le
s3.endpoint
Option permettant de modifier la valeur du noeud final pour communiquer avec S3
L'utilisation du terminal est obligatoire pour StorageGRID et ONTAP S3. |
Configurez un connecteur S3
-
Pour exécuter la commande XCP avec le connecteur S3, créez un compartiment dans S3 en suivant la documentation en ligne de chaque plateforme :
-
"StorageGRID : présentation du compte de locataire"
Avant de continuer, vous devez avoir le access key
,secret key
, L'ensemble de certificats de l'autorité de certification (CA) etendpoint url
informations. XCP identifie le compartiment S3 et se connecte à l'aide de ces paramètres avant de lancer une opération.
-
Installez les packages CLI d'Amazon Web Services (AWS) et exécutez les commandes CLI d'AWS pour configurer les clés et les certificats SSL (Secure Sockets Layer) pour les comptes S3 :
-
Voir "Installation ou mise à jour de la dernière version de l'interface de ligne de commande AWS" Pour installer les packages AWS.
-
Voir la "Référence des commandes de la CLI AWS" pour en savoir plus.
-
-
Utilisez le
aws configure
pour configurer votre fichier d'informations d'identification. Par défaut, l'emplacement du fichier est/root/.aws/credentials
. Le fichier d'informations d'identification doit spécifier la clé d'accès et la clé d'accès secrète. -
Utilisez le
aws configure set
Commande permettant de spécifier un bundle de certificats d'autorité de certification, qui est un fichier contenant le.pem
Extension utilisée lors de la vérification des certificats SSL. Par défaut, l'emplacement du fichier est/root/.aws/config
.Exemple:
[root@client1 ~]# aws configure AWS Access Key ID [None]: <access_key> AWS Secret Access Key [None]: <secret_key> Default region name [None]: Default output format [None]: [root@client1 ~]# cat /root/.aws/credentials [default] aws_access_key_id = <access_key> aws_secret_access_key = <secret_key> [root@client1 ~]# [root@client1 ~]# aws configure set default.ca_bundle /u/xxxx/s3/ca/aws_cacert.pem [root@client1 ~]# cat /root/.aws/config [default] ca_bundle = /u/xxxx/s3/ca/aws_cacert.pem
-
Une fois la configuration d'installation requise terminée, vérifier que les commandes de l'interface de ligne de commande AWS peuvent accéder aux compartiments S3 à partir du client Linux avant d'exécuter les commandes XCP :
aws s3 ls --endpoint-url <endpoint_url> s3://bucket-name/
aws s3 ls --profile <profile> --endpoint-url <endpoint_url> s3://bucket-name
Exemple:
[root@client1 linux]# aws s3 ls --profile <profile> --endpoint <endpoint_url> s3://<bucket-name> PRE 1G/ PRE aws_files/ PRE copied_folders/ PRE d1/ PRE d2/ PRE giant_size_dirs/ PRE medium_size_dirs/ PRE small_size_dirs/ [root@client1 l