Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Migrar datos de HDFS

12/11/2023 Colaboradores

PDF

Tras planificar la migración con scan Puede migrar los datos HDFS.

Copiar

La copy El comando analiza y copia todos los datos de origen del sistema de archivos distribuidos de Hadoop (HDFS) en un bloque NFS o Simple Storage Service (S3). La copy comando requiere tener rutas de origen y destino como variables. Al final de la operación de copia, se muestran los detalles de los archivos escaneados y copiados, el rendimiento, la velocidad y el tiempo transcurrido.

Ejemplo de ruta NFS:

xcp copy -newid <id> hdfs:///demo/user dst_server:/dst_export

Ejemplo de ruta POSIX:

xcp copy -newid <id> hdfs:///demo/user file:///mnt/dest

Ejemplo de ruta S3:

xcp copy -newid <id> hdfs:///demo/user s3://my-bucket
xcp copy -newid <id> -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

Ejecución xcp help copy para obtener más detalles.

Reanudar

La resume el comando reinicia una operación de copia interrumpida previamente especificando el nombre o número del índice del catálogo. El nombre del índice de catálogo o el número de la operación de copia anterior se almacena en la <catalog path>:/catalog/indexes directorio.

Ejemplo:

xcp resume [options] -id <id used for copy>
xcp resume [options] -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> -id <id used for copy>

De forma predeterminada, el XCP resume El comando utiliza el punto final S3 y el perfil S3 del índice de copia que se utilizó durante el copy comando. Sin embargo, si es nuevo -s3.endpoint y.. -s3.profile los valores se proporcionan con el resume comando, se utilizan los nuevos valores para las opciones y los valores utilizados con la copia command se han anulado.

Ejecución xcp help resume para obtener más detalles.

Verificación

La verify el comando usa una comparación completa de datos byte por byte entre los directorios de origen y destino después de la operación de copia sin usar un número de índice de catálogo. El comando lee los archivos en ambos lados y compara los datos.