La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Migrare i dati HDFS

12/11/2023 Collaboratori

PDF

Dopo aver pianificato la migrazione con scan , puoi migrare i dati HDFS.

Copia

Il copy Command esegue la scansione e copia dell'intero Hadoop Distributed file System (HDFS) di origine su un bucket NFS o Simple Storage Service (S3). Il copy il comando richiede la presenza di percorsi di origine e destinazione come variabili. Al termine dell'operazione di copia, vengono visualizzati i dati relativi a file sottoposti a scansione e copiati, throughput, velocità e tempo trascorso.

Esempio di percorso NFS:

xcp copy -newid <id> hdfs:///demo/user dst_server:/dst_export

Esempio di percorso POSIX:

xcp copy -newid <id> hdfs:///demo/user file:///mnt/dest

Esempio di percorso S3:

xcp copy -newid <id> hdfs:///demo/user s3://my-bucket
xcp copy -newid <id> -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> hdfs:///demo/user s3://my-bucket

Eseguire xcp help copy per ulteriori dettagli.

Riprendi

Il resume command riavvia un'operazione di copia precedentemente interrotta specificando il nome o il numero dell'indice del catalogo. Il nome o il numero dell'indice del catalogo dell'operazione di copia precedente viene memorizzato in <catalog path>:/catalog/indexes directory.

Esempio:

xcp resume [options] -id <id used for copy>
xcp resume [options] -s3.profile <s3 profile name> -s3.endpoint <endpoint-url> -id <id used for copy>

Per impostazione predefinita, XCP resume Il comando utilizza l'endpoint S3 e il profilo S3 dall'indice di copia utilizzato durante copy comando. Tuttavia, se nuovo -s3.endpoint e. -s3.profile i valori vengono forniti con resume comando, vengono utilizzati i nuovi valori per le opzioni e i valori utilizzati con la copia command vengono ignorati.

Eseguire xcp help resume per ulteriori dettagli.

Verificare

Il verify command utilizza un confronto completo dei dati byte per byte tra le directory di origine e di destinazione dopo l'operazione di copia senza utilizzare un numero di indice del catalogo. Il comando legge i file su entrambi i lati e confronta i dati.