copiar
El NFS de XCP copy
El comando analiza y copia toda la estructura del directorio de origen en una exportación NFSv3 de destino.
La copy
comando requiere tener rutas de origen y destino como variables. Al final de la operación de copia, se muestran los detalles de los archivos escaneados y copiados, el rendimiento, la velocidad y el tiempo transcurrido.
|
|
Muestra el ejemplo
root@localhost linux]# ./xcp copy <IP address of NFS server>:/source_vol < IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.46.33.153705 Xcp command : xcp copy <IP address of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 38.9 KiB in (51.2 KiB/s), 81.2 KiB out (107KiB/s) Total Time : 0s. STATUS : PASSED
En la siguiente tabla, se muestra el copy
parámetros y su descripción.
Parámetro | Descripción |
---|---|
Excluye nombres de usuarios y grupos de listados de archivos e informes. |
|
Sólo procesa archivos y directorios que coincidan con el filtro. |
|
Genera sumas de comprobación en los archivos y guarda las sumas de comprobación al indexar (valor por defecto: False). |
|
<<copy_dircount,copiar -dircount [k]> |
Especifica el tamaño de solicitud al leer directorios. |
Incluye la estimación de deduplicación en informes. |
|
<<copy_bs,copiar -bs [k]> |
Especifica el tamaño del bloque de lectura/escritura (valor predeterminado: 64K). |
Especifica el Núm. Máximo de procesos por lotes simultáneos (valor por defecto: 7). |
|
Restaura todos los archivos a la fecha de último acceso en el origen. |
|
Proporciona la opción de utilizar HTTP en lugar de HTTPS para la comunicación del bloque S3. |
|
<<copy_s3_endpoint,copiar -s3.endpoint > |
Reemplaza la URL de punto final predeterminada de Amazon Web Services (AWS) con la URL especificada para la comunicación del bloque S3. |
<<copy_s3_profile,copiar -s3.profile > |
Especifica un perfil del archivo de credenciales de AWS para la comunicación del bloque S3. |
Anula la verificación predeterminada de la certificación SSL para la comunicación del bloque S3. |
copiar -nombres distintos
Utilice la -nonames
con el copy
comando para excluir nombres de usuarios y grupos de listados de archivos o informes.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -nonames <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.48.48.147261 Xcp command : xcp copy -nonames <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 38.9 KiB in (53.5 KiB/s), 81.3 KiB out (112 KiB/s) Total Time : 0s. STATUS : PASSED
copiar -coincidir <filter>
Utilice la -match <filter>
con el copy
comando para especificar que sólo se procesan los archivos y directorios que coinciden con un filtro.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -match bin <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 04_00.00.07.125990 Xcp command : xcp copy -match bin <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 18 matched, 17 copied, 0 error Speed : 39.1 KiB in (52.6 KiB/s), 81.7 KiB out (110 KiB/s) Total Time : 0s. STATUS : PASSED
copia: md5 <string_expression>
Utilice la -md5
con el copy
comando para generar sumas de comprobación para los listados de archivos y guardar las sumas de comprobación al indexar. De forma predeterminada, el valor se establece en FALSE.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -md5 <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.47.41.137615 Xcp command : xcp copy -md5 <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 38.9 KiB in (52.1 KiB/s), 81.3 KiB out (109 KiB/s) Total Time : 0s. STATUS : PASSED
copiar -dircount <n[k]>
Utilice la -dircount <n[k]>
con el copy
comando para especificar el tamaño de solicitud al leer directorios. El valor predeterminado es 64k.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -dircount 32k <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.58.01.094460 Xcp command : xcp copy -dircount 32k <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server >:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 39.1 KiB in (56.7 KiB/s), 81.6 KiB out (119 KiB/s) Total Time : 0s. STATUS : PASSED
copiar -educ
Utilice la -edupe
con el copy
comando para incluir la estimación de deduplicación en los informes.
|
Simple Storage Service (S3) no admite archivos dispersos. Por lo tanto, se especifica un bucket S3 como destino de copy -edupe Devuelve el valor Ninguno para los datos dispersos.
|
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -edupe <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.48.10.436325 == Maximum Values == Size Used Depth Namelen Dirsize 1 KiB 4 KiB 2 11 9 == Average Values == Namelen Size Depth Dirsize 6 682 1 5 == Top Space Users == root 52 KiB == Top File Owners == root 18 == Top File Extensions == .txt other 5 10 == Number of files == empty <8KiB 8-64KiB 64KiB-1MiB 1-10MiB 10-100MiB >100MiB 4 11 == Space used == empty <8KiB 8-64KiB 64KiB-1MiB 1-10MiB 10-100MiB >100MiB 40 KiB == Directory entries == empty 1-10 3 10-100 100-1K 1K-10K >10K == Depth == 0-5 6-10 11-15 16-20 21-100 >100 18 == Accessed == >1 year >1 month 1-31 days 1-24 hrs <1 hour <15 mins future 4 11 == Modified == >1 year >1 month 1-31 days 1-24 hrs <1 hour <15 mins future 10 5 == Changed == >1 year >1 month 1-31 days 1-24 hrs <1 hour <15 mins future 10 5 Total count: 18 Directories: 3 Regular files: 15 Symbolic links: None Special files: None Hard links: None, multilink files: None, Space Saved by Hard links (KB): 0 Sparse data: None Dedupe estimate: N/A Total space for regular files: size: 10.0 KiB, used: 40 KiB Total space for symlinks: size: 0, used: 0 Total space for directories: size: 12 KiB, used: 12 KiB Total space used: 52 KiB Xcp command : xcp copy -edupe <IP address or hostname of NFS server>:/source_vol <destination NFS export path>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 38.9 KiB in (36.7 KiB/s), 81.3 KiB out (76.7 KiB/s) Total Time : 1s. STATUS : PASSED
<n[k]> de copia -bs
Utilice la -bs <n[k]>
con el copy
comando para especificar el tamaño del bloque de lectura/escritura. El tamaño de bloque predeterminado es de 64k KB.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -bs 32k <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.57.04.742145 Xcp command : xcp copy -bs 32k <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 39.1 KiB in (115 KiB/s), 81.6 KiB out (241 KiB/s) Total Time : 0s. STATUS : PASSED
copiar <n> paralelo
Utilice la -parallel <n>
con el copy
comando para especificar el núm. máximo de procesos por lotes simultáneos. El valor predeterminado es 7.
Muestra el ejemplo
[root@localhost linux]# ./xcp copy -parallel 4 <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: autoname_copy_2020-03- 03_23.59.41.477783 Xcp command : xcp copy -parallel 4 <IP address or hostname of NFS server>:/source_vol <IP address of destination NFS server>:/dest_vol 18 scanned, 0 matched, 17 copied, 0 error Speed : 39.1 KiB in (35.6 KiB/s), 81.6 KiB out (74.4 KiB/s) Total Time : 1s. STATUS : PASSED
copiar -preserve-atime
Utilice la -preserve-atime
con el copy
comando para restaurar todos los archivos a la fecha de último acceso en el origen.
La -preserve-atime
La opción restablece el tiempo de acceso al valor original establecido antes de la operación de lectura XCP.
Muestra el ejemplo
[root@client1 linux]# ./xcp copy -preserve-atime 101.10.10.10:/source_vol 10.102.102.10:/dest_vol xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2022-06- 30_14.22.53.742272 xcp: Job ID: Job_XCP_copy_2022-06-30_14.22.53.742272_2022-06-30_14.22.53.742272_copy Xcp command : xcp copy -preserve-atime 101.10.10.10:/source_vol 10.102.102.10:/dest_vol Stats : 55 scanned, 54 copied, 55 indexed Speed : 1.26 MiB in (852 KiB/s), 1.32 MiB out (896 KiB/s) Total Time : 1s. Migration ID: XCP_copy_2022-06-30_14.22.53.742272 Job ID : Job_XCP_copy_2022-06-30_14.22.53.742272_2022-06-30_14.22.53.742272_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2022-06-30_14.22.53.742272_2022-06- 30_14.22.53.742272_copy.log STATUS : PASSED [root@client1 linux]#
copia -s3.insecure
Utilice la -s3.insecure
con el copy
Comando que se utiliza HTTP en lugar de HTTPS para la comunicación del bloque S3.
Muestra el ejemplo
[root@client1 linux]# ./xcp copy -s3.insecure hdfs:///user/test s3://bucket1 xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 08_09.01.47.581599 Job ID: Job_XCP_copy_2023-06-08_09.01.47.581599_copy Xcp command : xcp copy -s3.insecure hdfs:///user/test s3://bucket1 Stats : 8 scanned, 5 copied, 8 indexed, 5 KiB s3.data.uploaded, 5 s3.copied.single.key.file, 5 s3.copied.file Speed : 6.78 KiB in (1.86 KiB/s), 83.3 KiB out (22.9 KiB/s) Total Time : 3s. Migration ID: XCP_copy_2023-06-08_09.01.47.581599 Job ID : Job_XCP_copy_2023-06-08_09.01.47.581599_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-08_09.01.47.581599_copy.log STATUS : PASSED [root@client1 linux]# ./xcp copy -s3.insecure hdfs:///user/demo s3://bucket1 xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 08_09.15.58.807485 Job ID: Job_XCP_copy_2023-06-08_09.15.58.807485_copy Xcp command : xcp copy -s3.insecure hdfs:///user/demo s3://bucket1 Stats : 8 scanned, 5 copied, 8 indexed, 5 KiB s3.data.uploaded, 5 s3.copied.single.key.file, 5 s3.copied.file Speed : 10.4 KiB in (3.60 KiB/s), 85.3 KiB out (29.6 KiB/s) Total Time : 2s. Migration ID: XCP_copy_2023-06-08_09.15.58.807485 Job ID : Job_XCP_copy_2023-06-08_09.15.58.807485_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-08_09.15.58.807485_copy.log STATUS : PASSED
copie -s3.endpoint <s3_endpoint_url>
Utilice la -s3.endpoint <s3_endpoint_url>
con el copy
Comando para sustituir la URL de punto final de AWS predeterminada con una URL especificada para la comunicación del bloque S3.
Muestra el ejemplo
root@client1 linux]# ./xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/test s3://xcp-testing xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_11.20.32.571348 Job ID: Job_XCP_copy_2023-06-13_11.20.32.571348_copy Xcp command : xcp copy -s3.endpoint https://<endpoint_url> hdfs:///user/test s3://xcp-testing Stats : 8 scanned, 5 copied, 8 indexed, 5 KiB s3.data.uploaded, 5 s3.copied.single.key.file, 5 s3.copied.file Speed : 6.78 KiB in (1.77 KiB/s), 83.6 KiB out (21.8 KiB/s) Total Time : 3s. Migration ID: XCP_copy_2023-06-13_11.20.32.571348 Job ID : Job_XCP_copy_2023-06-13_11.20.32.571348_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_11.20.32.571348_copy.log STATUS : PASSED [root@client1 linux]# ./xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://xcp-testing xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_11.40.26.913130 Job ID: Job_XCP_copy_2023-06-13_11.40.26.913130_copy 15,009 scanned, 1,462 copied, 9 indexed, 1.46 MiB s3.data.uploaded, 1,491 s3.copied.single.key.file, 1,491 s3.copied.file, 4.58 MiB in (933 KiB/s), 1.72 MiB out (350 KiB/s), 5s 15,009 scanned, 4,283 copied, 9 indexed, 4.20 MiB s3.data.uploaded, 4,302 s3.copied.single.key.file, 4,302 s3.copied.file, 7.70 MiB in (629 KiB/s), 4.85 MiB out (632 KiB/s), 10s 15,009 scanned, 7,323 copied, 9 indexed, 7.17 MiB s3.data.uploaded, 7,343 s3.copied.single.key.file, 7,343 s3.copied.file, 11.0 MiB in (672 KiB/s), 8.24 MiB out (681 KiB/s), 15s 15,009 scanned, 10,427 copied, 9 indexed, 10.2 MiB s3.data.uploaded, 10,439 s3.copied.single.key.file, 10,439 s3.copied.file, 14.5 MiB in (690 KiB/s), 11.7 MiB out (695 KiB/s), 20s 15,009 scanned, 13,445 copied, 9 indexed, 13.1 MiB s3.data.uploaded, 13,454 s3.copied.single.key.file, 13,454 s3.copied.file, 17.8 MiB in (676 KiB/s), 15.0 MiB out (682 KiB/s), 25s Xcp command : xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://xcp-testing Stats : 15,009 scanned, 15,005 copied, 15,009 indexed, 14.7 MiB s3.data.uploaded, 15,005 s3.copied.single.key.file, 15,005 s3.copied.file Speed : 19.2 MiB in (712 KiB/s), 17.1 MiB out (635 KiB/s) Total Time : 27s. Migration ID: XCP_copy_2023-06-13_11.40.26.913130 Job ID : Job_XCP_copy_2023-06-13_11.40.26.913130_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_11.40.26.913130_copy.log STATUS : PASSED
copiar -s3.profile <name>
Utilice la s3.profile
con el copy
Comando para especificar un perfil del archivo de credenciales de AWS para la comunicación del bloque S3.
Muestra el ejemplo
root@client1 linux]# ./xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/test s3://xcp-testing xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_11.20.32.571348 Job ID: Job_XCP_copy_2023-06-13_11.20.32.571348_copy Xcp command : xcp copy -s3.endpoint https://<endpoint_url> hdfs:///user/test s3://xcp-testing Stats : 8 scanned, 5 copied, 8 indexed, 5 KiB s3.data.uploaded, 5 s3.copied.single.key.file, 5 s3.copied.file Speed : 6.78 KiB in (1.77 KiB/s), 83.6 KiB out (21.8 KiB/s) Total Time : 3s. Migration ID: XCP_copy_2023-06-13_11.20.32.571348 Job ID : Job_XCP_copy_2023-06-13_11.20.32.571348_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_11.20.32.571348_copy.log STATUS : PASSED [root@client1 linux]# ./xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://xcp-testing xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_11.40.26.913130 Job ID: Job_XCP_copy_2023-06-13_11.40.26.913130_copy 15,009 scanned, 1,462 copied, 9 indexed, 1.46 MiB s3.data.uploaded, 1,491 s3.copied.single.key.file, 1,491 s3.copied.file, 4.58 MiB in (933 KiB/s), 1.72 MiB out (350 KiB/s), 5s 15,009 scanned, 4,283 copied, 9 indexed, 4.20 MiB s3.data.uploaded, 4,302 s3.copied.single.key.file, 4,302 s3.copied.file, 7.70 MiB in (629 KiB/s), 4.85 MiB out (632 KiB/s), 10s 15,009 scanned, 7,323 copied, 9 indexed, 7.17 MiB s3.data.uploaded, 7,343 s3.copied.single.key.file, 7,343 s3.copied.file, 11.0 MiB in (672 KiB/s), 8.24 MiB out (681 KiB/s), 15s 15,009 scanned, 10,427 copied, 9 indexed, 10.2 MiB s3.data.uploaded, 10,439 s3.copied.single.key.file, 10,439 s3.copied.file, 14.5 MiB in (690 KiB/s), 11.7 MiB out (695 KiB/s), 20s 15,009 scanned, 13,445 copied, 9 indexed, 13.1 MiB s3.data.uploaded, 13,454 s3.copied.single.key.file, 13,454 s3.copied.file, 17.8 MiB in (676 KiB/s), 15.0 MiB out (682 KiB/s), 25s Xcp command : xcp copy -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://xcp-testing Stats : 15,009 scanned, 15,005 copied, 15,009 indexed, 14.7 MiB s3.data.uploaded, 15,005 s3.copied.single.key.file, 15,005 s3.copied.file Speed : 19.2 MiB in (712 KiB/s), 17.1 MiB out (635 KiB/s) Total Time : 27s. Migration ID: XCP_copy_2023-06-13_11.40.26.913130 Job ID : Job_XCP_copy_2023-06-13_11.40.26.913130_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_11.40.26.913130_copy.log STATUS : PASSED
copia -s3.noverify
Utilice la -s3.noverify
con el copy
Comando para anular la verificación predeterminada de la certificación SSL para la comunicación del bloque S3.
Muestra el ejemplo
[root@client1 linux]# ./xcp copy -s3.noverify hdfs://user/test s3:// bucket1 xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_10.57.41.994969 Job ID: Job_XCP_copy_2023-06-13_10.57.41.994969_copy Xcp command : xcp copy -s3.noverify hdfs://user/test s3://bucket1 Stats : 8 scanned, 5 copied, 8 indexed, 5 KiB s3.data.uploaded, 5 s3.copied.single.key.file, 5 s3.copied.file Speed : 6.78 KiB in (2.36 KiB/s), 83.3 KiB out (29.0 KiB/s) Total Time : 2s. Migration ID: XCP_copy_2023-06-13_10.57.41.994969 Job ID : Job_XCP_copy_2023-06-13_10.57.41.994969_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_10.57.41.994969_copy.log STATUS : PASSED ./xcp copy -s3.profile sg -s3.noverify -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://bucket1 xcp: WARNING: No index name has been specified, creating one with name: XCP_copy_2023-06- 13_11.26.56.143287 Job ID: Job_XCP_copy_2023-06-13_11.26.56.143287_copy 1 scanned, 9.95 KiB in (1.99 KiB/s), 12.9 KiB out (2.58 KiB/s), 5s 15,009 scanned, 1,555 copied, 9 indexed, 1.54 MiB s3.data.uploaded, 1,572 s3.copied.single.key.file, 1,572 s3.copied.file, 4.68 MiB in (951 KiB/s), 1.81 MiB out (365 KiB/s), 10s 15,009 scanned, 4,546 copied, 9 indexed, 4.46 MiB s3.data.uploaded, 4,572 s3.copied.single.key.file, 4,572 s3.copied.file, 7.95 MiB in (660 KiB/s), 5.15 MiB out (674 KiB/s), 15s 15,009 scanned, 7,702 copied, 9 indexed, 7.53 MiB s3.data.uploaded, 7,710 s3.copied.single.key.file, 7,710 s3.copied.file, 11.5 MiB in (710 KiB/s), 8.65 MiB out (707 KiB/s), 20s 15,009 scanned, 10,653 copied, 9 indexed, 10.4 MiB s3.data.uploaded, 10,669 s3.copied.single.key.file, 10,669 s3.copied.file, 14.7 MiB in (661 KiB/s), 11.9 MiB out (670 KiB/s), 25s 15,009 scanned, 13,422 copied, 9 indexed, 13.1 MiB s3.data.uploaded, 13,428 s3.copied.single.key.file, 13,428 s3.copied.file, 17.8 MiB in (627 KiB/s), 15.0 MiB out (627 KiB/s), 30s Xcp command : xcp copy -s3.profile sg -s3.noverify -s3.endpoint https://<endpoint_url>: hdfs:///user/demo s3://bucket1 Stats : 15,009 scanned, 15,005 copied, 15,009 indexed, 14.7 MiB s3.data.uploaded, 15,005 s3.copied.single.key.file, 15,005 s3.copied.file Speed : 19.2 MiB in (609 KiB/s), 17.1 MiB out (543 KiB/s) Total Time : 32s. Migration ID: XCP_copy_2023-06-13_11.26.56.143287 Job ID : Job_XCP_copy_2023-06-13_11.26.56.143287_copy Log Path : /opt/NetApp/xFiles/xcp/xcplogs/Job_XCP_copy_2023-06-13_11.26.56.143287_copy.log STATUS : PASSED