Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Uso de la herramienta de suma-auditoría

02/21/2023 Colaboradores

PDF

Puede utilizar el audit-sum herramienta para contar los mensajes de auditoría de escritura, lectura, cabecera y eliminación y para ver el tiempo mínimo, máximo y promedio (o tamaño) para cada tipo de operación.

Lo que necesitará

Debe tener permisos de acceso específicos.
Debe tener la Passwords.txt archivo.
Debe conocer la dirección IP del nodo de administrador principal.

Acerca de esta tarea

La audit-sum Herramienta, disponible en el nodo de administración principal, resume cuántas operaciones de escritura, lectura y eliminación se han registrado y cuánto tiempo han tardado estas operaciones.

La audit-sum la herramienta está diseñada principalmente para su uso por parte del soporte técnico durante operaciones de solución de problemas. Procesamiento audit-sum Las consultas pueden consumir una gran cantidad de energía de CPU, lo que puede afectar a las operaciones de StorageGRID.

Este ejemplo muestra el resultado típico de audit-sum herramienta. Este ejemplo muestra el tiempo que tardaban las operaciones de protocolo.

  message group           count     min(sec)        max(sec)    average(sec)
  =============           =====     ========        ========    ============
  IDEL                      274
  SDEL                   213371        0.004          20.934           0.352
  SGET                   201906        0.010        1740.290           1.132
  SHEA                    22716        0.005           2.349           0.272
  SPUT                  1771398        0.011        1770.563           0.487

La audit-sum La herramienta proporciona recuentos y horas para los siguientes mensajes de auditoría de S3, Swift y ILM en un registro de auditoría:

Codificación	Descripción	Consulte
ARCT	Archive recupere desde Cloud-Tier	"ARCT: Recuperación de archivos a partir de nivel de cloud"
ASCT	Almacenamiento de datos para el nivel cloud	"ASCT: Archive Store Cloud-Tier"
IDEL	ILM Initiated Delete: Registra cuando ILM inicia el proceso de eliminación de un objeto.	"IDEL: Eliminación de ILM iniciada"
SDEL	S3 DELETE: Registra una transacción realizada correctamente para eliminar un objeto o bloque.	"SDEL: ELIMINACIÓN DE S3"
SGET	S3 GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un bloque.	"SGET: S3 GET"
SHEA	S3 HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o bloque.	"SHEA: CABEZA S3"
SPUT	S3 PUT: Registra una transacción realizada correctamente para crear un nuevo objeto o bloque.	"SPUT: S3 PUT"
¡WDEL	Swift DELETE: Registra una transacción realizada correctamente para eliminar un objeto o un contenedor.	"WDEL: ELIMINACIÓN de Swift"
CONSIGA	Swift GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un contenedor.	"WGET: Swift GET"
WHEA	Swift HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o contenedor.	"WHEA: CABEZA de Swift"
WPUT	Swift PUT: Registra una transacción correcta para crear un nuevo objeto o contenedor.	"WPUT: SWIFT PUT"

Codificación

Descripción

Consulte

ARCT

Archive recupere desde Cloud-Tier

"ARCT: Recuperación de archivos a partir de nivel de cloud"

ASCT

Almacenamiento de datos para el nivel cloud

"ASCT: Archive Store Cloud-Tier"

IDEL

ILM Initiated Delete: Registra cuando ILM inicia el proceso de eliminación de un objeto.

"IDEL: Eliminación de ILM iniciada"

SDEL

S3 DELETE: Registra una transacción realizada correctamente para eliminar un objeto o bloque.

"SDEL: ELIMINACIÓN DE S3"

SGET

S3 GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un bloque.

"SGET: S3 GET"

SHEA

S3 HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o bloque.

"SHEA: CABEZA S3"

SPUT

S3 PUT: Registra una transacción realizada correctamente para crear un nuevo objeto o bloque.

"SPUT: S3 PUT"

¡WDEL

Swift DELETE: Registra una transacción realizada correctamente para eliminar un objeto o un contenedor.

"WDEL: ELIMINACIÓN de Swift"

CONSIGA

Swift GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un contenedor.

"WGET: Swift GET"

WHEA

Swift HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o contenedor.

"WHEA: CABEZA de Swift"

WPUT

Swift PUT: Registra una transacción correcta para crear un nuevo objeto o contenedor.

"WPUT: SWIFT PUT"

La audit-sum la herramienta puede procesar registros de auditoría sencillos o comprimidos. Por ejemplo:

audit-sum audit.log

audit-sum 2019-08-12.txt.gz

La audit-sum la herramienta también puede procesar varios archivos a la vez. Por ejemplo:

audit-sum audit.log 2019-08-12.txt.gz 2019-08-13.txt.gz

audit-sum /var/local/audit/export/*

Por último, la audit-sum la herramienta también puede aceptar la entrada de una tubería, lo que le permite filtrar y preprocesar la entrada mediante la grep comando u otros medios. Por ejemplo:

grep WGET audit.log | audit-sum

grep bucket1 audit.log | audit-sum

grep SPUT audit.log | grep bucket1 | audit-sum

Esta herramienta no acepta archivos comprimidos como entrada con hilo. Para procesar archivos comprimidos, proporcione sus nombres de archivo como argumentos de línea de comandos o utilice zcat herramienta para descomprimir primero los archivos. Por ejemplo:

audit-sum audit.log.gz

zcat audit.log.gz | audit-sum

Puede utilizar las opciones de línea de comandos para resumir las operaciones en bloques por separado de las operaciones en objetos o para agrupar resúmenes de mensajes por nombre de bloque, por período de tiempo o por tipo de destino. De forma predeterminada, los resúmenes muestran el tiempo mínimo, máximo y promedio de funcionamiento, pero puede utilizar size (-s) opción para mirar el tamaño del objeto en su lugar.

Utilice la help (-h) opción para ver las opciones disponibles. Por ejemplo:

 $ audit-sum -h

Pasos

Inicie sesión en el nodo de administración principal:
1. Introduzca el siguiente comando: ssh admin@primary_Admin_Node_IP
2. Introduzca la contraseña que aparece en Passwords.txt archivo.

Si desea analizar todos los mensajes relacionados con las operaciones de escritura, lectura, cabeza y eliminación, siga estos pasos:

Introduzca el comando siguiente, donde /var/local/audit/export/audit.log representa el nombre y la ubicación del archivo o archivos que desea analizar:

$ audit-sum /var/local/audit/export/audit.log

Este ejemplo muestra el resultado típico de audit-sum herramienta. Este ejemplo muestra el tiempo que tardaban las operaciones de protocolo.

  message group           count     min(sec)        max(sec)    average(sec)
  =============           =====     ========        ========    ============
  IDEL                      274
  SDEL                   213371        0.004          20.934           0.352
  SGET                   201906        0.010        1740.290           1.132
  SHEA                    22716        0.005           2.349           0.272
  SPUT                  1771398        0.011        1770.563           0.487

En este ejemplo, las operaciones SGET (S3 GET) son las más lentas en promedio a 1.13 segundos, pero las operaciones SGET y SPUT (S3 PUT) muestran tiempos largos en el peor de los casos de aproximadamente 1,770 segundos.

Para mostrar las operaciones de recuperación 10 más lentas, utilice el comando grep para seleccionar sólo los mensajes SGET y agregar la opción Long OUTPUT (-l) para incluir rutas de objetos: grep SGET audit.log | audit-sum -l

Los resultados incluyen el tipo (objeto o bloque) y la ruta de acceso, que le permite obtener el registro de auditoría de otros mensajes relacionados con estos objetos en particular.

Total:          201906 operations
    Slowest:      1740.290 sec
    Average:         1.132 sec
    Fastest:         0.010 sec
    Slowest operations:
        time(usec)       source ip         type      size(B) path
        ========== =============== ============ ============ ====
        1740289662   10.96.101.125       object   5663711385 backup/r9O1OaQ8JB-1566861764-4519.iso
        1624414429   10.96.101.125       object   5375001556 backup/r9O1OaQ8JB-1566861764-6618.iso
        1533143793   10.96.101.125       object   5183661466 backup/r9O1OaQ8JB-1566861764-4518.iso
             70839   10.96.101.125       object        28338 bucket3/dat.1566861764-6619
             68487   10.96.101.125       object        27890 bucket3/dat.1566861764-6615
             67798   10.96.101.125       object        27671 bucket5/dat.1566861764-6617
             67027   10.96.101.125       object        27230 bucket5/dat.1566861764-4517
             60922   10.96.101.125       object        26118 bucket3/dat.1566861764-4520
             35588   10.96.101.125       object        11311 bucket3/dat.1566861764-6616
             23897   10.96.101.125       object        10692 bucket3/dat.1566861764-4516

+ Desde este ejemplo, puede ver que las tres solicitudes DE OBTENER S3 más lentas eran para objetos de un tamaño de 5 GB, mucho mayor que el de los otros objetos. El gran tamaño representa los lentos tiempos de recuperación en el peor de los casos.

Si desea determinar qué tamaños de objetos se están ingiriendo y recuperando de la cuadrícula, utilice la opción size (-s):

audit-sum -s audit.log

  message group           count       min(MB)          max(MB)      average(MB)
  =============           =====     ========        ========    ============
  IDEL                      274        0.004        5000.000        1654.502
  SDEL                   213371        0.000          10.504           1.695
  SGET                   201906        0.000        5000.000          14.920
  SHEA                    22716        0.001          10.504           2.967
  SPUT                  1771398        0.000        5000.000           2.495

En este ejemplo, el tamaño medio del objeto para SPUT es inferior a 2.5 MB, pero el tamaño medio para SGET es mucho mayor. El número de mensajes SPUT es mucho mayor que el número de mensajes SGET, lo que indica que la mayoría de los objetos nunca se recuperan.

Si quieres determinar si las recuperaciones eran lentas ayer:

Emita el comando en el registro de auditoría correspondiente y use la opción group-by-Time (-gt), seguido del período de tiempo (por ejemplo, 15M, 1H, 10S):

 grep SGET audit.log | audit-sum -gt 1H

  message group           count    min(sec)       max(sec)   average(sec)
  =============           =====     ========        ========    ============
  2019-09-05T00            7591        0.010        1481.867           1.254
  2019-09-05T01            4173        0.011        1740.290           1.115
  2019-09-05T02           20142        0.011        1274.961           1.562
  2019-09-05T03           57591        0.010        1383.867           1.254
  2019-09-05T04          124171        0.013        1740.290           1.405
  2019-09-05T05          420182        0.021        1274.511           1.562
  2019-09-05T06         1220371        0.015        6274.961           5.562
  2019-09-05T07          527142        0.011        1974.228           2.002
  2019-09-05T08          384173        0.012        1740.290           1.105
  2019-09-05T09           27591        0.010        1481.867           1.354

Estos resultados muestran que S3 CONSIGUE tráfico pico entre 06:00 y 07:00. Los tiempos máximo y promedio son considerablemente más altos en estos tiempos también, y no subieron gradualmente a medida que el recuento aumentó. Esto sugiere que se ha superado la capacidad en algún lugar, quizás en la red o en la capacidad del grid para procesar solicitudes.

Para determinar el tamaño de los objetos recuperados ayer cada hora, agregue la opción size (-s) para el mando:

grep SGET audit.log | audit-sum -gt 1H -s

  message group           count       min(B)          max(B)      average(B)
  =============           =====     ========        ========    ============
  2019-09-05T00            7591        0.040        1481.867           1.976
  2019-09-05T01            4173        0.043        1740.290           2.062
  2019-09-05T02           20142        0.083        1274.961           2.303
  2019-09-05T03           57591        0.912        1383.867           1.182
  2019-09-05T04          124171        0.730        1740.290           1.528
  2019-09-05T05          420182        0.875        4274.511           2.398
  2019-09-05T06         1220371        0.691  5663711385.961          51.328
  2019-09-05T07          527142        0.130        1974.228           2.147
  2019-09-05T08          384173        0.625        1740.290           1.878
  2019-09-05T09           27591        0.689        1481.867           1.354

Estos resultados indican que se han producido recuperaciones de gran tamaño cuando se alcanzó el máximo tráfico de recuperación total.

Para ver más detalles, utilice audit-explain Herramienta para revisar todas las operaciones de SGET durante esa hora:
```
grep 2019-09-05T06 audit.log | grep SGET | audit-explain | less
```
Si se espera que la salida del comando grep sea de muchas líneas, agregue less comando para mostrar el contenido del archivo de registro de auditoría una página (una pantalla) a la vez.

Si desea determinar si las operaciones SPUT en los segmentos son más lentas que las operaciones SPUT para los objetos:

Comience por utilizar el -go opción, que agrupa mensajes para operaciones de objeto y bloque por separado:

grep SPUT sample.log | audit-sum -go

  message group           count     min(sec)        max(sec)    average(sec)
  =============           =====     ========        ========    ============
  SPUT.bucket                 1        0.125           0.125           0.125
  SPUT.object                12        0.025           1.019           0.236

Los resultados muestran que las operaciones SPUT para los cubos tienen características de rendimiento diferentes a las operaciones SPUT para los objetos.

Para determinar qué cucharones tienen las operaciones de SPUT más lentas, utilice -gb opción, que agrupa mensajes por bloque:

grep SPUT audit.log | audit-sum -gb

  message group                  count     min(sec)        max(sec)    average(sec)
  =============                  =====     ========        ========    ============
  SPUT.cho-non-versioning        71943        0.046        1770.563           1.571
  SPUT.cho-versioning            54277        0.047        1736.633           1.415
  SPUT.cho-west-region           80615        0.040          55.557           1.329
  SPUT.ldt002                  1564563        0.011          51.569           0.361

Para determinar qué cucharones tienen el tamaño de objeto SPUT más grande, utilice ambos -gb y la -s opciones:

grep SPUT audit.log | audit-sum -gb -s

  message group                  count       min(B)          max(B)      average(B)
  =============                  =====     ========        ========    ============
  SPUT.cho-non-versioning        71943        2.097        5000.000          21.672
  SPUT.cho-versioning            54277        2.097        5000.000          21.120
  SPUT.cho-west-region           80615        2.097         800.000          14.433
  SPUT.ldt002                  1564563        0.000         999.972           0.352

Información relacionada

"Uso de la herramienta auditoría-explicación"

Uso de la herramienta de suma-auditoría

Creating your file...