Utilice la herramienta de suma de auditoría
Sugerir cambios
PDF
Puede utilizar audit-sum la herramienta para contar los mensajes de auditoría de escritura, lectura, cabecera y eliminación y para ver el tiempo (o tamaño) mínimo, máximo y medio de cada tipo de operación.
-
Tienes "permisos de acceso específicos".
-
Debe tener el
Passwords.txtarchivo. -
Debe conocer la dirección IP del nodo de administrador principal.
`audit-sum`La herramienta, disponible en el nodo de administración principal, resume cuántas operaciones de escritura, lectura y eliminación se han registrado y cuánto tiempo han durado estas operaciones.
|
audit-sum`La herramienta está destinada principalmente al soporte técnico durante las operaciones de solución de problemas. El procesamiento de `audit-sum consultas puede consumir una gran cantidad de energía de CPU, lo que podría afectar a las operaciones de StorageGRID.
|
En este ejemplo se muestra la salida típica de audit-sum la herramienta. Este ejemplo muestra el tiempo que tardaban las operaciones de protocolo.
message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ IDEL 274 SDEL 213371 0.004 20.934 0.352 SGET 201906 0.010 1740.290 1.132 SHEA 22716 0.005 2.349 0.272 SPUT 1771398 0.011 1770.563 0.487
`audit-sum`La herramienta proporciona números y horas para los siguientes mensajes de auditoría de S3, Swift y ILM en un registro de auditoría.
|
|
Los códigos de auditoría se eliminan del producto y de la documentación a medida que las funciones están obsoletas. Si encuentra un código de auditoría que no se muestra aquí, revise las versiones anteriores de este tema para ver versiones de SG anteriores. Por ejemplo, "StorageGRID 11,8 usando la documentación de la herramienta de suma de auditoría". |
| Codificación | Descripción | Consulte |
|---|---|---|
IDEL |
ILM Initiated Delete: Registra cuando ILM inicia el proceso de eliminación de un objeto. |
|
SDEL |
S3 DELETE: Registra una transacción realizada correctamente para eliminar un objeto o bloque. |
|
SGET |
S3 GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un bloque. |
|
SHEA |
S3 HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o bloque. |
|
SPUT |
S3 PUT: Registra una transacción realizada correctamente para crear un nuevo objeto o bloque. |
|
¡WDEL |
Swift DELETE: Registra una transacción realizada correctamente para eliminar un objeto o un contenedor. |
|
CONSIGA |
Swift GET: Registra una transacción realizada correctamente para recuperar un objeto o enumerar los objetos de un contenedor. |
|
WHEA |
Swift HEAD: Registra una transacción realizada correctamente para comprobar la existencia de un objeto o contenedor. |
|
WPUT |
Swift PUT: Registra una transacción correcta para crear un nuevo objeto o contenedor. |
`audit-sum`La herramienta puede hacer lo siguiente:
-
Procesar registros de auditoría sin formato o comprimidos. Por ejemplo:
audit-sum audit.logaudit-sum 2019-08-12.txt.gz -
Procese varios archivos simultáneamente. Por ejemplo:
audit-sum audit.log 2019-08-12.txt.gz 2019-08-13.txt.gzaudit-sum /var/local/log/* -
Acepte la entrada de una tubería, lo que le permite filtrar y preprocesar la entrada mediante el
grepcomando u otros medios. Por ejemplo:grep WGET audit.log | audit-sumgrep bucket1 audit.log | audit-sumgrep SPUT audit.log | grep bucket1 | audit-sum
|
|
Esta herramienta no acepta archivos comprimidos como entrada con hilo. Para procesar archivos comprimidos, proporcione sus nombres de archivo como argumentos de línea de comandos o utilice la
|
Puede utilizar las opciones de línea de comandos para resumir las operaciones en bloques por separado de las operaciones en objetos o para agrupar resúmenes de mensajes por nombre de bloque, por período de tiempo o por tipo de destino. De forma predeterminada, los resúmenes muestran el tiempo mínimo, máximo y medio de operación, pero puede utilizar la size (-s) opción para ver el tamaño del objeto en su lugar.
Utilice la help (-h) opción para ver las opciones disponibles. Por ejemplo:
$ audit-sum -h
-
Inicie sesión en el nodo de administración principal:
-
Introduzca el siguiente comando:
ssh admin@primary_Admin_Node_IP -
Introduzca la contraseña que aparece en el
Passwords.txtarchivo. -
Introduzca el siguiente comando para cambiar a raíz:
su - -
Introduzca la contraseña que aparece en el
Passwords.txtarchivo.Al iniciar sesión como root, la petición de datos cambia de
$a#.
-
-
Si desea analizar todos los mensajes relacionados con las operaciones de escritura, lectura, cabeza y eliminación, siga estos pasos:
-
Introduzca el siguiente comando, donde
/var/local/log/audit.logrepresenta el nombre y la ubicación del archivo o archivos que desea analizar:$ audit-sum /var/local/log/audit.logEn este ejemplo se muestra la salida típica de
audit-sumla herramienta. Este ejemplo muestra el tiempo que tardaban las operaciones de protocolo.message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ IDEL 274 SDEL 213371 0.004 20.934 0.352 SGET 201906 0.010 1740.290 1.132 SHEA 22716 0.005 2.349 0.272 SPUT 1771398 0.011 1770.563 0.487
En este ejemplo, las operaciones SGET (S3 GET) son las más lentas en promedio a 1.13 segundos, pero las operaciones SGET y SPUT (S3 PUT) muestran tiempos largos en el peor de los casos de aproximadamente 1,770 segundos.
-
Para mostrar las operaciones de recuperación 10 más lentas, utilice el comando grep para seleccionar sólo los mensajes SGET y agregar la opción de salida larga (
-l) para incluir las rutas de acceso a objetos:grep SGET audit.log | audit-sum -lLos resultados incluyen el tipo (objeto o bloque) y la ruta de acceso, que le permite obtener el registro de auditoría de otros mensajes relacionados con estos objetos en particular.
Total: 201906 operations Slowest: 1740.290 sec Average: 1.132 sec Fastest: 0.010 sec Slowest operations: time(usec) source ip type size(B) path ========== =============== ============ ============ ==== 1740289662 10.96.101.125 object 5663711385 backup/r9O1OaQ8JB-1566861764-4519.iso 1624414429 10.96.101.125 object 5375001556 backup/r9O1OaQ8JB-1566861764-6618.iso 1533143793 10.96.101.125 object 5183661466 backup/r9O1OaQ8JB-1566861764-4518.iso 70839 10.96.101.125 object 28338 bucket3/dat.1566861764-6619 68487 10.96.101.125 object 27890 bucket3/dat.1566861764-6615 67798 10.96.101.125 object 27671 bucket5/dat.1566861764-6617 67027 10.96.101.125 object 27230 bucket5/dat.1566861764-4517 60922 10.96.101.125 object 26118 bucket3/dat.1566861764-4520 35588 10.96.101.125 object 11311 bucket3/dat.1566861764-6616 23897 10.96.101.125 object 10692 bucket3/dat.1566861764-4516+ Desde este ejemplo, puede ver que las tres solicitudes DE OBTENER S3 más lentas eran para objetos de un tamaño de 5 GB, mucho mayor que el de los otros objetos. El gran tamaño representa los lentos tiempos de recuperación en el peor de los casos.
-
-
Si desea determinar los tamaños de los objetos que se están ingiriendo y recuperando de la cuadrícula, utilice la opción SIZE (
-s):audit-sum -s audit.logmessage group count min(MB) max(MB) average(MB) ============= ===== ======== ======== ============ IDEL 274 0.004 5000.000 1654.502 SDEL 213371 0.000 10.504 1.695 SGET 201906 0.000 5000.000 14.920 SHEA 22716 0.001 10.504 2.967 SPUT 1771398 0.000 5000.000 2.495
En este ejemplo, el tamaño medio del objeto para SPUT es inferior a 2.5 MB, pero el tamaño medio para SGET es mucho mayor. El número de mensajes SPUT es mucho mayor que el número de mensajes SGET, lo que indica que la mayoría de los objetos nunca se recuperan.
-
Si quieres determinar si las recuperaciones eran lentas ayer:
-
Emita el comando en el registro de auditoría adecuado y utilice la opción group-by-time (
-gt), seguido del período de tiempo (por ejemplo, 15M, 1H, 10S):grep SGET audit.log | audit-sum -gt 1Hmessage group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ 2019-09-05T00 7591 0.010 1481.867 1.254 2019-09-05T01 4173 0.011 1740.290 1.115 2019-09-05T02 20142 0.011 1274.961 1.562 2019-09-05T03 57591 0.010 1383.867 1.254 2019-09-05T04 124171 0.013 1740.290 1.405 2019-09-05T05 420182 0.021 1274.511 1.562 2019-09-05T06 1220371 0.015 6274.961 5.562 2019-09-05T07 527142 0.011 1974.228 2.002 2019-09-05T08 384173 0.012 1740.290 1.105 2019-09-05T09 27591 0.010 1481.867 1.354
Estos resultados muestran que S3 CONSIGUE tráfico pico entre 06:00 y 07:00. Los tiempos máximo y promedio son considerablemente más altos en estos tiempos también, y no subieron gradualmente a medida que el recuento aumentó. Esto sugiere que se ha superado la capacidad en algún lugar, quizás en la red o en la capacidad del grid para procesar solicitudes.
-
Para determinar qué objetos de tamaño se recuperaban ayer cada hora, agregue la opción size (
-s) al comando:grep SGET audit.log | audit-sum -gt 1H -smessage group count min(B) max(B) average(B) ============= ===== ======== ======== ============ 2019-09-05T00 7591 0.040 1481.867 1.976 2019-09-05T01 4173 0.043 1740.290 2.062 2019-09-05T02 20142 0.083 1274.961 2.303 2019-09-05T03 57591 0.912 1383.867 1.182 2019-09-05T04 124171 0.730 1740.290 1.528 2019-09-05T05 420182 0.875 4274.511 2.398 2019-09-05T06 1220371 0.691 5663711385.961 51.328 2019-09-05T07 527142 0.130 1974.228 2.147 2019-09-05T08 384173 0.625 1740.290 1.878 2019-09-05T09 27591 0.689 1481.867 1.354
Estos resultados indican que se han producido recuperaciones de gran tamaño cuando se alcanzó el máximo tráfico de recuperación total.
-
Para ver más detalles, utilice "herramienta audit-explain"para revisar todas las operaciones de SGET durante esa hora:
grep 2019-09-05T06 audit.log | grep SGET | audit-explain | less
Si se espera que la salida del comando grep sea muchas líneas, agregue el
lesscomando para mostrar el contenido del archivo log de auditoría una página (una pantalla) a la vez. -
-
Si desea determinar si las operaciones SPUT en los segmentos son más lentas que las operaciones SPUT para los objetos:
-
Comience por usar
-gola opción, que agrupa los mensajes para las operaciones de objeto y bloque por separado:grep SPUT sample.log | audit-sum -gomessage group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ SPUT.bucket 1 0.125 0.125 0.125 SPUT.object 12 0.025 1.019 0.236
Los resultados muestran que las operaciones SPUT para los cubos tienen características de rendimiento diferentes a las operaciones SPUT para los objetos.
-
Para determinar qué bloques tienen las operaciones SPUT más lentas, utilice la
-gbopción, que agrupa los mensajes por bloque:grep SPUT audit.log | audit-sum -gbmessage group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ SPUT.cho-non-versioning 71943 0.046 1770.563 1.571 SPUT.cho-versioning 54277 0.047 1736.633 1.415 SPUT.cho-west-region 80615 0.040 55.557 1.329 SPUT.ldt002 1564563 0.011 51.569 0.361
-
Para determinar qué cubos tienen el tamaño de objeto SPUT más grande, utilice las
-gbopciones y-s:grep SPUT audit.log | audit-sum -gb -s
message group count min(B) max(B) average(B) ============= ===== ======== ======== ============ SPUT.cho-non-versioning 71943 2.097 5000.000 21.672 SPUT.cho-versioning 54277 2.097 5000.000 21.120 SPUT.cho-west-region 80615 2.097 800.000 14.433 SPUT.ldt002 1564563 0.000 999.972 0.352
-