Skip to main content
本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

使用稽核加總工具

貢獻者

您可以使用此 `audit-sum`工具來計算寫入、讀取、標頭及刪除稽核訊息、並查看每種作業類型的最小、最大及平均時間(或大小)。

開始之前
  • 您有 "特定存取權限"

  • 您必須擁有 `Passwords.txt`檔案。

  • 您必須知道主管理節點的IP位址。

關於這項工作
`audit-sum`主要管理節點上提供的工具會摘要說明記錄的寫入、讀取和刪除作業數、以及這些作業所需的時間。
註 此 `audit-sum`工具主要供技術支援人員在疑難排解作業期間使用。處理 `audit-sum`查詢可能會消耗大量 CPU 電力、這可能會影響 StorageGRID 作業。

此範例顯示工具的一般輸出 audit-sum。此範例顯示傳輸協定作業所需的時間。

  message group           count     min(sec)        max(sec)    average(sec)
  =============           =====     ========        ========    ============
  IDEL                      274
  SDEL                   213371        0.004          20.934           0.352
  SGET                   201906        0.010        1740.290           1.132
  SHEA                    22716        0.005           2.349           0.272
  SPUT                  1771398        0.011        1770.563           0.487

此 `audit-sum`工具可在稽核記錄中提供下列 S3 、 Swift 和 ILM 稽核訊息的計數和時間。

註 稽核代碼會從產品和文件中移除、因為功能已過時。如果您遇到本文未列出的稽核程式碼、請查看本主題的舊版以瞭解較舊的 SG 版本。例如 "StorageGRID 11.8 使用稽核摘要工具文件":。
程式碼 說明 請參閱

理想

ILM初始化刪除:ILM開始刪除物件的程序時記錄。

"表意:ILM啟動刪除"

SDEL

S3刪除:記錄成功的交易以刪除物件或儲存區。

"SDEL:S3刪除"

SGET

S3 Get:記錄成功的交易、以擷取物件或列出儲存區中的物件。

"SGET:S3取得"

Shea

S3標頭:記錄成功的交易、以檢查物件或儲存區是否存在。

"Shea:S3負責人"

SPUT

S3 PUT:記錄成功的交易、以建立新的物件或儲存區。

"SPUT:S3"

WDEL

Swift刪除:記錄成功的交易以刪除物件或容器。

"WDEL:Swift刪除"

WGet

Swift Get:記錄成功的交易、以擷取物件或列出容器中的物件。

"WGet:Swift Get"

WHA

Swift標頭:記錄成功的交易、以檢查物件或容器是否存在。

"WHA:Swift刀頭"

WUT

Swift PUT:記錄成功的交易、以建立新的物件或容器。

"WUTT:Swift Put"

此 `audit-sum`工具可執行下列動作:

  • 處理純或壓縮的稽核記錄。例如:

    audit-sum audit.log

    audit-sum 2019-08-12.txt.gz

  • 同時處理多個檔案。例如:

    audit-sum audit.log 2019-08-12.txt.gz 2019-08-13.txt.gz

    audit-sum /var/local/log/*

  • 接受來自管道的輸入、可讓您使用命令或其他方法來篩選及預先處理輸入 grep。例如:

    grep WGET audit.log | audit-sum

    grep bucket1 audit.log | audit-sum

    grep SPUT audit.log | grep bucket1 | audit-sum

註

此工具不接受壓縮檔案做為管道輸入。若要處理壓縮檔案、請提供檔案名稱做為命令列引數、或使用工具先解壓縮 `zcat`檔案。例如:

audit-sum audit.log.gz

zcat audit.log.gz | audit-sum

您可以使用命令列選項、將儲存區上的作業與物件上的作業分開彙總、或依儲存區名稱、時間期間或目標類型將訊息摘要分組。根據預設、摘要會顯示最小、最大和平均操作時間、但您可以使用 `size (-s)`選項來查看物件大小。

使用 `help (-h)`選項查看可用選項。例如:

$ audit-sum -h

步驟
  1. 登入主要管理節點:

    1. 輸入下列命令: ssh admin@primary_Admin_Node_IP

    2. 輸入檔案中列出的密碼 Passwords.txt

    3. 輸入以下命令切換到 root : su -

    4. 輸入檔案中列出的密碼 Passwords.txt

      當您以 root 登入時、提示會從變更 $`為 `#

  2. 如果您要分析與寫入、讀取、標頭及刪除作業相關的所有訊息、請依照下列步驟操作:

    1. 輸入下列命令、其中 `/var/local/log/audit.log`代表您要分析的檔案名稱和位置:

      $ audit-sum /var/local/log/audit.log

      此範例顯示工具的一般輸出 audit-sum。此範例顯示傳輸協定作業所需的時間。

        message group           count     min(sec)        max(sec)    average(sec)
        =============           =====     ========        ========    ============
        IDEL                      274
        SDEL                   213371        0.004          20.934           0.352
        SGET                   201906        0.010        1740.290           1.132
        SHEA                    22716        0.005           2.349           0.272
        SPUT                  1771398        0.011        1770.563           0.487

      在此範例中、SGET(S3 Get)作業平均速度最慢、僅1.13秒、但SGET和SPUT(S3 PUT)作業都顯示出約1、730秒的長時間最差時間。

    2. 若要顯示最慢的 10 次擷取作業、請使用 Grep 命令僅選取 SGET 訊息、並新增長輸出選項(-l)以包含物件路徑:

      grep SGET audit.log | audit-sum -l

      結果包括類型(物件或儲存區)和路徑、可讓您為稽核日誌中與這些特定物件相關的其他訊息進行Grep。

    Total:          201906 operations
        Slowest:      1740.290 sec
        Average:         1.132 sec
        Fastest:         0.010 sec
        Slowest operations:
            time(usec)       source ip         type      size(B) path
            ========== =============== ============ ============ ====
            1740289662   10.96.101.125       object   5663711385 backup/r9O1OaQ8JB-1566861764-4519.iso
            1624414429   10.96.101.125       object   5375001556 backup/r9O1OaQ8JB-1566861764-6618.iso
            1533143793   10.96.101.125       object   5183661466 backup/r9O1OaQ8JB-1566861764-4518.iso
                 70839   10.96.101.125       object        28338 bucket3/dat.1566861764-6619
                 68487   10.96.101.125       object        27890 bucket3/dat.1566861764-6615
                 67798   10.96.101.125       object        27671 bucket5/dat.1566861764-6617
                 67027   10.96.101.125       object        27230 bucket5/dat.1566861764-4517
                 60922   10.96.101.125       object        26118 bucket3/dat.1566861764-4520
                 35588   10.96.101.125       object        11311 bucket3/dat.1566861764-6616
                 23897   10.96.101.125       object        10692 bucket3/dat.1566861764-4516

    + 在此範例輸出中、您可以看到三個最慢的S3「Get(取得)」要求是針對大小約5 GB的物件、比其他物件大得多。大容量則是最差擷取時間緩慢的問題。

  3. 如果您想要確定要在網格中擷取和擷取的物件大小、請使用「大小(-s」選項):

    audit-sum -s audit.log

      message group           count       min(MB)          max(MB)      average(MB)
      =============           =====     ========        ========    ============
      IDEL                      274        0.004        5000.000        1654.502
      SDEL                   213371        0.000          10.504           1.695
      SGET                   201906        0.000        5000.000          14.920
      SHEA                    22716        0.001          10.504           2.967
      SPUT                  1771398        0.000        5000.000           2.495

    在此範例中、SPUT的平均物件大小低於2.5 MB、但SGET的平均大小卻大得多。SPUT訊息的數量遠高於SGET訊息的數量、表示大部分的物件永遠不會擷取。

  4. 如果您想要判斷昨天擷取的速度是否緩慢:

    1. 在適當的稽核記錄上發出命令、並使用依時間分組選項(-gt)、接著輸入時間段(例如 15M 、 1H 、 10S ):

      grep SGET audit.log | audit-sum -gt 1H

        message group           count    min(sec)       max(sec)   average(sec)
        =============           =====     ========        ========    ============
        2019-09-05T00            7591        0.010        1481.867           1.254
        2019-09-05T01            4173        0.011        1740.290           1.115
        2019-09-05T02           20142        0.011        1274.961           1.562
        2019-09-05T03           57591        0.010        1383.867           1.254
        2019-09-05T04          124171        0.013        1740.290           1.405
        2019-09-05T05          420182        0.021        1274.511           1.562
        2019-09-05T06         1220371        0.015        6274.961           5.562
        2019-09-05T07          527142        0.011        1974.228           2.002
        2019-09-05T08          384173        0.012        1740.290           1.105
        2019-09-05T09           27591        0.010        1481.867           1.354

      這些結果顯示S3在06:00到07:00之間尖峰流量。在這些時間、最大和平均時間都會大幅增加、而且不會隨著計數增加而逐漸增加。這表示容量已超過某個位置、可能是網路或網格處理要求的能力。

    2. 要確定昨天每小時檢索的對象大小,請將 Size 選項(-s(大小選項)添加到命令中:

      grep SGET audit.log | audit-sum -gt 1H -s

        message group           count       min(B)          max(B)      average(B)
        =============           =====     ========        ========    ============
        2019-09-05T00            7591        0.040        1481.867           1.976
        2019-09-05T01            4173        0.043        1740.290           2.062
        2019-09-05T02           20142        0.083        1274.961           2.303
        2019-09-05T03           57591        0.912        1383.867           1.182
        2019-09-05T04          124171        0.730        1740.290           1.528
        2019-09-05T05          420182        0.875        4274.511           2.398
        2019-09-05T06         1220371        0.691  5663711385.961          51.328
        2019-09-05T07          527142        0.130        1974.228           2.147
        2019-09-05T08          384173        0.625        1740.290           1.878
        2019-09-05T09           27591        0.689        1481.867           1.354

      這些結果顯示、當整體擷取流量達到最大值時、會發生一些非常大的擷取。

    3. 若要查看更多詳細資料、請使用"稽核說明工具"檢閱該時段內的所有 SGET 作業:

      grep 2019-09-05T06 audit.log | grep SGET | audit-explain | less

    如果 Grep 命令的輸出預期為多行、請新增命令、 `less`一次顯示一頁(一個畫面)的稽核記錄檔內容。

  5. 如果您想要判斷儲存區上的SPUT作業是否比物件的SPUT作業慢:

    1. 首先使用 `-go`選項、將訊息分別分組以進行物件和貯體作業:

      grep SPUT sample.log | audit-sum -go

        message group           count     min(sec)        max(sec)    average(sec)
        =============           =====     ========        ========    ============
        SPUT.bucket                 1        0.125           0.125           0.125
        SPUT.object                12        0.025           1.019           0.236

      結果顯示、適用於貯體的SPUT作業與物件的SPUT作業具有不同的效能特性。

    2. 若要判斷哪些貯體具有最慢的 SPUT 作業、請使用 `-gb`選項、依貯體將訊息分組:

      grep SPUT audit.log | audit-sum -gb

        message group                  count     min(sec)        max(sec)    average(sec)
        =============                  =====     ========        ========    ============
        SPUT.cho-non-versioning        71943        0.046        1770.563           1.571
        SPUT.cho-versioning            54277        0.047        1736.633           1.415
        SPUT.cho-west-region           80615        0.040          55.557           1.329
        SPUT.ldt002                  1564563        0.011          51.569           0.361
    3. 若要判斷哪些貯體具有最大的 SPUT 物件大小、請同時使用 `-gb`和 `-s`選項:

      grep SPUT audit.log | audit-sum -gb -s

      message group                  count       min(B)          max(B)      average(B)
      =============                  =====     ========        ========    ============
      SPUT.cho-non-versioning        71943        2.097        5000.000          21.672
      SPUT.cho-versioning            54277        2.097        5000.000          21.120
      SPUT.cho-west-region           80615        2.097         800.000          14.433
      SPUT.ldt002                  1564563        0.000         999.972           0.352