本繁體中文版使用機器翻譯,譯文僅供參考,若與英文版本牴觸,應以英文版本為準。

使用稽核加總工具

貢獻者

您可以使用「稽核加總」工具來計算寫入、讀取、顯示及刪除稽核訊息、並查看每種作業類型的最小、最大和平均時間(或大小)。

您需要的是 #8217 ;需要的是什麼
  • 您必須擁有特定的存取權限。

  • 您必須擁有「passwors.txt」檔案。

  • 您必須知道主管理節點的IP位址。

主管理節點上提供的「稽核加總」工具、摘要說明記錄了多少寫入、讀取和刪除作業、以及這些作業需要多久時間。

重要 「稽核加總」工具主要是供疑難排解作業期間的技術支援人員使用。處理「稽核加總」查詢可能會耗用大量的CPU電力、進而影響StorageGRID 到整個市場的運作。

此範例顯示「稽核加總」工具的典型輸出。此範例顯示傳輸協定作業所需的時間。

  message group           count     min(sec)        max(sec)    average(sec)
  =============           =====     ========        ========    ============
  IDEL                      274
  SDEL                   213371        0.004          20.934           0.352
  SGET                   201906        0.010        1740.290           1.132
  SHEA                    22716        0.005           2.349           0.272
  SPUT                  1771398        0.011        1770.563           0.487

「稽核加總」工具可在稽核記錄中提供下列S3、Swift和ILM稽核訊息的計數和時間:

程式碼 說明 請參閱

ARCT

歸檔從雲端層擷取

ASCT

歸檔儲存雲端層

理想

ILM初始化刪除:ILM開始刪除物件的程序時記錄。

SDEL

S3刪除:記錄成功的交易以刪除物件或儲存區。

SGET

S3 Get:記錄成功的交易、以擷取物件或列出儲存區中的物件。

Shea

S3標頭:記錄成功的交易、以檢查物件或儲存區是否存在。

SPUT

S3 PUT:記錄成功的交易、以建立新的物件或儲存區。

WDEL

Swift刪除:記錄成功的交易以刪除物件或容器。

WGet

Swift Get:記錄成功的交易、以擷取物件或列出容器中的物件。

WHA

Swift標頭:記錄成功的交易、以檢查物件或容器是否存在。

WUT

Swift PUT:記錄成功的交易、以建立新的物件或容器。

「稽核加總」工具可以處理純文字或壓縮的稽核記錄。例如:

audit-sum audit.log
audit-sum 2019-08-12.txt.gz

「稽核加總」工具也能同時處理多個檔案。例如:

audit-sum audit.log 2019-08-12.txt.gz 2019-08-13.txt.gz
audit-sum /var/local/audit/export/*

最後、「稽核加總」工具也可以接受管道的輸入、讓您使用「Grep」命令或其他方式來篩選及預先處理輸入。例如:

grep WGET audit.log | audit-sum
grep bucket1 audit.log | audit-sum
grep SPUT audit.log | grep bucket1 | audit-sum
附註 此工具不接受壓縮檔案做為管道輸入。若要處理壓縮檔案、請將檔案名稱提供為命令列引數、或使用「zcat」工具先解壓縮檔案。例如:
audit-sum audit.log.gz
zcat audit.log.gz | audit-sum

您可以使用命令列選項、將儲存區上的作業與物件上的作業分開彙總、或依儲存區名稱、時間期間或目標類型將訊息摘要分組。根據預設、摘要會顯示最小、最大和平均操作時間、但您可以使用「最小(-s)」選項來查看物件大小。

使用「Help(-h)」(說明(-h))選項查看可用的選項。例如:

 $ audit-sum -h
步驟
  1. 登入主要管理節點:

    1. 輸入下列命令:「sh admin@_primary管理節點IP」

    2. 輸入「passwords.txt」檔案中所列的密碼。

  2. 如果您要分析與寫入、讀取、標頭及刪除作業相關的所有訊息、請依照下列步驟操作:

    1. 輸入下列命令、其中「/var/local/nital/EXTE/nited.log」代表您要分析的檔案名稱和位置:

      $ audit-sum /var/local/audit/export/audit.log

      此範例顯示「稽核加總」工具的典型輸出。此範例顯示傳輸協定作業所需的時間。

        message group           count     min(sec)        max(sec)    average(sec)
        =============           =====     ========        ========    ============
        IDEL                      274
        SDEL                   213371        0.004          20.934           0.352
        SGET                   201906        0.010        1740.290           1.132
        SHEA                    22716        0.005           2.349           0.272
        SPUT                  1771398        0.011        1770.563           0.487

      在此範例中、SGET(S3 Get)作業平均速度最慢、僅1.13秒、但SGET和SPUT(S3 PUT)作業都顯示出約1、730秒的長時間最差時間。

    2. 若要顯示最慢的10個擷取作業、請使用Grep命令僅選取SGET訊息、並新增長輸出選項(`-l')以包含物件路徑:「Grep SGET audit.log |稽核和-sum -l」

      結果包括類型(物件或儲存區)和路徑、可讓您為稽核日誌中與這些特定物件相關的其他訊息進行Grep。

    Total:          201906 operations
        Slowest:      1740.290 sec
        Average:         1.132 sec
        Fastest:         0.010 sec
        Slowest operations:
            time(usec)       source ip         type      size(B) path
            ========== =============== ============ ============ ====
            1740289662   10.96.101.125       object   5663711385 backup/r9O1OaQ8JB-1566861764-4519.iso
            1624414429   10.96.101.125       object   5375001556 backup/r9O1OaQ8JB-1566861764-6618.iso
            1533143793   10.96.101.125       object   5183661466 backup/r9O1OaQ8JB-1566861764-4518.iso
                 70839   10.96.101.125       object        28338 bucket3/dat.1566861764-6619
                 68487   10.96.101.125       object        27890 bucket3/dat.1566861764-6615
                 67798   10.96.101.125       object        27671 bucket5/dat.1566861764-6617
                 67027   10.96.101.125       object        27230 bucket5/dat.1566861764-4517
                 60922   10.96.101.125       object        26118 bucket3/dat.1566861764-4520
                 35588   10.96.101.125       object        11311 bucket3/dat.1566861764-6616
                 23897   10.96.101.125       object        10692 bucket3/dat.1566861764-4516

    + 在此範例輸出中、您可以看到三個最慢的S3「Get(取得)」要求是針對大小約5 GB的物件、比其他物件大得多。大容量則是最差擷取時間緩慢的問題。

  3. 如果您想要判斷要擷取至網格或從網格擷取的物件大小、請使用「大小」選項(-s):

    audit-sum -s audit.log
      message group           count       min(MB)          max(MB)      average(MB)
      =============           =====     ========        ========    ============
      IDEL                      274        0.004        5000.000        1654.502
      SDEL                   213371        0.000          10.504           1.695
      SGET                   201906        0.000        5000.000          14.920
      SHEA                    22716        0.001          10.504           2.967
      SPUT                  1771398        0.000        5000.000           2.495

    在此範例中、SPUT的平均物件大小低於2.5 MB、但SGET的平均大小卻大得多。SPUT訊息的數量遠高於SGET訊息的數量、表示大部分的物件永遠不會擷取。

  4. 如果您想要判斷昨天擷取的速度是否緩慢:

    1. 在適當的稽核日誌上發出命令、然後使用依時間分組選項(`-gt')、接著是期間(例如、15M、1H、10S):

       grep SGET audit.log | audit-sum -gt 1H
        message group           count    min(sec)       max(sec)   average(sec)
        =============           =====     ========        ========    ============
        2019-09-05T00            7591        0.010        1481.867           1.254
        2019-09-05T01            4173        0.011        1740.290           1.115
        2019-09-05T02           20142        0.011        1274.961           1.562
        2019-09-05T03           57591        0.010        1383.867           1.254
        2019-09-05T04          124171        0.013        1740.290           1.405
        2019-09-05T05          420182        0.021        1274.511           1.562
        2019-09-05T06         1220371        0.015        6274.961           5.562
        2019-09-05T07          527142        0.011        1974.228           2.002
        2019-09-05T08          384173        0.012        1740.290           1.105
        2019-09-05T09           27591        0.010        1481.867           1.354

      這些結果顯示S3在06:00到07:00之間尖峰流量。在這些時間、最大和平均時間都會大幅增加、而且不會隨著計數增加而逐漸增加。這表示容量已超過某個位置、可能是網路或網格處理要求的能力。

    2. 若要判斷昨天每小時擷取的物件大小、請在命令中新增「大小」選項(`-s):

      grep SGET audit.log | audit-sum -gt 1H -s
        message group           count       min(B)          max(B)      average(B)
        =============           =====     ========        ========    ============
        2019-09-05T00            7591        0.040        1481.867           1.976
        2019-09-05T01            4173        0.043        1740.290           2.062
        2019-09-05T02           20142        0.083        1274.961           2.303
        2019-09-05T03           57591        0.912        1383.867           1.182
        2019-09-05T04          124171        0.730        1740.290           1.528
        2019-09-05T05          420182        0.875        4274.511           2.398
        2019-09-05T06         1220371        0.691  5663711385.961          51.328
        2019-09-05T07          527142        0.130        1974.228           2.147
        2019-09-05T08          384173        0.625        1740.290           1.878
        2019-09-05T09           27591        0.689        1481.867           1.354

      這些結果顯示、當整體擷取流量達到最大值時、會發生一些非常大的擷取。

    3. 若要查看更多詳細資料、請使用「稽核說明」工具來檢閱該時段的所有SGET作業:

      grep 2019-09-05T06 audit.log | grep SGET | audit-explain | less

      如果應該輸出許多行的Grep命令、請新增「less」命令、一次只顯示一頁(一個畫面)的稽核記錄檔內容。

  5. 如果您想要判斷儲存區上的SPUT作業是否比物件的SPUT作業慢:

    1. 首先使用「-go」選項、將物件和儲存區作業的訊息分別分組:

      grep SPUT sample.log | audit-sum -go
        message group           count     min(sec)        max(sec)    average(sec)
        =============           =====     ========        ========    ============
        SPUT.bucket                 1        0.125           0.125           0.125
        SPUT.object                12        0.025           1.019           0.236

      結果顯示、適用於貯體的SPUT作業與物件的SPUT作業具有不同的效能特性。

    2. 若要判斷哪些儲存區的SPUT作業速度最慢、請使用「-GB」選項、將訊息依儲存區分組:

      grep SPUT audit.log | audit-sum -gb
        message group                  count     min(sec)        max(sec)    average(sec)
        =============                  =====     ========        ========    ============
        SPUT.cho-non-versioning        71943        0.046        1770.563           1.571
        SPUT.cho-versioning            54277        0.047        1736.633           1.415
        SPUT.cho-west-region           80615        0.040          55.557           1.329
        SPUT.ldt002                  1564563        0.011          51.569           0.361
    3. 若要判斷哪些儲存區具有最大的SPUT物件大小、請同時使用「-GB」和「-s」選項:

      grep SPUT audit.log | audit-sum -gb -s
        message group                  count       min(B)          max(B)      average(B)
        =============                  =====     ========        ========    ============
        SPUT.cho-non-versioning        71943        2.097        5000.000          21.672
        SPUT.cho-versioning            54277        2.097        5000.000          21.120
        SPUT.cho-west-region           80615        2.097         800.000          14.433
        SPUT.ldt002                  1564563        0.000         999.972           0.352