使用稽核加總工具
您可以使用此 `audit-sum`工具來計算寫入、讀取、標頭及刪除稽核訊息、並查看每種作業類型的最小、最大及平均時間(或大小)。
-
您有 "特定存取權限"。
-
您必須擁有 `Passwords.txt`檔案。
-
您必須知道主管理節點的IP位址。
`audit-sum`主要管理節點上提供的工具會摘要說明記錄的寫入、讀取和刪除作業數、以及這些作業所需的時間。
此 `audit-sum`工具主要供技術支援人員在疑難排解作業期間使用。處理 `audit-sum`查詢可能會消耗大量 CPU 電力、這可能會影響 StorageGRID 作業。 |
此範例顯示工具的一般輸出 audit-sum
。此範例顯示傳輸協定作業所需的時間。
message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ IDEL 274 SDEL 213371 0.004 20.934 0.352 SGET 201906 0.010 1740.290 1.132 SHEA 22716 0.005 2.349 0.272 SPUT 1771398 0.011 1770.563 0.487
此 `audit-sum`工具可在稽核記錄中提供下列 S3 、 Swift 和 ILM 稽核訊息的計數和時間。
稽核代碼會從產品和文件中移除、因為功能已過時。如果您遇到本文未列出的稽核程式碼、請查看本主題的舊版以瞭解較舊的 SG 版本。例如 "StorageGRID 11.8 使用稽核摘要工具文件":。 |
程式碼 | 說明 | 請參閱 |
---|---|---|
理想 |
ILM初始化刪除:ILM開始刪除物件的程序時記錄。 |
|
SDEL |
S3刪除:記錄成功的交易以刪除物件或儲存區。 |
|
SGET |
S3 Get:記錄成功的交易、以擷取物件或列出儲存區中的物件。 |
|
Shea |
S3標頭:記錄成功的交易、以檢查物件或儲存區是否存在。 |
|
SPUT |
S3 PUT:記錄成功的交易、以建立新的物件或儲存區。 |
|
WDEL |
Swift刪除:記錄成功的交易以刪除物件或容器。 |
|
WGet |
Swift Get:記錄成功的交易、以擷取物件或列出容器中的物件。 |
|
WHA |
Swift標頭:記錄成功的交易、以檢查物件或容器是否存在。 |
|
WUT |
Swift PUT:記錄成功的交易、以建立新的物件或容器。 |
此 `audit-sum`工具可執行下列動作:
-
處理純或壓縮的稽核記錄。例如:
audit-sum audit.log
audit-sum 2019-08-12.txt.gz
-
同時處理多個檔案。例如:
audit-sum audit.log 2019-08-12.txt.gz 2019-08-13.txt.gz
audit-sum /var/local/log/*
-
接受來自管道的輸入、可讓您使用命令或其他方法來篩選及預先處理輸入
grep
。例如:grep WGET audit.log | audit-sum
grep bucket1 audit.log | audit-sum
grep SPUT audit.log | grep bucket1 | audit-sum
此工具不接受壓縮檔案做為管道輸入。若要處理壓縮檔案、請提供檔案名稱做為命令列引數、或使用工具先解壓縮 `zcat`檔案。例如:
|
您可以使用命令列選項、將儲存區上的作業與物件上的作業分開彙總、或依儲存區名稱、時間期間或目標類型將訊息摘要分組。根據預設、摘要會顯示最小、最大和平均操作時間、但您可以使用 `size (-s)`選項來查看物件大小。
使用 `help (-h)`選項查看可用選項。例如:
$ audit-sum -h
-
登入主要管理節點:
-
輸入下列命令:
ssh admin@primary_Admin_Node_IP
-
輸入檔案中列出的密碼
Passwords.txt
。 -
輸入以下命令切換到 root :
su -
-
輸入檔案中列出的密碼
Passwords.txt
。當您以 root 登入時、提示會從變更
$`為 `#
。
-
-
如果您要分析與寫入、讀取、標頭及刪除作業相關的所有訊息、請依照下列步驟操作:
-
輸入下列命令、其中 `/var/local/log/audit.log`代表您要分析的檔案名稱和位置:
$ audit-sum /var/local/log/audit.log
此範例顯示工具的一般輸出
audit-sum
。此範例顯示傳輸協定作業所需的時間。message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ IDEL 274 SDEL 213371 0.004 20.934 0.352 SGET 201906 0.010 1740.290 1.132 SHEA 22716 0.005 2.349 0.272 SPUT 1771398 0.011 1770.563 0.487
在此範例中、SGET(S3 Get)作業平均速度最慢、僅1.13秒、但SGET和SPUT(S3 PUT)作業都顯示出約1、730秒的長時間最差時間。
-
若要顯示最慢的 10 次擷取作業、請使用 Grep 命令僅選取 SGET 訊息、並新增長輸出選項(
-l
)以包含物件路徑:grep SGET audit.log | audit-sum -l
結果包括類型(物件或儲存區)和路徑、可讓您為稽核日誌中與這些特定物件相關的其他訊息進行Grep。
Total: 201906 operations Slowest: 1740.290 sec Average: 1.132 sec Fastest: 0.010 sec Slowest operations: time(usec) source ip type size(B) path ========== =============== ============ ============ ==== 1740289662 10.96.101.125 object 5663711385 backup/r9O1OaQ8JB-1566861764-4519.iso 1624414429 10.96.101.125 object 5375001556 backup/r9O1OaQ8JB-1566861764-6618.iso 1533143793 10.96.101.125 object 5183661466 backup/r9O1OaQ8JB-1566861764-4518.iso 70839 10.96.101.125 object 28338 bucket3/dat.1566861764-6619 68487 10.96.101.125 object 27890 bucket3/dat.1566861764-6615 67798 10.96.101.125 object 27671 bucket5/dat.1566861764-6617 67027 10.96.101.125 object 27230 bucket5/dat.1566861764-4517 60922 10.96.101.125 object 26118 bucket3/dat.1566861764-4520 35588 10.96.101.125 object 11311 bucket3/dat.1566861764-6616 23897 10.96.101.125 object 10692 bucket3/dat.1566861764-4516
+ 在此範例輸出中、您可以看到三個最慢的S3「Get(取得)」要求是針對大小約5 GB的物件、比其他物件大得多。大容量則是最差擷取時間緩慢的問題。
-
-
如果您想要確定要在網格中擷取和擷取的物件大小、請使用「大小(
-s
」選項):audit-sum -s audit.log
message group count min(MB) max(MB) average(MB) ============= ===== ======== ======== ============ IDEL 274 0.004 5000.000 1654.502 SDEL 213371 0.000 10.504 1.695 SGET 201906 0.000 5000.000 14.920 SHEA 22716 0.001 10.504 2.967 SPUT 1771398 0.000 5000.000 2.495
在此範例中、SPUT的平均物件大小低於2.5 MB、但SGET的平均大小卻大得多。SPUT訊息的數量遠高於SGET訊息的數量、表示大部分的物件永遠不會擷取。
-
如果您想要判斷昨天擷取的速度是否緩慢:
-
在適當的稽核記錄上發出命令、並使用依時間分組選項(
-gt
)、接著輸入時間段(例如 15M 、 1H 、 10S ):grep SGET audit.log | audit-sum -gt 1H
message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ 2019-09-05T00 7591 0.010 1481.867 1.254 2019-09-05T01 4173 0.011 1740.290 1.115 2019-09-05T02 20142 0.011 1274.961 1.562 2019-09-05T03 57591 0.010 1383.867 1.254 2019-09-05T04 124171 0.013 1740.290 1.405 2019-09-05T05 420182 0.021 1274.511 1.562 2019-09-05T06 1220371 0.015 6274.961 5.562 2019-09-05T07 527142 0.011 1974.228 2.002 2019-09-05T08 384173 0.012 1740.290 1.105 2019-09-05T09 27591 0.010 1481.867 1.354
這些結果顯示S3在06:00到07:00之間尖峰流量。在這些時間、最大和平均時間都會大幅增加、而且不會隨著計數增加而逐漸增加。這表示容量已超過某個位置、可能是網路或網格處理要求的能力。
-
要確定昨天每小時檢索的對象大小,請將 Size 選項(
-s
(大小選項)添加到命令中:grep SGET audit.log | audit-sum -gt 1H -s
message group count min(B) max(B) average(B) ============= ===== ======== ======== ============ 2019-09-05T00 7591 0.040 1481.867 1.976 2019-09-05T01 4173 0.043 1740.290 2.062 2019-09-05T02 20142 0.083 1274.961 2.303 2019-09-05T03 57591 0.912 1383.867 1.182 2019-09-05T04 124171 0.730 1740.290 1.528 2019-09-05T05 420182 0.875 4274.511 2.398 2019-09-05T06 1220371 0.691 5663711385.961 51.328 2019-09-05T07 527142 0.130 1974.228 2.147 2019-09-05T08 384173 0.625 1740.290 1.878 2019-09-05T09 27591 0.689 1481.867 1.354
這些結果顯示、當整體擷取流量達到最大值時、會發生一些非常大的擷取。
-
若要查看更多詳細資料、請使用"稽核說明工具"檢閱該時段內的所有 SGET 作業:
grep 2019-09-05T06 audit.log | grep SGET | audit-explain | less
如果 Grep 命令的輸出預期為多行、請新增命令、 `less`一次顯示一頁(一個畫面)的稽核記錄檔內容。
-
-
如果您想要判斷儲存區上的SPUT作業是否比物件的SPUT作業慢:
-
首先使用 `-go`選項、將訊息分別分組以進行物件和貯體作業:
grep SPUT sample.log | audit-sum -go
message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ SPUT.bucket 1 0.125 0.125 0.125 SPUT.object 12 0.025 1.019 0.236
結果顯示、適用於貯體的SPUT作業與物件的SPUT作業具有不同的效能特性。
-
若要判斷哪些貯體具有最慢的 SPUT 作業、請使用 `-gb`選項、依貯體將訊息分組:
grep SPUT audit.log | audit-sum -gb
message group count min(sec) max(sec) average(sec) ============= ===== ======== ======== ============ SPUT.cho-non-versioning 71943 0.046 1770.563 1.571 SPUT.cho-versioning 54277 0.047 1736.633 1.415 SPUT.cho-west-region 80615 0.040 55.557 1.329 SPUT.ldt002 1564563 0.011 51.569 0.361
-
若要判斷哪些貯體具有最大的 SPUT 物件大小、請同時使用 `-gb`和 `-s`選項:
grep SPUT audit.log | audit-sum -gb -s
message group count min(B) max(B) average(B) ============= ===== ======== ======== ============ SPUT.cho-non-versioning 71943 2.097 5000.000 21.672 SPUT.cho-versioning 54277 2.097 5000.000 21.120 SPUT.cho-west-region 80615 2.097 800.000 14.433 SPUT.ldt002 1564563 0.000 999.972 0.352
-