Skip to main content
How to enable StorageGRID in your environment
本繁體中文版使用機器翻譯，譯文僅供參考，若與英文版本牴觸，應以英文版本為準。

使用elk堆疊進行記錄分析StorageGRID

貢獻者
PDF

_ 作者： Angela Cheng _

使用 StorageGRID 系統記錄轉送功能，您可以設定外部系統記錄伺服器來收集和分析 StorageGRID 記錄訊息。Elk（Elasticsearch、Logstash、Kibana）已成為最受歡迎的記錄分析解決方案之一。觀看 "使用elk視訊進行記錄分析StorageGRID" 以檢視範例 elk 組態、以及如何使用它來識別和疑難排解失敗的 S3 要求。StorageGRID 11.9 支援將負載平衡器端點存取記錄匯出至外部 Syslog 伺服器。請觀看此影片 "YouTube 影片"，深入瞭解這項新功能。本文提供Logstash組態、Kibana查詢、圖表和儀表板的範例檔案、協助您快速開始StorageGRID 進行資訊記錄管理和分析。

需求

  • SHO11.6.0.2或更高版本StorageGRID

  • Elk（Elasticsearch、Logstash和Kibana）7.1x或更新版本已安裝並開始運作

範例檔案

假設

讀者熟悉StorageGRID 了功能性的技術與操作。

指示

由於Grok模式定義的名稱不同、因此提供兩個範例版本。+例如、Logstash組態檔中的SYSLOGBASE-Grok模式會根據安裝的Logstash版本、以不同的方式定義欄位名稱。

match => {"message" => '<%{POSINT:syslog_pri}>%{SYSLOGBASE} %{GREEDYDATA:msg-details}'}

  • Logstash 7.17樣本*

Logstash 7.17範例

記錄8.23樣本

Logstash 8.23範例

步驟

  1. 根據您安裝的elk版本解壓縮提供的範例。範例資料夾包含兩個Logstash組態範例：* sglog-2-file.conf：此組態檔可在StorageGRID 不進行資料轉換的情況下、將不含資料的記錄訊息輸出至Logstash上的檔案。您可以使用此選項來確認Logstash是否接收StorageGRID 到任何消息、或是協助瞭解StorageGRID 哪些是資訊記錄模式。+ sglog-2-es.conf：*此組態檔會StorageGRID 使用各種模式和篩選器來轉換資訊記錄訊息。其中包括範例Drop陳述式、可根據模式或篩選條件來刪除訊息。輸出會傳送至Elasticsearch以進行索引。+根據檔案內的指示自訂所選的組態檔。

  2. 測試自訂的組態檔：

    /usr/share/logstash/bin/logstash --config.test_and_exit -f <config-file-path/file>

    如果傳回的最後一行與下列行類似、則組態檔沒有語法錯誤：

    [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

  3. 將自訂的設定檔複製到Logstash伺服器的組態：/etc/logstash/conf.d+如果您尚未在/etc/logstash/logstash.yml中啟用config.reload.automatic、請重新啟動Logstash服務。否則、請等待設定重新載入時間間隔過去。

     grep reload /etc/logstash/logstash.yml
# Periodically check if the configuration has changed and reload the pipeline
config.reload.automatic: true
config.reload.interval: 5s

  4. 檢查/var/log/logstash/logstash-plain.log、確認使用新的組態檔啟動Logstash時沒有錯誤。

  5. 確認TCP連接埠已啟動並正在偵聽。+在此範例中、使用TCP連接埠5000。

    netstat -ntpa | grep 5000
tcp6       0      0 :::5000                 :::*                    LISTEN      25744/java

  6. 從程式管理程式GUI、設定外部syslog伺服器StorageGRID 、將記錄訊息傳送至Logstash。如需詳細資訊、請參閱 "示範影片" 。

  7. 您需要在Logstash伺服器上設定或停用防火牆、才能讓StorageGRID 節點連線至定義的TCP連接埠。

  8. 從Kibana GUI中、選取「Management（管理）」→「Dev Tools（開發工具）」。在「主控台」頁面上、執行此「Get」命令、確認已在Elasticsearch上建立新索引。

    GET /_cat/indices/*?v=true&s=index

  9. 從Kibana GUI建立索引模式（elk 7.x）或資料檢視（elk 8.x）。

  10. 從Kibana GUI、在位於上方中心的搜尋方塊中輸入「儲存的物件」。+在「儲存的物件」頁面上、選取「匯入」。在「匯入選項」下、選取「在衝突時要求採取行動」

    Kibana匯入選項

    匯入elk<version>-query-chart-same.ndjson。+當系統提示您解決衝突時、請選取您在步驟8中建立的索引模式或資料檢視。

    Kibana衝突

    匯入下列 Kibana 物件： + * 查詢 bycast.log * + * 稽核 - msg-s3rq-orlm + * 廣播記錄 S3 相關訊息 + * 記錄層級警告或更高 + * 失敗安全事件 + * Ngins-GW 端點存取記錄（僅適用於 elk8-skample-for -sg119.zip ） + * 圖表 * + S3 要求根據上述儀表板的平均回應時間類型 + 回應數 * ，按儀表板數 + msg * ，以追蹤記錄 *

您現在可以StorageGRID 使用Kibana來執行資訊分析。

其他資源