Splunk 架構
建議變更
PDF
本節介紹 Splunk 架構，包括關鍵定義、Splunk 分散式部署、Splunk SmartStore、資料流、硬體和軟體需求、單一站點和多站點需求等。
關鍵定義
接下來的兩個表格列出了分散式 Splunk 部署中使用的 Splunk 和NetApp元件。
此表列出了分散式 Splunk Enterprise 配置的 Splunk 硬體元件。
| Splunk 元件 | 任務 |
|---|---|
索引器 |
Splunk Enterprise 資料儲存庫 |
通用轉發器 |
負責提取資料並將資料轉發給索引器 |
搜尋頭 |
用於在索引器中搜尋資料的使用者前端 |
叢集主節點 |
管理索引器和搜尋頭的 Splunk 安裝 |
監控控制台 |
整個部署中使用的集中監控工具 |
許可證主控 |
許可證管理員處理 Splunk Enterprise 許可 |
部署伺服器 |
更新配置並將應用程式分發到處理組件 |
儲存組件 |
任務 |
NetApp AFF |
用於管理熱層資料的全快閃儲存。也稱為本地儲存。 |
NetAppStorageGRID |
用於管理熱層資料的 S3 物件儲存。 SmartStore 使用它在熱層和溫層之間移動資料。也稱為遠端儲存。 |
下表列出了 Splunk 儲存架構中的元件。
| Splunk 元件 | 任務 | 負責組件 |
|---|---|---|
智慧商店 |
為索引器提供將資料從本機儲存分層到物件儲存的能力。 |
Splunk |
熱的 |
通用轉發器放置新寫入資料的著陸點。儲存是可寫的，資料是可搜尋的。此資料層通常由 SSD 或快速 HDD 組成。 |
ONTAP |
快取管理器 |
管理索引資料的本地緩存，在搜尋時從遠端儲存中獲取熱數據，並從快取中逐出最不常用的數據。 |
智慧商店 |
溫暖的 |
資料按邏輯捲動到儲存桶，首先從熱層重新命名為暖層。此層內的資料受到保護，與熱層一樣，可以由更大容量的 SSD 或 HDD 組成。使用常見的資料保護解決方案支援增量備份和完整備份。 |
StorageGRID |
Splunk 分散式部署
為了支援資料來自多台機器的更大環境，您需要處理大量資料。如果許多使用者需要搜尋數據，您可以透過在多台機器上分發 Splunk Enterprise 實例來擴展部署。這被稱為分散式部署。
在典型的分散式部署中，每個 Splunk Enterprise 執行個體執行一項專門的任務，並駐留在與主要處理功能相對應的三個處理層之一上。
下表列出了 Splunk Enterprise 處理層。
| 層級 | 成分 | 描述 |
|---|---|---|
資料輸入 |
貨運代理 |
轉發器消費數據，然後將數據轉發給一組索引器。 |
索引 |
索引器 |
索引器對通常從一組轉發器接收的傳入資料進行索引。索引器將資料轉換為事件並將事件儲存在索引中。索引器也會根據搜尋頭的搜尋請求搜尋索引資料。 |
搜尋管理 |
搜尋頭 |
搜尋頭是搜尋的中心資源。叢集中的搜尋頭是可互換的，並且可以從搜尋頭叢集的任何成員存取相同的搜尋、儀表板、知識對像等。 |
下表列出了在分散式 Splunk Enterprise 環境中使用的重要元件。
| 成分 | 描述 | 責任 |
|---|---|---|
索引集群主節點 |
協調索引器集群的活動和更新 |
索引管理 |
索引集群 |
配置為相互複製資料的 Splunk Enterprise 索引器組 |
索引 |
搜尋頭部署器 |
處理叢集主控的部署與更新 |
搜尋頭管理 |
搜尋頭集群 |
一組搜尋頭，作為搜尋的中心資源 |
搜尋管理 |
負載平衡器 |
由叢集元件使用，以處理搜尋頭、索引器和 S3 目標不斷增長的需求，從而在叢集元件之間分配負載。 |
叢集元件的負載管理 |
請參閱 Splunk Enterprise 分散式部署的以下優點：
-
存取多樣化或分散的資料來源
-
提供處理任何規模和複雜程度的企業資料需求的功能
-
透過資料複製和多站點部署實現高可用性並確保災難復原
Splunk SmartStore
SmartStore 是一種索引器功能，它使遠端物件儲存（如 Amazon S3）能夠儲存索引資料。隨著部署的資料量增加，對儲存的需求通常會超過對運算資源的需求。 SmartStore 可讓您透過單獨擴充這些資源來經濟高效地管理索引器儲存和運算資源。
SmartStore 引入了遠端儲存層和快取管理器。這些功能允許資料駐留在本機索引器上或遠端儲存層。快取管理器管理索引器和索引器上配置的遠端儲存層之間的資料移動。
使用 SmartStore，您可以將索引器儲存佔用空間降至最低，並選擇針對 I/O 最佳化的運算資源。大多數資料駐留在遠端儲存上。索引器維護一個包含最少量資料的本地快取：熱儲存桶、參與活動或最近搜尋的熱儲存桶副本以及儲存桶元資料。
Splunk SmartStore 資料流
當來自各個來源的資料到達索引器時，資料會被索引並本地保存在熱存儲桶中。索引器還將熱存儲桶資料複製到目標索引器。到目前為止，資料流與非 SmartStore 索引的資料流相同。
當熱桶變暖時，資料流就會分叉。來源索引器將熱儲存桶複製到遠端物件儲存（遠端儲存層），同時將現有副本保留在其快取中，因為搜尋往往會遇到最近索引的資料。但是，目標索引器會刪除其副本，因為遠端儲存無需維護多個本機副本即可提供高可用性。儲存桶的主副本現在位於遠端儲存中。
下圖顯示了 Splunk SmartStore 資料流。
索引器上的快取管理器是 SmartStore 資料流的核心。它根據需要從遠端儲存中獲取儲存桶的副本來處理搜尋請求。它還會從快取中逐出較舊或搜尋較少的儲存桶副本，因為它們參與搜尋的可能性會隨著時間的推移而降低。
快取管理器的工作是優化可用快取的使用，同時確保搜尋可以立即存取所需的儲存桶。
軟體需求
下表列出了實施該解決方案所需的軟體元件。解決方案實施過程中所使用的軟體元件可能會根據客戶要求而有所不同。
| 產品系列 | 產品名稱 | 產品版本 | 作業系統 |
|---|---|---|---|
NetAppStorageGRID |
StorageGRID物件存儲 |
11.6 |
無 |
CentOS |
CentOS |
8.1 |
CentOS 7.x |
Splunk Enterprise |
Splunk Enterprise 與 SmartStore |
8.0.3 |
CentOS 7.x |
單站點和多站點要求
在企業 Splunk 環境（中型和大型部署）中，資料源自多台機器，許多使用者需要搜尋數據，您可以透過在單一和多個網站上分發 Splunk Enterprise 實例來擴展部署。
請參閱 Splunk Enterprise 分散式部署的以下優點：
-
存取多樣化或分散的資料來源
-
提供處理任何規模和複雜程度的企業資料需求的功能
-
透過資料複製和多站點部署實現高可用性並確保災難復原
下表列出了在分散式 Splunk Enterprise 環境中使用的元件。
| 成分 | 描述 | 責任 |
|---|---|---|
索引集群主節點 |
協調索引器集群的活動和更新 |
索引管理 |
索引集群 |
配置為相互複製資料的 Splunk Enterprise 索引器組 |
索引 |
搜尋頭部署器 |
處理叢集主控的部署與更新 |
搜尋頭管理 |
搜尋頭集群 |
一組搜尋頭，作為搜尋的中心資源 |
搜尋管理 |
負載平衡器 |
由叢集元件使用，以處理搜尋頭、索引器和 S3 目標不斷增長的需求，從而在叢集元件之間分配負載。 |
叢集元件的負載管理 |
該圖描繪了單站點分散式部署的範例。
該圖描繪了多站點分散式部署的範例。
硬體需求
下表列出了實施該解決方案所需的最少硬體組件數量。解決方案具體實施中使用的硬體組件可能會根據客戶要求而有所不同。
|
無論您在單一網站或多個網站部署了 Splunk SmartStore 和StorageGRID ，所有系統都透過StorageGRID GRID Manager 在單一玻璃窗格中進行管理。有關更多詳細信息，請參閱“使用網格管理器進行簡單管理”部分。 |
該表列出了單一站點使用的硬體。
| 硬體 | 數量 | 磁碟 | 可用容量 | 筆記 |
|---|---|---|---|---|
StorageGRID SG1000 |
1 |
無 |
無 |
管理節點和負載平衡器 |
StorageGRID SG6060 |
4 |
x48，8TB（NL-SAS 硬碟） |
1PB |
遠端儲存 |
下表列出了用於多站點配置（每個站點）的硬體。
| 硬體 | 數量 | 磁碟 | 可用容量 | 筆記 |
|---|---|---|---|---|
StorageGRID SG1000 |
2 |
無 |
無 |
管理節點和負載平衡器 |
StorageGRID SG6060 |
4 |
x48，8TB（NL-SAS 硬碟） |
1PB |
遠端儲存 |
NetApp StorageGRID負載平衡器：SG1000
物件儲存需要使用負載平衡器來呈現雲端儲存命名空間。 StorageGRID支援來自 F5 和 Citrix 等領先供應商的第三方負載平衡器，但許多客戶選擇企業級StorageGRID平衡器以實現簡單性、彈性和高效能。 StorageGRID負載平衡器可作為虛擬機器、容器或專用設備使用。
StorageGRID SG1000 有助於使用高可用性 (HA) 群組和 S3 資料路徑連接的智慧負載平衡。沒有其他內部部署物件儲存系統提供客製化的負載平衡器。
SG1000 設備提供以下功能：
-
StorageGRID系統的負載平衡器和管理節點（選用）功能
-
StorageGRID Appliance Installer 可簡化節點部署與配置
-
簡化 S3 端點和 SSL 的配置
-
專用頻寬（而不是與其他應用程式共用第三方負載平衡器）
-
高達 4 x 100Gbps 聚合乙太網路頻寬
下圖顯示了 SG1000 網關服務設備。
SG6060
StorageGRID SG6060 設備包括一個運算控制器（SG6060）和一個儲存控制器架（E 系列 E2860），其中包含兩個儲存控制器和 60 個磁碟機。本設備具有以下功能：
-
在單一命名空間中擴展到 400PB。
-
高達 4x 25Gbps 的聚合乙太網路頻寬。
-
包括StorageGRID Appliance Installer，以簡化節點部署和配置。
-
每個 SG6060 設備可以有一個或兩個額外的擴充架，總共可容納 180 個驅動器。
-
兩個 E 系列 E2800 控制器（雙工配置）提供儲存控制器故障轉移支援。
-
五抽屜驅動器架，可容納 60 個 3.5 吋驅動器（兩個固態驅動器和 58 個 NL-SAS 驅動器）。
下圖顯示了 SG6060 設備。
Splunk 設計
下表列出了單一網站的 Splunk 配置。
| Splunk 元件 | 任務 | 數量 | 核心 | 記憶 | 作業系統 |
|---|---|---|---|---|---|
通用轉發器 |
負責提取資料並將資料轉發給索引器 |
4 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
索引器 |
管理用戶數據 |
10 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
搜尋頭 |
用戶前端在索引器中搜尋數據 |
3 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
搜尋頭部署器 |
處理搜尋頭集群的更新 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
叢集主節點 |
管理 Splunk 安裝和索引器 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
監控控制台和許可證主控器 |
對整個 Splunk 部署進行集中監控並管理 Splunk 許可證 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
下表描述了多站點配置的 Splunk 配置。
下表列出了多站點配置（站點 A）的 Splunk 配置。
| Splunk 元件 | 任務 | 數量 | 核心 | 記憶 | 作業系統 |
|---|---|---|---|---|---|
通用轉發器 |
負責提取資料並將資料轉發給索引器。 |
4 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
索引器 |
管理用戶數據 |
10 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
搜尋頭 |
用戶前端在索引器中搜尋數據 |
3 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
搜尋頭部署器 |
處理搜尋頭集群的更新 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
叢集主節點 |
管理 Splunk 安裝和索引器 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
監控控制台和許可證主控器 |
對整個 Splunk 部署進行集中監控並管理 Splunk 許可證。 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
下表列出了多站點配置（站點 B）的 Splunk 配置。
| Splunk 元件 | 任務 | 數量 | 核心 | 記憶 | 作業系統 |
|---|---|---|---|---|---|
通用轉發器 |
負責提取資料並將資料轉發給索引器 |
4 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
索引器 |
管理用戶數據 |
10 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
搜尋頭 |
用戶前端在索引器中搜尋數據 |
3 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
叢集主節點 |
管理 Splunk 安裝和索引器 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |
監控控制台和許可證主控器 |
對整個 Splunk 部署進行集中監控並管理 Splunk 許可證 |
1 |
16 核 |
32 GB 內存 |
CentOS 8.1 |