人工智慧
Splunk架構
建議變更
PDF
本節說明 Splunk 架構、包括關鍵定義、 Splunk 分散式部署、 Splunk SmartStore 、資料流、 硬體與軟體需求、單一與多站台需求等。
關鍵定義
下兩份表格列出分散式Splunk部署中使用的Splunk和NetApp元件。
下表列出分散式Splunk Enterprise組態的Splunk硬體元件。
| Splunk元件 | 工作 |
|---|---|
索引器 |
Splunk Enterprise資料儲存庫 |
通用轉寄站 |
負責擷取資料並將資料轉送給索引器 |
搜尋標頭 |
使用者前端用於在索引器中搜尋資料 |
叢集主機 |
管理索引器和搜尋頭的Splunk安裝 |
監控主控台 |
整個部署中使用的集中化監控工具 |
授權主機 |
授權主控者負責Splunk Enterprise授權 |
部署伺服器 |
更新組態、並將應用程式散佈至處理元件 |
儲存元件 |
工作 |
NetApp AFF |
用於管理熱層資料的All Flash儲存設備。也稱為本機儲存設備。 |
NetApp StorageGRID |
S3物件儲存設備、用於管理暖層資料。SmartStore用於在熱層和熱層之間移動資料。也稱為遠端儲存設備。 |
下表列出Splunk儲存架構中的元件。
| Splunk元件 | 工作 | 負責的元件 |
|---|---|---|
SmartStore |
讓索引器能夠將資料從本機儲存設備分層至物件儲存設備。 |
Splunk |
熱 |
通用轉寄站放置新寫入資料的登陸點。儲存設備可寫入、資料可供搜尋。此資料層通常由SSD或快速HDD組成。 |
ONTAP |
快取管理程式 |
管理索引資料的本機快取、在進行搜尋時從遠端儲存設備擷取暖資料、並從快取中產生最少使用的資料。 |
SmartStore |
溫暖 |
資料會以邏輯方式捲動至儲存區、並從熱層重新命名為暖層。此層內的資料受到保護、像熱層一樣、也可以由大容量的SSD或HDD組成。使用通用資料保護解決方案、可同時支援遞增和完整備份。 |
StorageGRID |
Splunk分散式部署
為了支援資料來源於許多機器的大型環境、您需要處理大量資料。如果有許多使用者需要搜尋資料、您可以在多部機器上分散Splunk Enterprise執行個體、藉此擴充部署規模。這稱為分散式部署。
在典型的分散式部署中、每個Splunk Enterprise執行個體都會執行一項專業任務、並駐留在三個處理層中、對應於主要處理功能。
下表列出Splunk Enterprise處理層。
| 層級 | 元件 | 說明 |
|---|---|---|
資料輸入 |
轉寄站 |
轉寄站會使用資料、然後將資料轉送到索引器群組。 |
索引 |
索引器 |
索引器會索引通常從一組轉寄站接收的傳入資料。索引程式會將資料轉換成事件、並將事件儲存在索引中。索引程式也會搜尋索引資料、以回應來自搜尋標頭的搜尋要求。 |
搜尋管理 |
搜尋標頭 |
搜尋標頭可做為搜尋的中央資源。叢集中的搜尋頭可互換、並可從任何搜尋頭叢集成員存取相同的搜尋、儀表板、知識物件等。 |
下表列出分散式Splunk Enterprise環境中使用的重要元件。
| 元件 | 說明 | 責任 |
|---|---|---|
索引叢集主機 |
協調索引器叢集的活動與更新 |
索引管理 |
索引叢集 |
一組Splunk Enterprise索引器、設定為彼此複寫資料 |
索引 |
搜尋主管部署者 |
處理叢集主機的部署與更新 |
搜尋標頭管理 |
搜尋標頭叢集 |
一組搜尋頭、做為搜尋的中央資源 |
搜尋管理 |
負載平衡器 |
由叢集式元件使用、透過搜尋頭、索引器和S3目標來處理不斷增加的需求、以便在叢集式元件之間分散負載。 |
叢集式元件的負載管理 |
請參閱Splunk Enterprise分散式部署的下列優點：
-
存取多元或分散的資料來源
-
提供功能來滿足任何規模和複雜度企業的資料需求
-
透過資料複寫和多站台部署、實現高可用度並確保災難恢復
Splunk SmartStore
SmartStore是索引程式功能、可讓Amazon S3等遠端物件存放區儲存索引資料。隨著部署的資料量增加、儲存需求通常會超過運算資源的需求。SmartStore可讓您以具成本效益的方式管理索引器儲存設備和運算資源、方法是分別擴充這些資源。
SmartStore引進遠端儲存層和快取管理程式。這些功能可讓資料駐留在本地索引器或遠端儲存層上。快取管理程式可管理索引器與遠端儲存層之間的資料移動、索引器上已設定此層。
有了SmartStore、您可以將索引器的儲存設備佔用空間降至最低、並選擇I/O最佳化的運算資源。大部分資料都位於遠端儲存設備上。索引器會維護本機快取、其中包含最少的資料量：熱儲存區、參與作用中或最近搜尋的暖儲存區複本、以及儲存區中繼資料。
Splunk SmartStore資料流
當從不同來源傳入的資料到達索引器時、會將資料索引並儲存在熱儲存區的本機上。索引程式也會將熱庫資料複寫到目標索引器。到目前為止、資料流與非SmartStore索引的資料流相同。
當熱桶開始變暖時、資料流會發生差異。來源索引器會將暖儲存區複製到遠端物件存放區（遠端儲存層）、同時將現有的複本保留在快取中、因為搜尋通常會在最近建立索引的資料之間執行。但是、目標索引器會刪除複本、因為遠端儲存區提供高可用度、而不會維護多個本機複本。儲存庫的主要複本現在位於遠端儲存區。
下圖顯示Splunk SmartStore資料流。
索引器上的快取管理程式是SmartStore資料流的核心。它會視需要從遠端儲存區擷取儲存區的複本、以處理搜尋要求。它也會從快取中移出較舊或較少搜尋過的儲存區複本、因為隨著時間的推移、參與搜尋的可能性也會降低。
快取管理程式的工作是最佳化可用快取的使用、同時確保搜尋能夠立即存取所需的儲存區。
軟體需求
下表列出實作解決方案所需的軟體元件。在解決方案的任何實作中使用的軟體元件、可能會因客戶需求而異。
| 產品系列 | 產品名稱 | 產品版本 | 作業系統 |
|---|---|---|---|
NetApp StorageGRID |
物件儲存StorageGRID |
11.6% |
不適用 |
CentOS |
CentOS |
8.1 |
CentOS 7.x |
Splunk Enterprise |
採用SmartStore的Splunk Enterprise |
8.0.3 |
CentOS 7.x |
單一和多站台需求
在企業Splunk環境（中型和大型部署）中、資料來源於許多機器、且有許多使用者需要搜尋資料、您可以在單一和多個站台上散佈Splunk Enterprise執行個體、藉此擴充部署規模。
請參閱Splunk Enterprise分散式部署的下列優點：
-
存取多元或分散的資料來源
-
提供功能來滿足任何規模和複雜度企業的資料需求
-
透過資料複寫和多站台部署、實現高可用度並確保災難恢復
下表列出分散式Splunk Enterprise環境中使用的元件。
| 元件 | 說明 | 責任 |
|---|---|---|
索引叢集主機 |
協調索引器叢集的活動與更新 |
索引管理 |
索引叢集 |
一組Splunk Enterprise索引器、設定為彼此複寫資料 |
索引 |
搜尋主管部署者 |
處理叢集主機的部署與更新 |
搜尋標頭管理 |
搜尋標頭叢集 |
一組搜尋頭、做為搜尋的中央資源 |
搜尋管理 |
負載平衡器 |
由叢集式元件使用、透過搜尋頭、索引器和S3目標來處理不斷增加的需求、以便在叢集式元件之間分散負載。 |
叢集式元件的負載管理 |
此圖說明單一站台分散式部署的範例。
此圖說明多站台分散式部署的範例。
硬體需求
下表列出實作解決方案所需的硬體元件數量下限。在解決方案的特定實作中使用的硬體元件可能會因客戶需求而異。
|
無論您是在StorageGRID 單一站台或多個站台上部署Splunk SmartStore和Solidsites、所有系統都是從StorageGRID 這個功能區管理的單一窗口中進行管理。如需詳細資訊、請參閱「使用Grid Manager進行簡單管理」一節。 |
下表列出單一站台所使用的硬體。
| 硬體 | 數量 | 磁碟 | 可用容量 | 附註 |
|---|---|---|---|---|
SSG1000 StorageGRID |
1. |
不適用 |
不適用 |
管理節點和負載平衡器 |
SSG6060 StorageGRID |
4. |
X48、8TB（NL-SAS HDD） |
1PB |
遠端儲存設備 |
下表列出用於多站台組態（每站台）的硬體。
| 硬體 | 數量 | 磁碟 | 可用容量 | 附註 |
|---|---|---|---|---|
SSG1000 StorageGRID |
2. |
不適用 |
不適用 |
管理節點和負載平衡器 |
SSG6060 StorageGRID |
4. |
X48、8TB（NL-SAS HDD） |
1PB |
遠端儲存設備 |
NetApp StorageGRID S1000負載平衡器：SG1000
物件儲存需要使用負載平衡器來呈現雲端儲存命名空間。支援業界領先廠商（例如F5和Citrix）的協力廠商負載平衡器、但許多客戶選擇企業級的均衡器、以實現簡易性、恢復能力和高效能。StorageGRID StorageGRID此等負載平衡器可作為VM、Container或特定用途的應用裝置使用。StorageGRID
利用此功能、即可在S3資料路徑連線中使用高可用度（HA）群組、並實現智慧型負載平衡。StorageGRID沒有其他內部物件儲存系統能提供自訂的負載平衡器。
SG1000應用裝置提供下列功能：
-
負載平衡器和（可選）管理員節點功能、適用於StorageGRID 一個系統
-
旨在簡化節點部署與組態的《產品安裝程式（the StorageGRID
-
簡化S3端點和SSL的組態
-
專用頻寬（相較於與其他應用程式共用協力廠商負載平衡器）
-
高達4 x 100Gbps的Aggregate乙太網路頻寬
下圖顯示SG1000閘道服務應用裝置。
SG6060
此產品包含運算控制器（SG6060）和儲存控制器機櫃（E系列E2860）、StorageGRID 其中包含兩個儲存控制器和60個磁碟機。本應用裝置提供下列功能：
-
在單一命名空間中最多可擴充至400PB。
-
最高4倍25Gbps Aggregate乙太網路頻寬。
-
包含StorageGRID 可簡化節點部署與組態的《不再使用產品安裝程式」。
-
每個SG6060應用裝置都可以有一或兩個額外的擴充櫃、總共可容納180個磁碟機。
-
兩個E系列E2800控制器（雙工組態）可提供儲存控制器容錯移轉支援。
-
五個抽屜式磁碟機櫃、可容納60個3.5吋磁碟機（兩個固態磁碟機、以及58個NL-SAS磁碟機）。
下圖顯示SG6060應用裝置。
Splunk設計
下表列出單一站台的Splunk組態。
| Splunk元件 | 工作 | 數量 | 核心 | 記憶體 | 作業系統 |
|---|---|---|---|---|---|
通用轉寄站 |
負責擷取資料並將資料轉送給索引器 |
4. |
16核心 |
32GB RAM |
CentOS 8.1 |
索引器 |
管理使用者資料 |
10. |
16核心 |
32GB RAM |
CentOS 8.1 |
搜尋標頭 |
使用者前端會在索引器中搜尋資料 |
3. |
16核心 |
32GB RAM |
CentOS 8.1 |
搜尋主管部署者 |
處理搜尋頭叢集的更新 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
叢集主機 |
管理Splunk安裝與索引器 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
監控主控台和授權主控台 |
集中監控整個Splunk部署、並管理Splunk授權 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
下表說明多站台組態的Splunk組態。
下表列出多站台組態（站台A）的Splunk組態。
| Splunk元件 | 工作 | 數量 | 核心 | 記憶體 | 作業系統 |
|---|---|---|---|---|---|
通用轉寄站 |
負責擷取資料並將資料轉送給索引器。 |
4. |
16核心 |
32GB RAM |
CentOS 8.1 |
索引器 |
管理使用者資料 |
10. |
16核心 |
32GB RAM |
CentOS 8.1 |
搜尋標頭 |
使用者前端會在索引器中搜尋資料 |
3. |
16核心 |
32GB RAM |
CentOS 8.1 |
搜尋主管部署者 |
處理搜尋頭叢集的更新 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
叢集主機 |
管理Splunk安裝與索引器 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
監控主控台和授權主控台 |
集中監控整個Splunk部署、並管理Splunk授權。 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
下表列出多站台組態（站台B）的Splunk組態。
| Splunk元件 | 工作 | 數量 | 核心 | 記憶體 | 作業系統 |
|---|---|---|---|---|---|
通用轉寄站 |
負責擷取資料並將資料轉送給索引器 |
4. |
16核心 |
32GB RAM |
CentOS 8.1 |
索引器 |
管理使用者資料 |
10. |
16核心 |
32GB RAM |
CentOS 8.1 |
搜尋標頭 |
使用者前端會在索引器中搜尋資料 |
3. |
16核心 |
32GB RAM |
CentOS 8.1 |
叢集主機 |
管理Splunk安裝與索引器 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |
監控主控台和授權主控台 |
集中監控整個Splunk部署、並管理Splunk授權 |
1. |
16核心 |
32GB RAM |
CentOS 8.1 |