Splunkアーキテクチャ
変更を提案
PDF
このセクションでは、主要な定義、Splunk 分散デプロイメント、Splunk SmartStore、データ フロー、ハードウェアおよびソフトウェアの要件、単一サイトおよびマルチサイトの要件などを含む Splunk アーキテクチャについて説明します。
主な定義
次の 2 つの表には、分散 Splunk 展開で使用される Splunk およびNetAppコンポーネントがリストされています。
この表には、分散型 Splunk Enterprise 構成の Splunk ハードウェア コンポーネントがリストされています。
| Splunkコンポーネント | Task |
|---|---|
インデクサー |
Splunk Enterprise データのリポジトリ |
ユニバーサルフォワーダー |
データの取り込みとインデクサーへのデータ転送を担当 |
検索ヘッド |
インデクサー内のデータを検索するために使用するユーザーフロントエンド |
クラスターマスター |
Splunkのインデクサーと検索ヘッドのインストールを管理します |
監視コンソール |
展開全体で使用される集中監視ツール |
ライセンスマスター |
ライセンスマスターはSplunk Enterpriseのライセンスを管理します |
デプロイメントサーバー |
構成を更新し、処理コンポーネントにアプリを配布します |
ストレージコンポーネント |
Task |
NetApp AFF |
ホット層データを管理するために使用されるオールフラッシュ ストレージ。ローカル ストレージとも呼ばれます。 |
NetAppStorageGRID |
ウォーム層データを管理するために使用される S3 オブジェクト ストレージ。 SmartStore によって、ホット層とウォーム層の間でデータを移動するために使用されます。リモート ストレージとも呼ばれます。 |
この表には、Splunk ストレージ アーキテクチャのコンポーネントがリストされています。
| Splunkコンポーネント | Task | 責任あるコンポーネント |
|---|---|---|
スマートストア |
インデクサーに、ローカル ストレージからオブジェクト ストレージにデータを階層化する機能を提供します。 |
スプランク |
ホット |
ユニバーサル フォワーダーが新しく書き込まれたデータを配置する着陸地点。ストレージは書き込み可能で、データは検索可能です。このデータ層は通常、SSD または高速 HDD で構成されます。 |
ONTAP |
キャッシュマネージャー |
インデックス付けされたデータのローカル キャッシュを管理し、検索が発生したときにリモート ストレージからウォーム データを取得し、最も使用頻度の低いデータをキャッシュから削除します。 |
スマートストア |
暖かい |
データは論理的にバケットにロールされ、最初にホット層からウォーム層に名前が変更されます。この層内のデータは保護されており、ホット層と同様に、より大容量の SSD または HDD で構成できます。一般的なデータ保護ソリューションを使用して、増分バックアップと完全バックアップの両方がサポートされます。 |
StorageGRID |
Splunk 分散デプロイメント
多数のマシンでデータが生成される大規模な環境をサポートするには、大量のデータを処理する必要があります。多くのユーザーがデータを検索する必要がある場合は、Splunk Enterprise インスタンスを複数のマシンに分散することで、展開を拡張できます。これは分散展開と呼ばれます。
一般的な分散展開では、各 Splunk Enterprise インスタンスは特殊なタスクを実行し、主要な処理機能に対応する 3 つの処理層のいずれかに存在します。
次の表は、Splunk Enterprise の処理層を示しています。
| 階層 | コンポーネント | 説明 |
|---|---|---|
データ入力 |
フォワーダー |
フォワーダーはデータを消費し、そのデータをインデクサーのグループに転送します。 |
インデックス作成 |
インデクサー |
インデクサーは、通常、フォワーダーのグループから受信する着信データをインデックス化します。インデクサーはデータをイベントに変換し、イベントをインデックスに保存します。インデクサーは、検索ヘッドからの検索要求に応じて、インデックス付けされたデータも検索します。 |
検索管理 |
検索ヘッド |
検索ヘッドは、検索の中心的なリソースとして機能します。クラスター内の検索ヘッドは交換可能であり、検索ヘッド クラスターのどのメンバーからでも同じ検索、ダッシュボード、ナレッジ オブジェクトなどにアクセスできます。 |
次の表は、分散型 Splunk Enterprise 環境で使用される重要なコンポーネントを示しています。
| コンポーネント | 説明 | 責任 |
|---|---|---|
インデックスクラスタマスター |
インデクサー クラスターのアクティビティと更新を調整します |
インデックス管理 |
インデックスクラスター |
相互にデータを複製するように構成された Splunk Enterprise インデクサーのグループ |
インデックス作成 |
検索ヘッドデプロイヤー |
クラスタ マスターへの展開と更新を処理します |
検索ヘッド管理 |
検索ヘッドクラスター |
検索の中心となるリソースとして機能する検索ヘッドのグループ |
検索管理 |
ロードバランサー |
クラスター化されたコンポーネントによって使用され、検索ヘッド、インデクサー、および S3 ターゲットによる増加する需要を処理し、クラスター化されたコンポーネント全体に負荷を分散します。 |
クラスタ化されたコンポーネントの負荷管理 |
Splunk Enterprise 分散デプロイメントの次の利点をご覧ください。
-
多様なデータソースや分散したデータソースにアクセスする
-
あらゆる規模や複雑さの企業のデータニーズに対応する機能を提供します
-
データレプリケーションとマルチサイト展開により、高可用性を実現し、災害復旧を確実に実現します。
Splunk スマートストア
SmartStore は、Amazon S3 などのリモート オブジェクト ストアにインデックス付きデータを保存できるようにするインデクサー機能です。展開のデータ量が増加すると、通常、ストレージの需要がコンピューティング リソースの需要を上回ります。 SmartStore を使用すると、インデクサー ストレージとコンピューティング リソースを個別にスケーリングすることで、コスト効率よく管理できます。
SmartStore は、リモート ストレージ層とキャッシュ マネージャーを導入します。これらの機能により、データをインデクサー上のローカルまたはリモート ストレージ層に保存できます。キャッシュ マネージャーは、インデクサーと、インデクサー上に構成されているリモート ストレージ層間のデータの移動を管理します。
SmartStore を使用すると、インデクサーのストレージフットプリントを最小限に抑え、I/O が最適化されたコンピューティング リソースを選択できます。ほとんどのデータはリモート ストレージに保存されます。インデクサーは、ホット バケット、アクティブまたは最近の検索に参加しているウォーム バケットのコピー、およびバケット メタデータという最小限のデータを含むローカル キャッシュを維持します。
Splunk SmartStoreのデータフロー
さまざまなソースから受信したデータがインデクサーに到達すると、データはインデックス化され、ホット バケットにローカルに保存されます。インデクサーは、ホット バケット データをターゲット インデクサーに複製します。これまでのところ、データ フローは、SmartStore 以外のインデックスのデータ フローと同一です。
ホット バケットがウォームに移行すると、データ フローが分岐します。検索は最近インデックスが作成されたデータに対して実行される傾向があるため、ソース インデクサーは、既存のコピーをキャッシュに残したまま、ウォーム バケットをリモート オブジェクト ストア (リモート ストレージ層) にコピーします。ただし、リモート ストアは複数のローカル コピーを保持せずに高可用性を提供するため、ターゲット インデクサーはコピーを削除します。バケットのマスター コピーはリモート ストアに保存されるようになりました。
次の図は、Splunk SmartStore のデータ フローを示しています。
インデクサー上のキャッシュ マネージャーは、SmartStore データ フローの中心となります。検索リクエストを処理するために必要に応じてリモート ストアからバケットのコピーを取得します。また、時間の経過とともに検索に使用される可能性が低くなるため、古いバケットのコピーやあまり検索されていないバケットのコピーをキャッシュから削除します。
キャッシュ マネージャーの役割は、利用可能なキャッシュの使用を最適化しながら、検索が必要なバケットにすぐにアクセスできるようにすることです。
ソフトウェア要件
以下の表は、ソリューションを実装するために必要なソフトウェア コンポーネントを示しています。ソリューションの実装で使用されるソフトウェア コンポーネントは、顧客の要件に応じて異なる場合があります。
| 製品ファミリー | 製品名 | 製品バージョン | オペレーティング システム |
|---|---|---|---|
NetAppStorageGRID |
StorageGRIDオブジェクトストレージ |
11.6 |
N/A |
CentOS |
CentOS |
8.1 |
CentOS 7.x |
Splunkエンタープライズ |
Splunk Enterprise と SmartStore |
8.0.3 |
CentOS 7.x |
単一サイトおよび複数サイトの要件
データが多数のマシンから生成され、多くのユーザーがデータを検索する必要があるエンタープライズ Splunk 環境 (中規模および大規模の展開) では、Splunk Enterprise インスタンスを単一サイトおよび複数のサイトに分散することで、展開を拡張できます。
Splunk Enterprise 分散デプロイメントの次の利点をご覧ください。
-
多様なデータソースや分散したデータソースにアクセスする
-
あらゆる規模や複雑さの企業のデータニーズに対応する機能を提供します
-
データレプリケーションとマルチサイト展開により、高可用性を実現し、災害復旧を確実に実現します。
次の表は、分散型 Splunk Enterprise 環境で使用されるコンポーネントを示しています。
| コンポーネント | 説明 | 責任 |
|---|---|---|
インデックスクラスタマスター |
インデクサー クラスターのアクティビティと更新を調整します |
インデックス管理 |
インデックスクラスター |
互いのデータを複製するように構成された Splunk Enterprise インデクサーのグループ |
インデックス作成 |
検索ヘッドデプロイヤー |
クラスタ マスターへの展開と更新を処理します |
検索ヘッド管理 |
検索ヘッドクラスター |
検索の中心となるリソースとして機能する検索ヘッドのグループ |
検索管理 |
ロードバランサー |
クラスター化されたコンポーネントによって使用され、検索ヘッド、インデクサー、および S3 ターゲットによる増加する需要を処理し、クラスター化されたコンポーネント全体に負荷を分散します。 |
クラスタ化されたコンポーネントの負荷管理 |
この図は、単一サイトの分散展開の例を示しています。
この図は、マルチサイト分散展開の例を示しています。
ハードウェア要件
次の表は、ソリューションを実装するために必要なハードウェア コンポーネントの最小数を示しています。ソリューションの特定の実装で使用されるハードウェア コンポーネントは、顧客の要件によって異なる場合があります。
|
Splunk SmartStore とStorageGRID を単一のサイトに導入したか複数のサイトに導入したかに関係なく、すべてのシステムはStorageGRID GRID Manager から単一の管理パネルで管理されます。詳細については、「Grid Manager による簡単な管理」セクションを参照してください。 |
この表には、単一のサイトに使用されるハードウェアがリストされています。
| ハードウェア | 数量 | ディスク | 使用可能な容量 | メモ |
|---|---|---|---|---|
StorageGRIDSG1000 |
1 |
N/A |
N/A |
管理ノードとロードバランサ |
StorageGRIDSG6060 |
4 |
x48、8TB（NL-SAS HDD） |
1PB |
リモート ストレージ |
この表には、マルチサイト構成 (サイトごと) に使用されるハードウェアがリストされています。
| ハードウェア | 数量 | ディスク | 使用可能な容量 | メモ |
|---|---|---|---|---|
StorageGRIDSG1000 |
2 |
N/A |
N/A |
管理ノードとロードバランサ |
StorageGRIDSG6060 |
4 |
x48、8TB（NL-SAS HDD） |
1PB |
リモート ストレージ |
NetApp StorageGRIDロードバランサー: SG1000
オブジェクト ストレージでは、クラウド ストレージの名前空間を提供するためにロード バランサーを使用する必要があります。 StorageGRID は、F5 や Citrix などの主要ベンダーのサードパーティ ロード バランサーをサポートしていますが、多くのお客様は、シンプルさ、回復力、高パフォーマンスを求めて、エンタープライズ グレードのStorageGRIDバランサーを選択しています。 StorageGRIDロード バランサは、VM、コンテナ、または専用アプライアンスとして利用できます。
StorageGRID SG1000 は、S3 データパス接続の高可用性 (HA) グループとインテリジェントな負荷分散の使用を容易にします。他のオンプレミス オブジェクト ストレージ システムでは、カスタマイズされたロード バランサーは提供されません。
SG1000 アプライアンスは次の機能を提供します。
-
StorageGRIDシステムのロードバランサと、オプションで管理ノード機能
-
ノードの導入と構成を簡素化するStorageGRIDアプライアンスインストーラ
-
S3エンドポイントとSSLの簡素化された構成
-
専用帯域幅（サードパーティのロードバランサーを他のアプリケーションと共有するのとは対照的）
-
最大4 x 100Gbpsの集約イーサネット帯域幅
次の画像は、SG1000 ゲートウェイ サービス アプライアンスを示しています。
SG6060
StorageGRID SG6060 アプライアンスには、コンピューティング コントローラ (SG6060) と、2 つのストレージ コントローラと 60 台のドライブを含むストレージ コントローラ シェルフ (E シリーズ E2860) が含まれています。このアプライアンスは次の機能を提供します。
-
単一の名前空間で最大 400 PB までスケールします。
-
最大 4x 25Gbps の集約イーサネット帯域幅。
-
ノードの展開と構成を簡素化するStorageGRIDアプライアンス インストーラが含まれています。
-
各 SG6060 アプライアンスには、1 つまたは 2 つの追加拡張シェルフを搭載でき、合計 180 台のドライブを搭載できます。
-
ストレージ コントローラのフェイルオーバー サポートを提供する 2 つの E シリーズ E2800 コントローラ (デュプレックス構成)。
-
60 台の 3.5 インチ ドライブ (2 台のソリッド ステート ドライブと 58 台の NL-SAS ドライブ) を収容する 5 つの引き出し付きドライブ シェルフ。
次の画像は SG6060 アプライアンスを示しています。
Splunkの設計
次の表は、単一サイトの Splunk 構成を示しています。
| Splunkコンポーネント | Task | 数量 | コア | メモリ | OS |
|---|---|---|---|---|---|
ユニバーサルフォワーダー |
データの取り込みとインデクサーへのデータ転送を担当 |
4 |
16コア |
32GBのRAM |
セントOS 8.1 |
インデクサー |
ユーザーデータを管理します |
10 |
16コア |
32GBのRAM |
セントOS 8.1 |
検索ヘッド |
ユーザーフロントエンドはインデクサー内のデータを検索します |
3 |
16コア |
32GBのRAM |
セントOS 8.1 |
検索ヘッドデプロイヤー |
検索ヘッドクラスタの更新を処理します |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
クラスターマスター |
Splunkのインストールとインデクサーを管理します |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
監視コンソールとライセンスマスター |
Splunk の導入全体を集中的に監視し、Splunk ライセンスを管理します。 |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
次の表は、マルチサイト構成の Splunk 構成について説明しています。
この表は、マルチサイト構成 (サイト A) の Splunk 構成を示しています。
| Splunkコンポーネント | Task | 数量 | コア | メモリ | OS |
|---|---|---|---|---|---|
ユニバーサルフォワーダー |
データの取り込みとインデクサーへのデータの転送を担当します。 |
4 |
16コア |
32GBのRAM |
セントOS 8.1 |
インデクサー |
ユーザーデータを管理します |
10 |
16コア |
32GBのRAM |
セントOS 8.1 |
検索ヘッド |
ユーザーフロントエンドはインデクサー内のデータを検索します |
3 |
16コア |
32GBのRAM |
セントOS 8.1 |
検索ヘッドデプロイヤー |
検索ヘッドクラスタの更新を処理します |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
クラスターマスター |
Splunkのインストールとインデクサーを管理します |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
監視コンソールとライセンスマスター |
Splunk 展開全体の集中監視を実行し、Splunk ライセンスを管理します。 |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
この表は、マルチサイト構成 (サイト B) の Splunk 構成を示しています。
| Splunkコンポーネント | Task | 数量 | コア | メモリ | OS |
|---|---|---|---|---|---|
ユニバーサルフォワーダー |
データの取り込みとインデクサーへのデータ転送を担当 |
4 |
16コア |
32GBのRAM |
セントOS 8.1 |
インデクサー |
ユーザーデータを管理します |
10 |
16コア |
32GBのRAM |
セントOS 8.1 |
検索ヘッド |
ユーザーフロントエンドはインデクサー内のデータを検索します |
3 |
16コア |
32GBのRAM |
セントOS 8.1 |
クラスターマスター |
Splunkのインストールとインデクサーを管理します |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |
監視コンソールとライセンスマスター |
Splunk の導入全体を集中的に監視し、Splunk ライセンスを管理します。 |
1 |
16コア |
32GBのRAM |
セントOS 8.1 |