検索統合サービスを理解する
変更を提案
PDF
オブジェクト メタデータに外部の検索およびデータ分析サービスを使用する場合は、S3 バケットの検索統合を有効にすることができます。
検索統合サービスは、オブジェクトが作成または削除されるか、そのメタデータまたはタグが更新されるたびに、S3 オブジェクトのメタデータを宛先エンドポイントに自動的かつ非同期的に送信するカスタムStorageGRIDサービスです。その後、宛先サービスによって提供される高度な検索、データ分析、視覚化、または機械学習ツールを使用して、オブジェクト データを検索、分析し、洞察を得ることができます。
たとえば、S3 オブジェクトのメタデータをリモート Elasticsearch サービスに送信するようにバケットを設定できます。その後、Elasticsearch を使用してバケット全体の検索を実行し、オブジェクト メタデータに存在するパターンの高度な分析を実行できます。
S3 オブジェクト ロックが有効になっているバケットで Elasticsearch 統合を設定できますが、オブジェクトの S3 オブジェクト ロック メタデータ (保持期限や法的保留ステータスを含む) は、Elasticsearch に送信されるメタデータに含まれません。
|
検索統合サービスによりオブジェクト メタデータが宛先に送信されるため、その構成 XML は「メタデータ 通知構成 XML」と呼ばれます。この構成 XML は、イベント 通知を有効にするために使用される「通知構成 XML」とは異なります。 |
検索統合とS3バケット
バージョン管理されているバケットまたはバージョン管理されていないバケットに対して検索統合サービスを有効にできます。検索統合は、メタデータ通知構成 XML を、操作対象のオブジェクトとオブジェクト メタデータの宛先を指定するバケットに関連付けることによって構成されます。
メタデータ通知は、バケット名、オブジェクト名、およびバージョン ID (存在する場合) で名前が付けられた JSON ドキュメントの形式で生成されます。各メタデータ通知には、オブジェクトのすべてのタグとユーザー メタデータに加えて、オブジェクトのシステム メタデータの標準セットが含まれています。
|
|
タグとユーザー メタデータの場合、 StorageGRID は日付と数値を文字列または S3 イベント通知として Elasticsearch に渡します。これらの文字列を日付または数値として解釈するように Elasticsearch を構成するには、動的フィールド マッピングと日付形式のマッピングに関する Elasticsearch の指示に従います。検索統合サービスを構成する前に、インデックスで動的フィールド マッピングを有効にする必要があります。ドキュメントのインデックスが作成された後は、インデックス内のドキュメントのフィールド タイプを編集することはできません。 |
検索通知
メタデータ通知は次の場合に生成され、配信キューに追加されます。
-
オブジェクトが作成されます。
-
グリッドの ILM ポリシーの操作の結果としてオブジェクトが削除される場合を含め、オブジェクトが削除されます。
-
オブジェクトのメタデータまたはタグが追加、更新、または削除されます。更新時には、変更された値だけでなく、メタデータとタグの完全なセットが常に送信されます。
メタデータ通知構成 XML をバケットに追加すると、作成した新しいオブジェクトと、データ、ユーザー メタデータ、またはタグを更新して変更したオブジェクトについて通知が送信されます。ただし、バケット内にすでに存在するオブジェクトについては通知は送信されません。バケット内のすべてのオブジェクトのオブジェクト メタデータが宛先に送信されることを確認するには、次のいずれかを実行する必要があります。
-
バケットを作成した直後、オブジェクトを追加する前に、検索統合サービスを構成します。
-
バケット内にすでに存在するすべてのオブジェクトに対してアクションを実行し、メタデータ通知メッセージを宛先に送信するようにトリガーします。
検索統合サービスとElasticsearch
StorageGRID検索統合サービスは、Elasticsearch クラスターを宛先としてサポートします。他のプラットフォーム サービスと同様に、宛先は、サービスの構成 XML で URN が使用されるエンドポイントで指定されます。使用 "NetApp Interoperability Matrix Tool"サポートされている Elasticsearch のバージョンを確認します。