StorageGRID検索統合サービスについて学ぶ
オブジェクトのメタデータに対して外部の検索およびデータ分析サービスを利用したい場合は、S3バケットの検索統合を有効にすることができます。
検索統合サービスは、オブジェクトが作成または削除されたとき、あるいはメタデータやタグが更新されたときに、S3オブジェクトのメタデータを自動的かつ非同期的に宛先エンドポイントに送信するカスタムのStorageGRIDサービスです。その後、宛先サービスが提供する高度な検索、データ分析、視覚化、または機械学習ツールを使用して、オブジェクトデータを検索・分析し、そこから知見を得ることができます。
例えば、バケットを設定して、S3オブジェクトのメタデータをリモートのElasticsearchサービスに送信するようにすることができます。その後、Elasticsearchを使用してバケット全体にわたる検索を実行したり、オブジェクトのメタデータに存在するパターンの高度な分析を実行したりすることができます。
Elasticsearchとの連携はS3 Object Lockが有効になっているバケットで構成できますが、オブジェクトのS3 Object Lockメタデータ(Retain Until DateやLegal Hold statusなど)はElasticsearchに送信されるメタデータには含まれません。
|
|
検索統合サービスはオブジェクトのメタデータを宛先に送信するため、その構成XMLは「metadata 通知構成XML」と呼ばれます。この設定XMLは、イベント 通知を有効にするために使用される「通知設定XML」とは異なります。 |
検索統合とS3バケット
検索統合サービスは、バージョン管理されているバケットでも、バージョン管理されていないバケットでも有効にできます。検索統合は、メタデータ通知設定XMLを、操作対象となるオブジェクトとオブジェクトメタデータの送信先を指定するバケットに関連付けることによって構成されます。
メタデータ通知は、バケット名、オブジェクト名、およびバージョンID(存在する場合)を名前とするJSONドキュメントの形式で生成されます。各メタデータ通知には、オブジェクトのすべてのタグとユーザーメタデータに加えて、オブジェクトに関する標準的なシステムメタデータセットが含まれています。
|
|
タグとユーザーメタデータについては、StorageGRID は日付と数値を文字列またはS3イベント通知としてElasticsearchに渡します。Elasticsearchがこれらの文字列を日付または数値として解釈するように設定するには、Elasticsearchの動的フィールドマッピングおよび日付形式のマッピングに関する手順に従ってください。検索統合サービスを設定する前に、インデックス上で動的フィールドマッピングを有効にする必要があります。ドキュメントがインデックス化された後は、インデックス内のドキュメントのフィールドタイプを編集することはできません。 |
検索通知
メタデータ通知は、以下の場合に生成され、配信待ちのキューに追加されます。
-
オブジェクトが作成されます。
-
オブジェクトが削除された場合(グリッドのILMポリシーの動作の結果としてオブジェクトが削除される場合を含む)。
-
オブジェクトのメタデータまたはタグが追加、更新、または削除されます。更新時には、変更された値だけでなく、メタデータとタグの完全なセットが常に送信されます。
メタデータ通知設定XMLをバケットに追加すると、新しく作成したオブジェクト、およびデータ、ユーザーメタデータ、またはタグを更新して変更したオブジェクトに対して通知が送信されます。ただし、既にバケット内に存在するオブジェクトについては通知は送信されません。バケット内のすべてのオブジェクトのオブジェクトメタデータが宛先に確実に送信されるようにするには、次のいずれかの操作を行う必要があります:
-
バケットを作成した後、オブジェクトを追加する前に、検索統合サービスを直ちに設定してください。
-
バケット内に既に存在するすべてのオブジェクトに対して、メタデータ通知メッセージが宛先に送信されるような操作を実行します。
検索統合サービスとElasticsearch
StorageGRID 検索統合サービスは、宛先として Elasticsearch クラスタをサポートしています。他のプラットフォームサービスと同様に、宛先はサービスの設定 XML で使用される URN を持つエンドポイントで指定されます。 "NetApp Interoperability Matrix Tool"を使用して、サポートされている Elasticsearch のバージョンを確認してください。