検索統合サービスについて理解する
オブジェクトメタデータに外部の検索およびデータ分析サービスを使用する必要がある場合は、 S3 バケットの検索統合を有効にすることができます。
検索統合サービスはカスタムのStorageGRIDサービスです。オブジェクトの作成や削除、またはそのメタデータやタグの更新が行われるたびに、S3オブジェクトメタデータを非同期的に自動的にデスティネーションエンドポイントに送信します。その後、デスティネーションサービスが提供する高度な検索、データ分析、視覚化、機械学習のツールを使用して、オブジェクトデータを検索、分析し、情報を把握できます。
たとえば、リモートの Elasticsearch サービスに S3 オブジェクトメタデータを送信するようにバケットを設定できます。次に、 Elasticsearch を使用してバケット間で検索を実行し、オブジェクトメタデータのパターンに対して高度な分析を実行できます。
S3オブジェクトロックが有効になっているバケットではElasticsearch統合を設定できますが、Elasticsearchに送信されるメタデータには、オブジェクトのS3オブジェクトロックメタデータ(Retain Until DateおよびLegal Holdステータスを含む)は含まれません。
検索統合サービスではオブジェクトメタデータがデスティネーションに送信されるため、その設定XMLは「_metadata_notification設定XML」と呼ばれます。この設定XMLは、enable_event_notificationsに使用される「通知設定XML」とは異なります。 |
検索統合とS3バケット
検索統合サービスはバージョン管理に対応している / していないに関わらずすべてのバケットに対して有効にすることができ検索統合を設定するには、対象のオブジェクトおよびオブジェクトメタデータのデスティネーションを指定したメタデータ通知設定 XML をバケットに関連付けます。
メタデータ通知はJSONドキュメントの形式で生成され、バケット名、オブジェクト名、バージョンID(存在する場合)が指定されます。各メタデータ通知には、すべてのオブジェクトのタグとユーザメタデータに加えて、オブジェクトのシステムメタデータの標準セットが含まれています。
タグとユーザメタデータの場合、 StorageGRID は文字列または S3 イベント通知として Elasticsearch に日付と番号を渡します。これらの文字列を日付または数値として解釈するように Elasticsearch を設定するには、動的フィールドマッピングおよびマッピング日付形式に関する Elasticsearch の手順に従ってください。検索統合サービスを設定する前に、インデックスの動的フィールドマッピングを有効にする必要があります。ドキュメントのインデックス作成後は、インデックス内のドキュメントのフィールドタイプを編集することはできません。 |
通知の検索
メタデータ通知は次の場合に生成され、配信のためにキューに登録されます。
-
オブジェクトが作成されます。
-
オブジェクトが削除されたとき。グリッドの ILM ポリシーの処理が実行された結果、オブジェクトが削除される場合も含まれます。
-
オブジェクトのメタデータまたはタグが追加、更新、または削除されたとき。変更された値だけでなく、すべてのメタデータとタグが常に更新時に送信されます。
バケットにメタデータ通知設定 XML を追加すると、新しく作成したオブジェクトや、データ、ユーザメタデータ、またはタグの更新によって変更したオブジェクトに関する通知が送信されます。ただし、バケットにすでに含まれていたオブジェクトについては通知は送信されません。バケットに含まれるすべてのオブジェクトのオブジェクトメタデータを確実にデスティネーションに送信するには、次のいずれかを行う必要があります。
-
バケットの作成後、オブジェクトを追加する前に、検索統合サービスを設定する。
-
すでにバケットに含まれているすべてのオブジェクトに対して、メタデータ通知メッセージをデスティネーションに送信するトリガーとなる処理を実行する。
検索統合サービスとElasticsearch
StorageGRID 検索統合サービスは、デスティネーションとして Elasticsearch クラスタをサポートします。他のプラットフォームサービスと同様、 URN がサービスの設定 XML で使用されているエンドポイントにデスティネーションが指定されます。を使用して "NetApp Interoperability Matrix Tool"、サポートされているElasticsearchのバージョンを確認します。