Comprender el servicio de integración de búsqueda
Sugerir cambios
PDF
Puede habilitar la integración de búsqueda para un bucket S3 si desea utilizar un servicio de búsqueda y análisis de datos externo para los metadatos de sus objetos.
El servicio de integración de búsqueda es un servicio StorageGRID personalizado que envía de forma automática y asincrónica metadatos de objetos S3 a un punto final de destino cada vez que se crea o elimina un objeto, o se actualizan sus metadatos o etiquetas. Luego, puede utilizar herramientas sofisticadas de búsqueda, análisis de datos, visualización o aprendizaje automático proporcionadas por el servicio de destino para buscar, analizar y obtener información de los datos de sus objetos.
Por ejemplo, puede configurar sus depósitos para enviar metadatos de objetos S3 a un servicio Elasticsearch remoto. Luego, puede usar Elasticsearch para realizar búsquedas en diferentes grupos y realizar análisis sofisticados de patrones presentes en los metadatos de sus objetos.
Si bien la integración de Elasticsearch se puede configurar en un bucket con S3 Object Lock habilitado, los metadatos de S3 Object Lock (incluidos Conservar hasta la fecha y el estado de Retención legal) de los objetos no se incluirán en los metadatos enviados a Elasticsearch.
|
Debido a que el servicio de integración de búsqueda hace que se envíen metadatos de objetos a un destino, su XML de configuración se denomina "XML de configuración de notificación metadata". Este XML de configuración es diferente del "XML de configuración de notificación" utilizado para habilitar las notificaciones de eventos. |
Integración de búsquedas y buckets S3
Puede habilitar el servicio de integración de búsqueda para cualquier depósito con o sin versión. La integración de búsqueda se configura asociando el XML de configuración de notificación de metadatos con el depósito que especifica sobre qué objetos actuar y el destino de los metadatos del objeto.
Las notificaciones de metadatos se generan en forma de un documento JSON cuyo nombre incluye el nombre del depósito, el nombre del objeto y el ID de la versión, si corresponde. Cada notificación de metadatos contiene un conjunto estándar de metadatos del sistema para el objeto, además de todas las etiquetas del objeto y los metadatos del usuario.
|
|
Para las etiquetas y los metadatos del usuario, StorageGRID pasa fechas y números a Elasticsearch como cadenas o como notificaciones de eventos S3. Para configurar Elasticsearch para que interprete estas cadenas como fechas o números, siga las instrucciones de Elasticsearch para el mapeo de campos dinámicos y para el mapeo de formatos de fecha. Debe habilitar las asignaciones de campos dinámicos en el índice antes de configurar el servicio de integración de búsqueda. Una vez indexado un documento, no es posible editar los tipos de campos del documento en el índice. |
Notificaciones de búsqueda
Las notificaciones de metadatos se generan y se ponen en cola para su entrega siempre que:
-
Se crea un objeto.
-
Se elimina un objeto, incluso cuando se eliminan objetos como resultado de la operación de la política ILM de la red.
-
Se agregan, actualizan o eliminan metadatos o etiquetas de objetos. Al actualizar, siempre se envía el conjunto completo de metadatos y etiquetas, no solo los valores modificados.
Después de agregar XML de configuración de notificación de metadatos a un bucket, se envían notificaciones para cualquier objeto nuevo que cree y para cualquier objeto que modifique actualizando sus datos, metadatos de usuario o etiquetas. Sin embargo, no se envían notificaciones para ningún objeto que ya estuviera en el depósito. Para garantizar que los metadatos de todos los objetos del depósito se envíen al destino, debe realizar una de las siguientes acciones:
-
Configure el servicio de integración de búsqueda inmediatamente después de crear el depósito y antes de agregar cualquier objeto.
-
Realice una acción en todos los objetos que ya se encuentran en el depósito que activará el envío de un mensaje de notificación de metadatos al destino.
Servicio de integración de búsqueda y Elasticsearch
El servicio de integración de búsqueda StorageGRID admite un clúster Elasticsearch como destino. Al igual que con los demás servicios de la plataforma, el destino se especifica en el punto final cuyo URN se utiliza en el XML de configuración para el servicio. Utilice el "Herramienta de matriz de interoperabilidad de NetApp" para determinar las versiones compatibles de Elasticsearch.