Entenda o serviço de integração de pesquisa
Sugerir alterações
PDFs
Você pode habilitar a integração de pesquisa para um bucket do S3 se quiser usar um serviço externo de pesquisa e análise de dados para seus metadados de objeto.
O serviço de integração de pesquisa é um serviço StorageGRID personalizado que envia automaticamente e de forma assíncrona metadados de objetos do S3 para um ponto de extremidade de destino sempre que um objeto é criado ou excluído, ou seus metadados ou tags são atualizados. Você pode então usar ferramentas sofisticadas de pesquisa, análise de dados, visualização ou aprendizado de máquina fornecidas pelo serviço de destino para pesquisar, analisar e obter insights dos dados do seu objeto.
Por exemplo, você pode configurar seus buckets para enviar metadados de objetos S3 para um serviço remoto do Elasticsearch. Você pode então usar o Elasticsearch para realizar pesquisas em buckets e realizar análises sofisticadas de padrões presentes nos metadados do seu objeto.
Embora a integração do Elasticsearch possa ser configurada em um bucket com o S3 Object Lock habilitado, os metadados do S3 Object Lock (incluindo a data de retenção e o status de retenção legal) dos objetos não serão incluídos nos metadados enviados ao Elasticsearch.
|
Como o serviço de integração de pesquisa faz com que metadados de objetos sejam enviados a um destino, seu XML de configuração é chamado de "XML de configuração de notificação metadata". Este XML de configuração é diferente do "XML de configuração de notificação" usado para habilitar notificações de eventos. |
Integração de pesquisa e buckets S3
Você pode habilitar o serviço de integração de pesquisa para qualquer bucket versionado ou não versionado. A integração de pesquisa é configurada associando o XML de configuração de notificação de metadados ao bucket que especifica em quais objetos atuar e o destino dos metadados do objeto.
As notificações de metadados são geradas no formato de um documento JSON nomeado com o nome do bucket, o nome do objeto e o ID da versão, se houver. Cada notificação de metadados contém um conjunto padrão de metadados do sistema para o objeto, além de todas as tags do objeto e metadados do usuário.
|
|
Para tags e metadados do usuário, o StorageGRID passa datas e números para o Elasticsearch como strings ou como notificações de eventos do S3. Para configurar o Elasticsearch para interpretar essas strings como datas ou números, siga as instruções do Elasticsearch para mapeamento de campos dinâmicos e para mapeamento de formatos de data. Você deve habilitar os mapeamentos de campos dinâmicos no índice antes de configurar o serviço de integração de pesquisa. Depois que um documento é indexado, você não pode editar os tipos de campo do documento no índice. |
Notificações de pesquisa
Notificações de metadados são geradas e enfileiradas para entrega sempre que:
-
Um objeto é criado.
-
Um objeto é excluído, inclusive quando objetos são excluídos como resultado da operação da política ILM da grade.
-
Metadados ou tags de objetos são adicionados, atualizados ou excluídos. O conjunto completo de metadados e tags é sempre enviado na atualização — não apenas os valores alterados.
Depois de adicionar o XML de configuração de notificação de metadados a um bucket, as notificações são enviadas para quaisquer novos objetos que você criar e para quaisquer objetos que você modificar atualizando seus dados, metadados do usuário ou tags. No entanto, as notificações não são enviadas para nenhum objeto que já estava no bucket. Para garantir que os metadados de todos os objetos no bucket sejam enviados ao destino, você deve fazer um dos seguintes procedimentos:
-
Configure o serviço de integração de pesquisa imediatamente após criar o bucket e antes de adicionar qualquer objeto.
-
Execute uma ação em todos os objetos já existentes no bucket que acionará uma mensagem de notificação de metadados a ser enviada ao destino.
Serviço de integração de pesquisa e Elasticsearch
O serviço de integração de pesquisa StorageGRID oferece suporte a um cluster Elasticsearch como destino. Assim como nos outros serviços da plataforma, o destino é especificado no ponto de extremidade cujo URN é usado no XML de configuração do serviço. Use o "Ferramenta de Matriz de Interoperabilidade da NetApp" para determinar as versões suportadas do Elasticsearch.