Découvrez le service d'intégration de recherche StorageGRID
Vous pouvez activer l'intégration de la recherche pour un compartiment S3 si vous souhaitez utiliser un service externe de recherche et d'analyse de données pour les métadonnées de vos objets.
Le service d'intégration de la recherche est un service StorageGRID personnalisé qui envoie automatiquement et de manière asynchrone les métadonnées d'objet S3 à un point de terminaison de destination chaque fois qu'un objet est créé ou supprimé, ou que ses métadonnées ou ses balises sont mises à jour. Vous pouvez ensuite utiliser des outils sophistiqués de recherche, d'analyse de données, de visualisation ou d'apprentissage automatique fournis par le service de destination pour rechercher, analyser et tirer des enseignements de vos données d'objet.
Par exemple, vous pouvez configurer vos compartiments pour envoyer les métadonnées des objets S3 à un service Elasticsearch distant. Vous pouvez ensuite utiliser Elasticsearch pour effectuer des recherches dans vos compartiments et réaliser des analyses sophistiquées des tendances présentes dans les métadonnées de vos objets.
${post_edited_translations.segment}
|
|
Étant donné que le service d'intégration de recherche entraîne l'envoi des métadonnées des objets vers une destination, son fichier XML de configuration est appelé « metadata notification configuration XML ». Ce fichier XML de configuration est différent du « notification configuration XML » utilisé pour activer les notifications event. |
${post_edited_translations.segment}
Vous pouvez activer le service d'intégration de recherche pour tout compartiment, versionné ou non. L'intégration de recherche est configurée en associant une configuration XML de notification des métadonnées au compartiment, qui spécifie les objets concernés et la destination des métadonnées des objets.
Les notifications de métadonnées sont générées sous la forme d'un document JSON nommé avec le nom du compartiment, le nom de l'objet et l'ID de version, le cas échéant. Chaque notification de métadonnées contient un ensemble standard de métadonnées système pour l'objet, en plus de toutes les balises et métadonnées utilisateur de l'objet.
|
|
Pour les balises et les métadonnées utilisateur, StorageGRID transmet les dates et les nombres à Elasticsearch sous forme de chaînes de caractères ou de notifications d'événements S3. Pour configurer Elasticsearch afin qu'il interprète ces chaînes comme des dates ou des nombres, suivez les instructions Elasticsearch pour le mappage dynamique des champs et le mappage des formats de date. Vous devez activer le mappage dynamique des champs sur l'index avant de configurer le service d'intégration de recherche. Après l'indexation d'un document, vous ne pouvez plus modifier les types de champs du document dans l'index. |
${post_edited_translations.segment}
Les notifications de métadonnées sont générées et mises en file d'attente pour livraison chaque fois que :
-
Un objet est créé.
-
${post_edited_translations.segment}
-
Les métadonnées ou étiquettes des objets sont ajoutées, mises à jour ou supprimées. L'ensemble complet des métadonnées et des étiquettes est toujours envoyé lors d'une mise à jour, pas seulement les valeurs modifiées.
Après avoir ajouté un fichier XML de configuration de notification des métadonnées à un compartiment, des notifications sont envoyées pour tout nouvel objet que vous créez et pour tout objet que vous modifiez en mettant à jour ses données, ses métadonnées utilisateur ou ses balises. Cependant, aucune notification n'est envoyée pour les objets qui étaient déjà présents dans le compartiment. Pour garantir que les métadonnées des objets pour tous les objets du compartiment sont envoyées à la destination, vous devez effectuer l'une des actions suivantes :
-
Configurez le service d'intégration de recherche immédiatement après la création du compartiment et avant d'y ajouter des objets.
-
Effectuez une action sur tous les objets déjà présents dans le compartiment qui déclenchera l'envoi d'un message de notification de métadonnées à la destination.
${post_edited_translations.segment}
Le service d'intégration de recherche StorageGRID prend en charge un cluster Elasticsearch comme destination. Comme pour les autres services de plateforme, la destination est spécifiée dans le point de terminaison dont l'URN est utilisé dans le XML de configuration du service. Utilisez le "Outil NetApp Interoperability Matrix Tool" pour déterminer les versions d'Elasticsearch prises en charge.