了解 StorageGRID 搜索集成服务
如果要对对象元数据使用外部搜索和数据分析服务,则可以为 S3 存储桶启用搜索集成。
搜索集成服务是一种自定义 StorageGRID 服务,每当创建或删除对象或更新其元数据或标记时,它都会自动和异步地将 S3 对象元数据发送到目标端点。然后,您可以使用目标服务提供的复杂搜索、数据分析、可视化或机器学习工具,从对象数据中进行搜索、分析和获取见解。
例如,您可以将存储桶配置为将 S3 对象元数据发送到远程 Elasticsearch 服务。然后,您可以使用 Elasticsearch 对存储桶执行搜索,并对对象元数据中存在的模式进行复杂的分析。
虽然可以在启用 S3 Object Lock 的存储桶上配置 Elasticsearch 集成,但发送到 Elasticsearch 的元数据中将不包括对象的 S3 Object Lock 元数据(包括保留截止日期和法定保留状态)。
|
|
由于搜索集成服务会将对象元数据发送到目标,因此其配置 XML 称为"_元数据_通知配置 XML。"此配置 XML 与用于启用_事件_通知的"通知配置 XML"不同。 |
搜索集成和 S3 存储桶
您可以为任何已版本控制或未版本控制的存储桶启用搜索集成服务。搜索集成通过将元数据通知配置 XML 与存储桶关联来配置,该 XML 指定要对哪些对象执行操作以及对象元数据的目标位置。
元数据通知以 JSON 文档的形式生成,其名称为存储桶名称、对象名称和版本 ID(如果有)。每个元数据通知除包含对象的所有标记和用户元数据外,还包含对象的一组标准系统元数据。
|
|
对于标签和用户元数据,StorageGRID 将日期和数字作为字符串或 S3 事件通知传递给 Elasticsearch。要配置 Elasticsearch 将这些字符串解释为日期或数字,请按照 Elasticsearch 说明进行动态字段映射和映射日期格式。在配置搜索集成服务之前,必须在索引上启用动态字段映射。为文档编制索引后,您无法在索引中编辑文档的字段类型。 |
搜索通知
每当发生以下情况时,都会生成元数据通知并排队等待交付:
-
已创建对象。
-
删除对象,包括因网格 ILM 策略的操作而删除对象。
-
添加、更新或删除对象元数据或标记。完整的元数据和标记集始终在更新时发送,而不仅仅是更改的值。
将元数据通知配置 XML 添加到存储桶后,系统将为您创建的任何新对象以及通过更新数据、用户元数据或标记进行修改的任何对象发送通知。但是,不会为存储桶中已有的任何对象发送通知。要确保将存储桶中所有对象的对象元数据发送到目标,应执行以下操作之一:
-
在创建存储桶之后、添加任何对象之前,立即配置搜索集成服务。
-
对存储桶中已有的所有对象执行操作,该操作将触发要发送到目标的元数据通知消息。
搜索集成服务和 Elasticsearch
StorageGRID 搜索集成服务支持将 Elasticsearch 集群作为目标。与其他平台服务一样,目标在端点中指定,其 URN 在服务的配置 XML 中使用。使用 "NetApp 互操作性表工具"确定支持的 Elasticsearch 版本。