Gerenciar o S3 Select para contas de locatário no StorageGRID
Você pode permitir que determinados tenants do S3 usem o S3 Select para emitir solicitações SelectObjectContent em objetos individuais.
O S3 Select oferece uma maneira eficiente de pesquisar grandes quantidades de dados sem a necessidade de implantar um banco de dados e os recursos associados para viabilizar as pesquisas. Ele também reduz o custo e a latência da recuperação de dados.
O que é S3 Select?
O S3 Select permite que os clientes S3 usem solicitações SelectObjectContent para filtrar e recuperar apenas os dados necessários de um objeto. A implementação do S3 Select no StorageGRID inclui um subconjunto de comandos e recursos do S3 Select.
Considerações e requisitos para usar o S3 Select
Requisitos de administração do grid
O administrador da grade deve conceder aos locatários a permissão S3 Select. Selecione Permitir S3 Select quando "criando um tenant" ou "editar um tenant".
Requisitos de formato de objeto
O objeto que você deseja consultar deve estar em um dos seguintes formatos:
-
CSV. Pode ser usado como está ou compactado em arquivos GZIP ou BZIP2.
-
Parquet. Requisitos adicionais para objetos Parquet:
-
O S3 Select suporta apenas compressão colunar usando GZIP ou Snappy. O S3 Select não suporta compressão de objeto inteiro para objetos Parquet.
-
O S3 Select não suporta saída em Parquet. Você deve especificar o formato de saída como CSV ou JSON.
-
O tamanho máximo de um grupo de linhas não compactadas é de 512 MB.
-
Você deve usar os tipos de dados especificados no esquema do objeto.
-
Não é possível usar os tipos lógicos INTERVAL, JSON, LIST, TIME ou UUID.
-
Requisitos do endpoint
A solicitação SelectObjectContent deve ser enviada para um "Endpoint do balanceador de carga StorageGRID".
Os nós de administração e de gateway usados pelo endpoint devem ser um dos seguintes:
-
Um nó de appliance de serviços
-
Um nó de software baseado em VMware
-
Um nó bare metal executando um kernel com cgroup v2 habilitado
Considerações gerais
Não é possível enviar consultas diretamente para os Storage Nodes.
|
|
SelectObjectContent requests podem diminuir o desempenho do balanceador de carga para todos os clientes S3 e todos os locatários. Habilite esse recurso somente quando necessário e apenas para locatários confiáveis. |
Consulte o "Instruções para usar o S3 Select".
Para visualizar "Gráficos do Grafana" para operações do S3 Select ao longo do tempo, selecione Suporte > Ferramentas > Métricas no Gerenciador de Grade.