Skip to main content
How to enable StorageGRID in your environment
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Configure a fonte de dados do Dremio com o StorageGRID

Colaboradores
PDFs

Por Angela Cheng

O Dremio dá suporte a uma variedade de fontes de dados, incluindo armazenamento de objetos baseado na nuvem ou no local. Você pode configurar o Dremio para usar o StorageGRID como fonte de dados de armazenamento de objetos.

Configurar a fonte de dados do Dremio

Pré-requisitos

  • Um URL de endpoint do StorageGRID S3, um ID de chave de acesso do locatário S3 e chave de acesso secreta.

  • Recomendação de configuração do StorageGRID: Desativar a compactação (desativada por padrão). Dremio usa o intervalo de bytes get para buscar diferentes intervalos de bytes dentro do mesmo objeto simultaneamente durante a consulta. O tamanho típico para solicitações de intervalo de bytes é 1MB. O objeto comprimido degrada a gama de bytes OBTENHA desempenho.

Guia de Dremio

"Conetando ao Amazon S3 - Configurando o armazenamento compatível com S3".

Instrução

  1. Na página Datasets do Dremio, clique em assinar para adicionar uma fonte, selecione 'Amazon S3'.

  2. Insira um nome para esta nova fonte de dados, ID da chave de acesso ao locatário do StorageGRID S3 e chave de acesso secreto.

  3. Marque a caixa 'criptografar conexão' se estiver usando https para conexão com o endpoint StorageGRID S3. Se estiver usando CA cert autoassinado para este endpoint S3, siga a instrução de guia Dremio para adicionar este CA cert no servidor Dremio <JAVA_HOME>/jre/lib/security sample screenshot

    Nova fonte - Geral

  4. Clique em "Opções avançadas", verifique "Ativar modo de compatibilidade"

  5. Em Propriedades de conexão, clique em Adicionar propriedades e adicione essas s3a propriedades.

  6. fs.s3a.connection.o padrão máximo é 100. Se os conjuntos de dados do S3 incluírem ficheiros Parquet grandes com 100 ou mais colunas, tem de introduzir um valor superior a 100. Consulte o guia Dremio para obter esta definição.

    Nome Valor

    fs.s3a.endpoint

    _ Endpoint do cliente StorageGRID S3:port>_

    fs.s3a.path.style.access

    verdadeiro

    fs.s3a.connection.maximum

    _ valor de cliente maior que 100>_

    Captura de tela de amostra

    Nova fonte - Opções avançadas

  7. Configure outras opções do Dremio de acordo com os requisitos da sua organização ou aplicação.

  8. Clique no botão Salvar para criar esta nova fonte de dados.

  9. Depois que a fonte de dados StorageGRID for adicionada com sucesso, uma lista de buckets será exibida no painel esquerdo. * Captura de tela de amostra*

    Nova fonte de dados adicionada