Skip to main content
How to enable StorageGRID in your environment
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Configurar el origen de datos de Dremio con StorageGRID

Colaboradores
PDF

Por Angela Cheng

Dremio admite una variedad de fuentes de datos, incluido el almacenamiento de objetos en las instalaciones o basado en cloud. Puede configurar Dremio para que utilice StorageGRID como origen de datos de almacenamiento de objetos.

Configurar el origen de datos de Dremio

Requisitos previos

  • Una URL de extremo de StorageGRID S3, un ID de clave de acceso de inquilino S3 y una clave de acceso secreta.

  • Recomendación de configuración de StorageGRID: Deshabilitar la compresión (deshabilitada de forma predeterminada).
    Dremio utiliza el rango de bytes GET para recuperar diferentes rangos de bytes dentro del mismo objeto simultáneamente durante la consulta. El tamaño típico de las solicitudes de rango de bytes es 1MB. El objeto comprimido degrada el RENDIMIENTO DE LA OBTENCIÓN por rango de bytes.

Guía de Dremio

"Conexión a Amazon S3: Configuración de almacenamiento compatible con S3".

Instrucción

  1. En la página Dremio Datasets, haga clic en el signo + para agregar una fuente, seleccione 'Amazon S3'.

  2. Introduzca un nombre para este nuevo origen de datos, ID de clave de acceso de inquilino de StorageGRID S3 y clave de acceso secreta.

  3. Active la casilla 'Cifrar conexión' si utiliza https para la conexión al punto final StorageGRID S3.
    Si utiliza el certificado de CA autofirmado para este punto final S3, siga las instrucciones de la guía de Dremio para agregar este certificado de CA al servidor <JAVA_HOME>/jre/lib/security + de Dremio
    Captura de pantalla de ejemplo

    Nueva fuente - General

  4. Haga clic en 'Opciones avanzadas', seleccione 'Activar modo de compatibilidad'

  5. En Propiedades de conexión, haga clic en + Agregar propiedades y agregue estas S3A propiedades.

  6. fs.s3a.connection.el valor por defecto máximo es 100. Si los conjuntos de datos S3 incluyen archivos de parquet grandes con 100 o más columnas, debe introducir un valor mayor que 100. Consulte la guía de Dremio para conocer este ajuste.

    Nombre Valor

    fs.s3a.endpoint

    <StorageGRID S3 endpoint:Port>

    fs.s3a.path.style.access

    verdadero

    fs.s3a.conexión.máximo

    <un valor mayor que 100>

    Captura de pantalla de ejemplo

    Nuevo origen - Opciones avanzadas

  7. Configure otras opciones de Dremio según los requisitos de su organización o aplicación.

  8. Haga clic en el botón Guardar para crear este nuevo origen de datos.

  9. Una vez que el origen de datos StorageGRID se haya agregado correctamente, se mostrará una lista de cubos en el panel izquierdo.
    Captura de pantalla de ejemplo

    Se ha añadido un nuevo origen de datos