Skip to main content
How to enable StorageGRID in your environment
La versione in lingua italiana fornita proviene da una traduzione automatica. Per eventuali incoerenze, fare riferimento alla versione in lingua inglese.

Configurare l'origine dati Dremio con StorageGRID

Collaboratori
PDF

Di Angela Cheng

Dremio supporta una varietà di origini dati, incluso lo storage a oggetti on-premise o basato su cloud. È possibile configurare Dremio in modo che utilizzi StorageGRID come origine dati dello storage a oggetti.

Configurare l'origine dati Dremio

Prerequisiti

  • Un URL dell'endpoint StorageGRID S3, un ID della chiave di accesso tenant S3 e una chiave di accesso segreta.

  • Raccomandazione per la configurazione di StorageGRID: Disattivare la compressione (disattivata per impostazione predefinita).
    Dremio utilizza l'intervallo di byte GET per recuperare contemporaneamente diversi intervalli di byte dall'interno dello stesso oggetto durante la query. Le dimensioni tipiche per le richieste di intervalli di byte sono 1MB. L'oggetto compresso riduce le prestazioni di LETTURA DELL'intervallo di byte.

Guida di Dremio

"Connessione ad Amazon S3 - Configurazione dell'archiviazione compatibile con S3".

Istruzioni

  1. Nella pagina Datasets di Dremio, fare clic sul segno + per aggiungere un'origine, selezionare "Amazon S3".

  2. Immettere un nome per la nuova origine dati, l'ID della chiave di accesso tenant StorageGRID S3 e la chiave di accesso segreta.

  3. Selezionare la casella 'Crittografa connessione' se si utilizza https per la connessione all'endpoint StorageGRID S3.
    Se si utilizza un certificato CA autofirmato per questo endpoint S3, seguire la procedura della guida Dremio per aggiungere questo certificato CA a <JAVA_HOME>/jre/lib/Security + del server Dremio
    Esempio di screenshot

    Nuova sorgente - Generale

  4. Fare clic su "Opzioni avanzate" e selezionare "attiva modalità di compatibilità"

  5. In Proprietà di connessione, fare clic su + Aggiungi proprietà e aggiungere queste S3A proprietà.

  6. fs.s3a.connection.il valore massimo predefinito è 100. Se i set di dati S3 includono file Parquet di grandi dimensioni con 100 o più colonne, è necessario immettere un valore maggiore di 100. Per questa impostazione, fare riferimento alla guida Dremio.

    Nome Valore

    fs.s3a.endpoint

    <StorageGRID S3 endpoint:porta>

    fs.s3a.path.style.access

    vero

    fs.s3a.connection.maximum

    <un valore maggiore di 100>

    Esempio di screenshot

    Nuova origine - Opzioni avanzate

  7. Configurare altre opzioni Dremio in base ai requisiti dell'organizzazione o delle applicazioni.

  8. Fare clic sul pulsante Salva per creare questa nuova origine dati.

  9. Una volta aggiunta correttamente l'origine dati StorageGRID, viene visualizzato un elenco di bucket sul pannello di sinistra.
    Esempio di screenshot

    Nuova origine dati aggiunta