Skip to main content
How to enable StorageGRID in your environment
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

Configurez la source de données Dremio avec StorageGRID

Contributeurs
PDF

Par Angela Cheng

Dremio prend en charge la rareté des sources de données, y compris le stockage objet dans le cloud ou sur site. Vous pouvez configurer Dremio pour qu'il utilise StorageGRID comme source de données de stockage objet.

Configurer la source de données Dremio

Prérequis

  • URL de terminal StorageGRID S3, ID de clé d'accès s3 du locataire et clé d'accès secrète.

  • Recommandation de configuration StorageGRID : désactivez la compression (désactivée par défaut).
    Dremio utilise la plage d'octets GET pour extraire simultanément différentes plages d'octets à partir du même objet pendant la requête. La taille type des demandes de plage d'octets est de 1 Mo. Les objets compressés dégradent les performances GET au niveau de la plage d'octets.

Guide Dremio

"Connexion à Amazon S3 : Configuration du stockage compatible avec S3".

Instructions

  1. Sur la page Datasets Dremio, cliquez sur le signe + pour ajouter une source, sélectionnez 'Amazon S3'.

  2. Entrez le nom de cette nouvelle source de données : ID de clé d'accès du locataire StorageGRID S3 et clé d'accès secrète.

  3. Cochez la case « crypter la connexion » si vous utilisez https pour la connexion au terminal StorageGRID S3.
    Si vous utilisez un certificat CA auto-signé pour ce noeud final s3, suivez l'instructions du guide Dremio pour ajouter ce certificat CA dans <JAVA_HOME>/jre/lib/Security + du serveur Dremio
    Exemple de capture d'écran

    Nouvelle source - général

  4. Cliquez sur « Options avancées », cochez « Activer le mode de compatibilité ».

  5. Sous Propriétés de connexion, cliquez sur + Ajouter des propriétés et ajoutez ces propriétés s3a.

  6. fs.s3a.connection.la valeur par défaut maximale est 100. Si vos datasets s3 incluent des fichiers de parquet volumineux comportant au moins 100 colonnes, vous devez entrer une valeur supérieure à 100. Reportez-vous au guide Dremio pour ce réglage.

    Nom Valeur

    fs.s3a.endpoint

    <noeud final StorageGRID S3:port>

    fs.s3a.path.style.access

    vrai

    fs.s3a.connexion.maximum

    <une valeur supérieure à 100>

    Exemple de capture d'écran

    Nouvelle source - Options avancées

  7. Configurez les autres options de Dremio en fonction des besoins de votre organisation ou de vos applications.

  8. Cliquez sur le bouton Enregistrer pour créer cette nouvelle source de données.

  9. Une fois la source de données StorageGRID ajoutée, une liste de rubriques s'affiche dans le panneau de gauche.
    Exemple de capture d'écran

    Nouvelle source de données ajoutée