Skip to main content
How to enable StorageGRID in your environment
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Dremio Datenquelle mit StorageGRID konfigurieren

Beitragende
PDFs

Von Angela Cheng

Dremio unterstützt eine Vielzahl von Datenquellen, einschließlich Cloud-basiertem oder lokalem Objektspeicher. Sie können Dremio so konfigurieren, dass StorageGRID als Objektspeicher-Datenquelle verwendet wird.

Dremio-Datenquelle konfigurieren

Voraussetzungen

  • Eine StorageGRID S3-Endpunkt-URL, eine s3-Zugriffsschlüssel-ID des Mandanten und ein geheimer Zugriffsschlüssel.

  • StorageGRID-Konfigurationsempfehlung: Deaktivieren Sie die Komprimierung (standardmäßig deaktiviert).
    Dremio verwendet Byte-Bereich GET, um während der Abfrage verschiedene Byte-Bereiche aus demselben Objekt gleichzeitig abzurufen. Die typische Größe für Anforderungen im Byte-Bereich beträgt 1 MB. Komprimiertes Objekt beeinträchtigt die GET-Performance im Byte-Bereich.

Dremio-Führer

"Connecting to Amazon S3 - Configuring S3-Compatible Storage".

Anweisung

  1. Klicken Sie auf der Seite Dremio Datasets auf + signieren, um eine Quelle hinzuzufügen, und wählen Sie „Amazon S3“.

  2. Geben Sie einen Namen für diese neue Datenquelle ein: StorageGRID S3-Mandanten-Zugriffsschlüssel-ID und geheimer Zugriffsschlüssel.

  3. Aktivieren Sie das Kontrollkästchen „Verbindung verschlüsseln“, wenn HTTPS für die Verbindung zum StorageGRID S3-Endpunkt verwendet wird.
    Wenn Sie ein selbstsigniertes CA-Zertifikat für diesen s3-Endpunkt verwenden, folgen Sie der Dremio-Anleitung, um dieses CA-Zertifikat in den <JAVA_HOME>/jre/lib/Security + des Dremio-Servers hinzuzufügen
    Beispiel Screenshot

    Neue Quelle - Allgemein

  4. Klicken Sie auf „Erweiterte Optionen“, und aktivieren Sie „Kompatibilitätsmodus aktivieren“.

  5. Klicken Sie unter Verbindungseigenschaften auf + Eigenschaften hinzufügen, und fügen Sie diese s3a-Eigenschaften hinzu.

  6. fs.s3a.Connection.die Standardeinstellung ist 100. Wenn Ihre s3-Datensätze große Parkett-Dateien mit 100 oder mehr Spalten enthalten, muss ein Wert größer als 100 eingegeben werden. Diese Einstellung finden Sie im Dremio-Handbuch.

    Name Wert

    fs.s3a.Endpunkt

    <StorageGRID S3 Endpunkt:Port>

    fs.s3a.path.style.Access

    Richtig

    fs.s3a.Verbindung.Maximum

    <ein Wert größer als 100>

    Beispiel Screenshot

    New Source – Erweiterte Optionen

  7. Konfigurieren Sie andere Dremio-Optionen gemäß Ihren Unternehmens- oder Anwendungsanforderungen.

  8. Klicken Sie auf die Schaltfläche Speichern, um diese neue Datenquelle zu erstellen.

  9. Sobald die StorageGRID-Datenquelle erfolgreich hinzugefügt wurde, wird im linken Bereich eine Liste der Buckets angezeigt.
    Beispiel Screenshot

    Neue Datenquelle hinzugefügt