StorageGRIDを使用したDremioデータソースの設定
Angela Cheng著_
Dremioは、クラウドベースやオンプレミスのオブジェクトストレージなど、多様なデータソースをサポートしています。 StorageGRIDをオブジェクトストレージデータソースとして使用するようにDremioを設定できます。
Dremioデータソースの設定
前提条件
-
StorageGRID S3エンドポイントURL、テナントs3アクセスキーID、シークレットアクセスキー。
-
StorageGRID構成の推奨事項:圧縮を無効にします(デフォルトでは無効)。 [+]
Dremioは、Byte range GETを使用して、クエリ中に同じオブジェクト内から異なるバイト範囲を同時に取得します。 バイト範囲要求の一般的なサイズは1MBです。圧縮オブジェクトを使用すると、バイト範囲GETのパフォーマンスが低下します。
Dremioガイド
指示
-
[Dremio Datasets]ページで、[+]をクリックしてソースを追加し、[Amazon S3]を選択します。
-
この新しいデータソースの名前(StorageGRID S3のテナントアクセスキーIDとシークレットアクセスキー)を入力します。
-
StorageGRID S3エンドポイントへの接続にhttpsを使用する場合は、[Encrypt connection]チェックボックスをオンにします。[+]
このs3エンドポイントで自己署名CA証明書を使用する場合は、Dremioのガイド手順に従って、このCA証明書をDremioサーバの<JAVA_HOME>/jre/lib/security+に追加します。
サンプルスクリーンショット -
[詳細オプション]をクリックし、[互換モードを有効にする]をオンにします。
-
[Connection properties]で、[+ Add Properties]をクリックして、これらのs3aプロパティを追加します。
-
fs.s3a.connection.maximumデフォルトは100です。 s3データセットに100列以上の大きな寄木細工ファイルが含まれている場合は、100より大きい値を入力する必要があります。 この設定については、Dremioのガイドを参照してください。
名前 価値 FS.s3a.endpoint
_ StorageGRID S3エンドポイント:port>_
FS.s3a.path.style.access
正しいです
fs.s3a.connection.maximum
< 100より大きい値>
サンプルスクリーンショット
-
組織またはアプリケーションの要件に応じて、その他のDremioオプションを設定します。
-
[Save]ボタンをクリックして新しいデータソースを作成します。
-
StorageGRIDデータソースが正常に追加されると、バケットのリストが左側のパネルに表示されます。[+]
サンプルスクリーンショット