StorageGRID의 테넌트 계정에 대한 S3 Select 관리
특정 S3 테넌트가 S3 Select를 사용하여 개별 개체에 대한 SelectObjectContent 요청을 실행할 수 있도록 허용할 수 있습니다.
S3 Select는 데이터베이스 및 관련 리소스를 배포하지 않고도 대량의 데이터를 효율적으로 검색할 수 있는 방법을 제공합니다. 또한 데이터 검색 비용과 지연 시간을 줄여줍니다.
S3 Select란 무엇인가요?
S3 Select를 사용하면 S3 클라이언트가 SelectObjectContent 요청을 통해 객체에서 필요한 데이터만 필터링하고 검색할 수 있습니다. StorageGRID 의 S3 Select 구현에는 S3 Select 명령 및 기능의 일부가 포함되어 있습니다.
S3 Select 사용을 위한 고려 사항 및 요구 사항
객체 형식 요구 사항
조회하려는 객체는 다음 형식 중 하나여야 합니다.
-
CSV. 있는 그대로 사용하거나 GZIP 또는 BZIP2 아카이브로 압축할 수 있습니다.
-
Parquet. Parquet 객체에 대한 추가 요구사항:
-
S3 Select는 GZIP 또는 Snappy를 사용한 컬럼형 압축만 지원합니다. S3 Select는 Parquet 객체에 대한 전체 객체 압축을 지원하지 않습니다.
-
S3 Select는 Parquet 출력을 지원하지 않습니다. 출력 형식을 CSV 또는 JSON으로 지정해야 합니다.
-
압축되지 않은 행 그룹의 최대 크기는 512MB입니다.
-
객체의 스키마에 명시된 데이터 형식을 사용해야 합니다.
-
INTERVAL, JSON, LIST, TIME 또는 UUID 논리 유형은 사용할 수 없습니다.
-
엔드포인트 요구 사항
SelectObjectContent 요청은 "StorageGRID 로드 밸런서 엔드포인트"으로 전송되어야 합니다.
엔드포인트에서 사용하는 관리 노드 및 게이트웨이 노드는 다음 중 하나여야 합니다.
-
서비스 어플라이언스 노드
-
VMware 기반 소프트웨어 노드
-
cgroup v2가 활성화된 커널을 실행하는 베어메탈 노드
일반적인 고려 사항
쿼리를 스토리지 노드로 직접 보낼 수 없습니다.
|
|
SelectObjectContent 요청은 모든 S3 클라이언트와 모든 테넌트의 로드 밸런서 성능을 저하시킬 수 있습니다. 이 기능은 필요한 경우에만, 그리고 신뢰할 수 있는 테넌트에 대해서만 활성화하십시오. |
"S3 Select 사용 설명서"을 참조하십시오.
시간 경과에 따른 S3 Select 작업의 "Grafana 차트"을(를) 보려면 그리드 관리자에서 지원 > 도구 > *메트릭*을 선택하십시오.