기술 개요
이 섹션에서는 이 솔루션에 사용된 기술에 대해 설명합니다.
NetApp ONTAP 스토리지 컨트롤러
NetApp ONTAP 은 고성능 엔터프라이즈급 스토리지 운영 체제입니다.
NetApp ONTAP 9.8은 Amazon Simple Storage Service(S3) API에 대한 지원을 도입합니다. ONTAP Amazon Web Services(AWS) S3 API 작업의 하위 집합을 지원하고 클라우드 공급업체(AWS, Azure, GCP)와 온프레미스에서 ONTAP 기반 시스템의 객체로 데이터를 표현할 수 있도록 합니다.
NetApp StorageGRID 소프트웨어는 객체 스토리지를 위한 NetApp 의 대표적인 솔루션입니다. ONTAP 에지에서 수집 및 사전 처리 지점을 제공하고, NetApp 이 제공하는 객체 데이터에 대한 데이터 패브릭을 확장하고, NetApp 제품 포트폴리오의 가치를 높여 StorageGRID 보완합니다.
S3 버킷에 대한 액세스는 권한이 있는 사용자와 클라이언트 애플리케이션을 통해 제공됩니다. 다음 다이어그램은 애플리케이션이 S3 버킷에 액세스하는 것을 보여줍니다.
주요 사용 사례
S3 API를 지원하는 주요 목적은 ONTAP 에서 객체 액세스를 제공하는 것입니다. ONTAP 통합 스토리지 아키텍처는 이제 파일(NFS 및 SMB), 블록(FC 및 iSCSI), 객체(S3)를 지원합니다.
네이티브 S3 애플리케이션
점점 더 많은 애플리케이션이 S3를 사용하여 개체 액세스를 위해 ONTAP 지원을 활용할 수 있습니다. 대용량 보관 작업에는 적합하지만 네이티브 S3 애플리케이션에서 고성능에 대한 요구가 빠르게 증가하고 있으며 여기에는 다음이 포함됩니다.
-
해석학
-
인공지능
-
에지-투-코어 수집
-
머신러닝
이제 고객은 ONTAP System Manager와 같은 익숙한 관리 도구를 사용하여 ONTAP 에서 개발 및 운영을 위한 고성능 개체 스토리지를 빠르게 프로비저닝하고, 이를 통해 ONTAP 스토리지 효율성과 보안의 이점을 누릴 수 있습니다.
FabricPool 엔드포인트
ONTAP 9.8부터 FabricPool ONTAP 의 버킷 계층화를 지원하여 ONTAP ONTAP 계층화를 허용합니다. 이는 기존 FAS 인프라를 객체 저장소 엔드포인트로 재활용하려는 고객에게 매우 좋은 옵션입니다.
FabricPool 두 가지 방법으로 ONTAP 계층화를 지원합니다.
-
로컬 클러스터 계층화. 비활성 데이터는 클러스터 LIF를 사용하여 로컬 클러스터에 있는 버킷에 계층화됩니다.
-
원격 클러스터 계층화. 비활성 데이터는 FabricPool 클라이언트의 IC LIF와 ONTAP 개체 저장소의 데이터 LIF를 사용하는 기존 FabricPool 클라우드 계층과 유사한 방식으로 원격 클러스터에 있는 버킷에 계층화됩니다.
ONTAP S3는 추가 하드웨어 및 관리 없이 기존 클러스터에서 S3 기능을 원하는 경우에 적합합니다. 300TB가 넘는 배포의 경우 NetApp StorageGRID 소프트웨어는 여전히 개체 스토리지를 위한 NetApp 의 주력 솔루션입니다. ONTAP 또는 StorageGRID 클라우드 계층으로 사용하는 경우 FabricPool 라이선스가 필요하지 않습니다.
Confluent 계층형 스토리지용 NetApp ONTAP
모든 데이터 센터는 비즈니스에 중요한 애플리케이션을 계속 실행하고 중요한 데이터를 안전하게 사용할 수 있어야 합니다. 새로운 NetApp AFF A900 시스템은 ONTAP Enterprise Edition 소프트웨어와 고탄력성 설계를 기반으로 합니다. 당사의 새로운 초고속 NVMe 스토리지 시스템은 미션 크리티컬 운영의 중단을 없애고, 성능 조정을 최소화하며, 랜섬웨어 공격으로부터 데이터를 보호합니다.
초기 배포부터 Confluent 클러스터 확장까지, 귀사의 환경은 비즈니스에 중요한 애플리케이션을 중단시키지 않는 변화에 신속하게 적응해야 합니다. ONTAP 엔터프라이즈 데이터 관리, 서비스 품질(QoS), 성능을 통해 환경에 맞게 계획하고 적응할 수 있습니다.
NetApp ONTAP 과 Confluent Tiered Storage를 함께 사용하면 ONTAP 확장형 스토리지 대상으로 활용하여 Apache Kafka 클러스터 관리를 간소화하고 Confluent의 컴퓨팅 및 스토리지 리소스를 독립적으로 확장할 수 있습니다.
ONTAP S3 서버는 ONTAP 의 성숙한 확장형 스토리지 기능을 기반으로 구축되었습니다. ONTAP 클러스터에 새로 추가된 노드를 사용하도록 S3 버킷을 확장하면 ONTAP 클러스터를 원활하게 확장할 수 있습니다.
ONTAP System Manager를 통한 간편한 관리
ONTAP 시스템 관리자는 브라우저 기반 그래픽 인터페이스로, 전 세계에 분산된 위치에 있는 ONTAP 스토리지 컨트롤러를 단일 창에서 구성, 관리 및 모니터링할 수 있습니다.
System Manager와 ONTAP CLI를 사용하여 ONTAP S3를 구성하고 관리할 수 있습니다. S3를 활성화하고 System Manager를 사용하여 버킷을 생성하면 ONTAP 단순화된 구성에 대한 모범 사례 기본값을 제공합니다. CLI에서 S3 서버와 버킷을 구성하는 경우에도 원하는 경우 System Manager를 사용하여 관리할 수 있으며 그 반대의 경우도 가능합니다.
System Manager를 사용하여 S3 버킷을 생성하면 ONTAP 시스템에서 사용 가능한 가장 높은 기본 성능 서비스 수준을 구성합니다. 예를 들어, AFF 시스템에서 기본 설정은 Extreme입니다. 성능 서비스 수준은 사전 정의된 적응형 QoS 정책 그룹입니다. 기본 서비스 수준 중 하나를 지정하는 대신 사용자 지정 QoS 정책 그룹을 지정하거나 정책 그룹을 지정하지 않을 수 있습니다.
미리 정의된 적응형 QoS 정책 그룹에는 다음이 포함됩니다.
-
극심한. 가장 낮은 지연 시간과 가장 높은 성능이 필요한 애플리케이션에 사용됩니다.
-
성능. 적당한 성능 요구와 지연 시간이 필요한 애플리케이션에 사용됩니다.
-
값. 지연 시간보다 처리량과 용량이 더 중요한 애플리케이션에 사용됩니다.
-
관습. 사용자 정의 QoS 정책을 지정하거나 QoS 정책을 지정하지 않습니다.
*계층화에 사용*을 선택하면 성능 서비스 수준이 선택되지 않으며, 시스템은 계층화된 데이터에 대해 최적의 성능을 제공하는 저비용 미디어를 선택하려고 합니다.
ONTAP 선택한 서비스 수준을 충족하면서 가장 적합한 디스크가 있는 로컬 계층에 이 버킷을 프로비저닝하려고 시도합니다. 하지만 버킷에 포함할 디스크를 지정해야 하는 경우 로컬 계층(집계)을 지정하여 CLI에서 S3 개체 스토리지를 구성하는 것을 고려하세요. CLI에서 S3 서버를 구성하는 경우에도 원하는 경우 시스템 관리자를 사용하여 관리할 수 있습니다.
버킷에 어떤 집계를 사용할지 지정하는 기능을 원하는 경우 CLI를 사용해서만 가능합니다.
지류
Confluent Platform은 연속적이고 실시간 스트림으로 데이터에 쉽게 액세스하고 저장하고 관리할 수 있는 본격적인 데이터 스트리밍 플랫폼입니다. Apache Kafka의 최초 개발자가 개발한 Confluent는 Kafka의 이점을 엔터프라이즈급 기능으로 확장하는 동시에 Kafka 관리나 모니터링의 부담을 제거합니다. 오늘날 Fortune 100 기업 중 80% 이상이 데이터 스트리밍 기술을 사용하고 있으며, 대부분이 Confluent를 사용합니다.
왜 Confluent를 선택해야 할까요?
Confluent는 과거 데이터와 실시간 데이터를 단일의 중앙 진실 소스로 통합하여 완전히 새로운 종류의 최신 이벤트 중심 애플리케이션을 쉽게 구축하고, 보편적인 데이터 파이프라인을 확보하고, 완전한 확장성, 성능, 안정성을 갖춘 강력한 새로운 사용 사례를 창출할 수 있도록 지원합니다.
Confluent는 무엇에 사용되나요?
Confluent Platform을 사용하면 여러 시스템 간에 데이터가 전송되거나 통합되는 방식과 같은 기본적인 메커니즘에 대해 걱정하는 대신 데이터에서 비즈니스 가치를 도출하는 방법에 집중할 수 있습니다. 특히, Confluent Platform은 Kafka에 대한 데이터 소스 연결, 스트리밍 애플리케이션 구축, Kafka 인프라의 보안, 모니터링 및 관리를 간소화합니다. 오늘날 Confluent Platform은 금융 서비스, 옴니채널 소매, 자율주행차부터 사기 탐지, 마이크로서비스, IoT까지 다양한 산업에 걸쳐 광범위한 사용 사례에 사용되고 있습니다.
다음 그림은 Confluent Platform의 구성 요소를 보여줍니다.
Confluent 이벤트 스트리밍 기술 개요
Confluent 플랫폼의 핵심은 다음과 같습니다. "카프카" 가장 인기 있는 오픈소스 분산 스트리밍 플랫폼입니다. 카프카의 주요 기능은 다음과 같습니다.
-
레코드 스트림을 게시하고 구독합니다.
-
장애에 견딜 수 있는 방식으로 레코드 스트림을 저장합니다.
-
레코드 스트림을 처리합니다.
Confluent Platform에는 기본적으로 스키마 레지스트리, REST 프록시, 100개 이상의 사전 구축된 Kafka 커넥터, ksqlDB가 포함되어 있습니다.
Confluent 플랫폼 엔터프라이즈 기능 개요
-
Confluent 제어 센터. Kafka를 관리하고 모니터링하기 위한 UI 기반 시스템입니다. Kafka Connect를 쉽게 관리하고 다른 시스템에 대한 연결을 생성, 편집, 관리할 수 있습니다.
-
Kubernetes용 Confluent. Kubernetes용 Confluent는 Kubernetes 운영자입니다. 쿠버네티스 운영자는 특정 플랫폼 애플리케이션에 대한 고유한 기능과 요구 사항을 제공하여 쿠버네티스의 오케스트레이션 기능을 확장합니다. Confluent Platform의 경우, 여기에는 Kubernetes에서 Kafka의 배포 프로세스를 크게 단순화하고 일반적인 인프라 수명 주기 작업을 자동화하는 것이 포함됩니다.
-
Kafka Connect 커넥터. 커넥터는 Kafka Connect API를 사용하여 Kafka를 데이터베이스, 키-값 저장소, 검색 인덱스, 파일 시스템 등의 다른 시스템에 연결합니다. Confluent Hub에는 가장 인기 있는 데이터 소스와 싱크에 대한 다운로드 가능한 커넥터가 있으며, 여기에는 Confluent Platform에서 이러한 커넥터의 완전히 테스트되고 지원되는 버전이 포함됩니다. 더 자세한 내용은 다음을 참조하세요. "여기" .
-
자체 균형 클러스터. 자동화된 부하 분산, 장애 감지 및 자체 복구 기능을 제공합니다. 또한 필요에 따라 브로커를 추가하거나 해제하는 기능을 제공하며, 수동으로 조정할 필요가 없습니다.
-
합류 클러스터 연결. 링크 브리지를 통해 클러스터를 직접 연결하고 한 클러스터의 주제를 다른 클러스터로 미러링합니다. 클러스터 연결을 통해 다중 데이터 센터, 다중 클러스터 및 하이브리드 클라우드 배포 설정이 간소화됩니다.
-
Confluent 자동 데이터 밸런서. 클러스터 내의 브로커 수, 파티션 크기, 파티션 수, 리더 수를 모니터링합니다. 이 기능을 사용하면 클러스터 전체에서 균일한 작업 부하를 생성하기 위해 데이터를 이동할 수 있으며, 재조정하는 동안 프로덕션 작업 부하에 미치는 영향을 최소화하기 위해 재조정 트래픽을 조절할 수 있습니다.
-
합류 복제기. 여러 데이터 센터에서 여러 Kafka 클러스터를 유지 관리하는 것이 그 어느 때보다 쉬워졌습니다.
-
계층화된 스토리지. 선호하는 클라우드 공급업체를 사용하여 대용량의 Kafka 데이터를 저장할 수 있는 옵션을 제공하므로 운영 부담과 비용이 줄어듭니다. 계층형 스토리지를 사용하면 비용 효율적인 개체 스토리지에 데이터를 보관하고, 더 많은 컴퓨팅 리소스가 필요할 때만 확장 브로커를 사용할 수 있습니다.
-
Confluent JMS 클라이언트. Confluent Platform에는 Kafka용 JMS 호환 클라이언트가 포함되어 있습니다. 이 Kafka 클라이언트는 Kafka 브로커를 백엔드로 사용하여 JMS 1.1 표준 API를 구현합니다. 이 기능은 JMS를 사용하는 레거시 애플리케이션이 있고 기존 JMS 메시지 브로커를 Kafka로 교체하려는 경우에 유용합니다.
-
Confluent MQTT 프록시. 중간에 MQTT 브로커가 필요 없이 MQTT 장치 및 게이트웨이에서 Kafka로 직접 데이터를 게시하는 방법을 제공합니다.
-
Confluent 보안 플러그인. Confluent 보안 플러그인은 다양한 Confluent Platform 도구와 제품에 보안 기능을 추가하는 데 사용됩니다. 현재 Confluent REST 프록시에 사용할 수 있는 플러그인이 있는데, 이 플러그인은 들어오는 요청을 인증하고 인증된 주체를 Kafka에 대한 요청에 전파하는 데 도움이 됩니다. 이를 통해 Confluent REST 프록시 클라이언트는 Kafka 브로커의 멀티테넌트 보안 기능을 활용할 수 있습니다.