과제: NetApp의 자체 Active IQ 솔루션은 원래 다양한 사용 사례를 지원하도록 설계되었지만, 이제는 내부 사용자와 고객 모두를 위한 포괄적인 솔루션으로 발전했습니다. 그러나 데이터의 급속한 성장과 효율적인 데이터 액세스의 필요성으로 인해 Hadoop/MapR 기반 백엔드 인프라는 비용과 성능 측면에서 과제를 안고 있었습니다. 저장소를 확장하면 불필요한 컴퓨팅 리소스가 추가되어 비용이 증가하게 됩니다.

게다가 Hadoop 클러스터를 관리하는 일은 시간이 많이 걸리고 전문적인 지식이 필요했습니다. 데이터 성능 및 관리 문제로 인해 상황이 더욱 복잡해졌으며, 쿼리를 실행하는 데 평균 45분이 걸리고 구성 오류로 인해 리소스가 부족해졌습니다. 이러한 과제를 해결하기 위해 NetApp 기존의 레거시 Hadoop 환경에 대한 대안을 모색했고 Dremio를 기반으로 하는 새로운 현대적 솔루션이 비용을 절감하고, 스토리지와 컴퓨팅을 분리하고, 성능을 개선하고, 데이터 관리를 간소화하고, 세분화된 제어 기능을 제공하고, 재해 복구 기능을 제공할 것이라고 판단했습니다.

해결책: Dremio는 NetApp 단계적 접근 방식으로 Hadoop 기반 데이터 인프라를 현대화할 수 있도록 지원하여 통합 분석을 위한 로드맵을 제공했습니다. 데이터 처리를 크게 변경해야 했던 다른 공급업체와 달리 Dremio는 기존 파이프라인과 완벽하게 통합되어 마이그레이션하는 동안 시간과 비용을 절감했습니다. NetApp 완전히 컨테이너화된 환경으로 전환함으로써 관리 오버헤드를 줄이고, 보안을 강화하고, 복원력을 향상시켰습니다. Dremio는 Apache Iceberg와 Arrow와 같은 개방형 생태계를 도입하여 미래 지향적인 운영, 투명성, 확장성을 확보했습니다.

Dremio는 Hadoop/Hive 인프라를 대체하여 의미 계층을 통해 2차 사용 사례에 대한 기능을 제공했습니다. 기존의 Spark 기반 ETL 및 데이터 수집 메커니즘은 그대로 유지하면서 Dremio는 중복 없이 데이터를 보다 쉽게 검색하고 탐색할 수 있는 통합 액세스 계층을 제공했습니다. 이러한 접근 방식은 데이터 복제 요소를 크게 줄이고 스토리지와 컴퓨팅을 분리했습니다.

이점: NetApp Dremio를 통해 데이터 환경에서 컴퓨팅 소비와 디스크 공간 요구 사항을 최소화하여 상당한 비용 절감을 달성했습니다. 새로운 Active IQ Data Lake는 7페타바이트가 넘는 기존 인프라에 비해 3페타바이트의 데이터를 보유한 8,900개의 테이블로 구성됩니다. Dremio로의 마이그레이션에는 Kubernetes 클러스터에서 33개의 미니 클러스터와 4,000개의 코어를 16개의 실행자 노드로 전환하는 작업도 포함되었습니다. 컴퓨팅 리소스가 크게 감소했음에도 불구하고 NetApp 놀라운 성능 향상을 경험했습니다. Dremio를 통해 데이터에 직접 액세스함으로써 쿼리 런타임이 45분에서 2분으로 단축되었고, 그 결과 예측 유지 관리 및 최적화를 위한 통찰력을 얻는 시간이 95% 빨라졌습니다. 마이그레이션을 통해 컴퓨팅 비용이 60% 이상 절감되고, 쿼리 속도가 20배 이상 빨라졌으며, 총 소유 비용(TCO)도 30% 이상 절감되었습니다.

과제: 이 글로벌 자동차 부품 판매 회사 내에서 임원 및 기업 재무 계획 및 분석 그룹은 판매 보고서에 대한 통합된 보기를 얻지 못하고 각 사업부 판매 지표 보고서를 읽고 이를 통합하려고 시도해야 했습니다. 이로 인해 고객은 적어도 하루 이상 지난 데이터를 바탕으로 결정을 내리는 경우가 많아졌습니다. 새로운 분석 통찰력을 얻는 데 걸리는 리드타임은 일반적으로 4주 이상 걸립니다. 데이터 파이프라인의 문제를 해결하려면 더 많은 시간이 필요하며, 이미 긴 일정에 3일 이상이 추가될 것입니다. 보고서 개발 프로세스가 느리고 보고서 성능도 좋지 않아 분석가 커뮤니티는 데이터가 처리되거나 로드될 때까지 계속 기다려야 했고, 그 결과 새로운 비즈니스 통찰력을 찾고 새로운 비즈니스 행동을 촉진하는 데 어려움을 겪었습니다. 이러한 문제가 있는 환경은 다양한 사업 부문을 위한 수많은 데이터베이스로 구성되어 있었고, 이로 인해 수많은 데이터 사일로가 생겨났습니다. 느리고 단편화된 환경은 분석가가 단일 진실 소스에 의존하는 대신, 각자의 진실 버전을 도출해낼 방법이 너무 많았기 때문에 데이터 거버넌스를 복잡하게 만들었습니다. 이 접근 방식에는 데이터 플랫폼 비용과 인건비로 190만 달러가 넘게 들었습니다. 기존 플랫폼을 유지 관리하고 데이터 요청을 충족하려면 연간 7명의 현장 기술 엔지니어(FTE)가 필요했습니다. 데이터 요청이 증가함에 따라 데이터 인텔리전스 팀은 향후 요구 사항을 충족하기 위해 레거시 환경을 확장할 수 없었습니다.

해결책: NetApp Object Store에서 대규모 Iceberg 테이블을 비용 효율적으로 저장하고 관리합니다. Dremio의 의미 계층을 사용하여 데이터 도메인을 구축하면 비즈니스 사용자가 쉽게 데이터 제품을 만들고, 검색하고, 공유할 수 있습니다.

고객 혜택: • 기존 데이터 아키텍처 개선 및 최적화, 통찰력 확보 시간 4주에서 단 몇 시간으로 단축 • 문제 해결 시간 3일에서 단 몇 시간으로 단축 • 데이터 플랫폼 및 관리 비용 38만 달러 이상 절감 • 연간 데이터 인텔리전스 작업 FTE 2명 절감