고객의 기존 환경에서 분석 플랫폼에 사용된 Hadoop 인프라는 Hadoop 서버의 내부 스토리지를 활용했습니다. JBOD 환경의 독점적 특성으로 인해 조직 내의 많은 내부 고객은 실시간 데이터의 반복적인 샘플에 의존하는 시뮬레이션인 몬테카를로 정량적 모델을 활용하지 못했습니다. 시장 움직임의 불확실성이 미치는 영향을 이해하는 능력이 부족하여 양적 자산 관리 사업부에 불리하게 작용했습니다.

은행의 양적 사업부에서는 정확하고 시기적절한 예측을 달성하기 위해 효율적인 예측 방법을 원했습니다. 이를 위해 팀은 인프라를 현대화하고, 기존 I/O 대기 시간을 줄이고, Hadoop 및 Spark와 같은 분석 애플리케이션의 성능을 개선하여 투자 모델을 효율적으로 시뮬레이션하고, 잠재적 이익을 측정하고, 위험을 분석할 필요성을 인식했습니다.

해당 고객은 기존 Spark 솔루션에 JBOD를 사용하고 있었습니다. NetApp ONTAP, NetApp StorageGRID 및 MinIO Gateway to NFS를 활용하여 투자 모델에 대한 시뮬레이션과 분석을 실행하고 잠재적 이익과 위험을 평가하는 은행의 양적 금융 그룹의 I/O 대기 시간을 줄였습니다. 이 이미지는 NetApp 스토리지를 갖춘 Spark 솔루션을 보여줍니다.

위 그림에서 볼 수 있듯이, AFF A800, A700 시스템 및 StorageGRID Spark, YARN 및 Hive 메타데이터 서비스를 갖춘 6노드 Hadoop 클러스터에서 NFS 및 S3 프로토콜을 통해 Parquet 파일에 액세스하여 데이터 분석 작업을 수행하도록 배포되었습니다.

고객의 기존 환경에서는 DAS(Direct Attached Storage) 솔루션이 컴퓨팅과 스토리지를 독립적으로 확장할 수 없다는 단점이 있었습니다. Spark용 NetApp ONTAP 솔루션을 통해 은행의 재무 분석 사업부는 스토리지와 컴퓨팅을 분리하고 필요에 따라 인프라 리소스를 보다 효과적으로 원활하게 활용할 수 있었습니다.

NFS와 함께 ONTAP 사용함으로써, 컴퓨팅 서버 CPU가 Spark SQL 작업에 거의 완전히 활용되었고 I/O 대기 시간이 약 70% 단축되었습니다. 그 결과, Spark 워크로드에 더 나은 컴퓨팅 성능과 향상이 제공되었습니다. 이후 CPU 활용도가 높아짐에 따라 고객은 GPUDirect와 같은 GPU를 활용하여 플랫폼을 더욱 현대화할 수 있게 되었습니다. 또한, StorageGRID Spark 워크로드를 위한 저렴한 스토리지 옵션을 제공하고 MinIO Gateway는 S3 프로토콜을 통해 NFS 데이터에 대한 안전한 액세스를 제공합니다. 클라우드에 있는 데이터의 경우 NetApp Cloud Volumes ONTAP, Azure NetApp Files, Google Cloud NetApp Volumes 권장합니다.