고객의 기존 환경에서 분석 플랫폼에 사용되는 Hadoop 인프라는 Hadoop 서버의 내부 스토리지를 활용했습니다. JBOD 환경의 독점 특성으로 인해 조직 내의 많은 내부 고객은 실시간 데이터의 반복 샘플에 의존하는 시뮬레이션인 Monte Carlo 정량 모델을 활용할 수 없었습니다. 시장 이동이 불확실성의 영향을 이해하는 데 있어 최적화되지 않은 능력은 정량적 자산 관리 사업부에 비호의적으로 작용했습니다.

이 은행의 정량적 사업부는 정확하고 시기 적절한 예측을 얻기 위한 효율적인 예측 방법을 원했습니다. 이를 위해 IT 팀에서는 인프라를 현대화하고, 기존 I/O 대기 시간을 줄이며, Hadoop, Spark와 같은 분석 애플리케이션의 성능을 개선하여 투자 모델을 효율적으로 시뮬레이션하고, 잠재적인 이익을 측정하고, 위험을 분석해야 한다는 사실을 깨달았습니다.

고객은 기존 Spark 솔루션에 대한 JBOD를 가지고 있었습니다. 그런 다음 NetApp ONTAP, NetApp StorageGRID 및 MinIO Gateway to NFS를 활용하여 잠재적인 이익과 위험을 평가하는 투자 모델에 대한 시뮬레이션 및 분석을 실행하는 금융 그룹의 정량적 대기 시간을 줄였습니다. 이 이미지는 NetApp 스토리지의 Spark 솔루션을 보여줍니다.

위 그림과 같이 StorageGRID A800, A700 시스템 및 AFF는 Spark가 있는 6노드 Hadoop 클러스터 및 데이터 분석 작업을 위한 YARN 및 Hive 메타데이터 서비스의 NFS 및 S3 프로토콜을 통해 쪽모이 세공 파일에 액세스하기 위해 구축되었습니다.

고객의 기존 환경에서 DAS(직접 연결 스토리지) 솔루션을 사용할 경우 컴퓨팅과 스토리지를 독립적으로 확장한다는 단점이 있었습니다. Spark용 NetApp ONTAP 솔루션을 통해 은행의 재무 분석 사업부에서 스토리지를 컴퓨팅에서 분리하여 필요에 따라 인프라 리소스를 보다 효율적으로 제공할 수 있게 되었습니다.

NFS와 함께 ONTAP를 사용함으로써 컴퓨팅 서버 CPU는 Spark SQL 작업에 거의 전적으로 활용되었고 I/O 대기 시간이 약 70% 감소되어 스파크 워크로드에 더 나은 컴퓨팅 성능과 성능 향상을 제공했습니다. 또한 CPU 활용률을 높임으로써 고객이 GPUDirect와 같은 GPU를 활용하여 플랫폼을 더욱 현대화할 수 있도록 했습니다. 또한 StorageGRID는 스파크 워크로드를 위한 저렴한 스토리지 옵션을 제공하며 MinIO 게이트웨이는 S3 프로토콜을 통해 NFS 데이터에 대한 안전한 액세스를 제공합니다. 클라우드 데이터의 경우 NetApp에서 Cloud Volumes ONTAP, Azure NetApp Files 및 Google Cloud NetApp 볼륨을 권장합니다.