顧客の既存の環境では、分析プラットフォームに使用されている Hadoop インフラストラクチャは、Hadoop サーバーの内部ストレージを活用していました。 JBOD 環境の独自仕様のため、組織内の多くの内部顧客は、リアルタイム データの定期的なサンプルに依存するシミュレーションであるモンテ カルロ定量モデルを活用できませんでした。市場動向の不確実性の影響を理解する能力が最適ではなかったため、定量資産運用事業部門にとって不利な状況となっていました。

銀行の定量ビジネス部門は、正確でタイムリーな予測を達成するための効率的な予測方法を求めていました。これを実現するために、チームは、投資モデルを効率的にシミュレートし、潜在的な利益を測定し、リスクを分析するために、インフラストラクチャを最新化し、既存の I/O 待機時間を短縮し、Hadoop や Spark などの分析アプリケーションのパフォーマンスを向上させる必要があることを認識しました。

顧客は既存の Spark ソリューションに JBOD を導入していました。その後、 NetApp ONTAP、 NetApp StorageGRID、および MinIO Gateway to NFS を活用して、潜在的な利益とリスクを評価する投資モデルのシミュレーションと分析を実行する銀行の定量財務グループの I/O 待機時間を短縮しました。この画像は、 NetAppストレージを使用した Spark ソリューションを示しています。

上の図に示すように、 AFF A800、A700 システム、およびStorageGRIDが導入され、データ分析操作用の Spark、YARN、および Hive メタデータ サービスを備えた 6 ノードの Hadoop クラスターで NFS および S3 プロトコルを介して parquet ファイルにアクセスしました。

顧客の古い環境における直接接続ストレージ (DAS) ソリューションには、コンピューティングとストレージを個別に拡張できないという欠点がありました。同銀行の金融分析事業部門は、Spark 向けNetApp ONTAPソリューションを導入することで、ストレージをコンピューティングから切り離し、必要に応じてインフラストラクチャ リソースをより効率的にシームレスに提供できるようになりました。

ONTAP をNFS と併用することで、コンピューティング サーバーの CPU が Spark SQL ジョブにほぼ完全に利用され、I/O 待機時間が 70% 近く短縮され、Spark ワークロードのコンピューティング能力とパフォーマンスが向上しました。その後、CPU 使用率の向上により、顧客は GPUDirect などの GPU を活用してプラットフォームをさらに近代化することも可能になりました。さらに、 StorageGRID はSpark ワークロードに低コストのストレージ オプションを提供し、MinIO Gateway は S3 プロトコルを介して NFS データへの安全なアクセスを提供します。クラウド内のデータについては、 NetApp はCloud Volumes ONTAP、 Azure NetApp Files、 Google Cloud NetApp Volumes を推奨しています。