En el entorno existente del cliente, la infraestructura Hadoop utilizada para la plataforma de análisis aprovechó el almacenamiento interno de los servidores Hadoop. Debido a la naturaleza propia del entorno JBOD, muchos clientes internos de la organización no pudieron aprovechar su modelo cuantitativo de Monte Carlo, una simulación que se basa en muestras recurrentes de datos en tiempo real. La capacidad subóptima para comprender los efectos de la incertidumbre en los movimientos del mercado no era favorable para la unidad de negocio de gestión de activos cuantitativos.

La unidad de negocios cuantitativos del banco quería un método eficiente de pronóstico para lograr predicciones precisas y oportunas. Para ello, el equipo reconoció la necesidad de modernizar la infraestructura, reducir el tiempo de espera de I/o existente y mejorar el rendimiento en las aplicaciones analíticas como Hadoop y Spark para simular de manera eficiente modelos de inversiones, medir posibles ganancias y analizar riesgos.

El cliente tenía JBOD para su solución de Spark existente. Entonces, se aprovechó ONTAP de NetApp, StorageGRID de NetApp y Minio Gateway a NFS para reducir el tiempo de espera de I/o para el grupo financiero cuantitativo del banco que ejecuta simulación y análisis en modelos de inversión que evalúan posibles ganancias y riesgos. Esta imagen muestra la solución Spark con el almacenamiento de NetApp.

Como se muestra en la figura anterior, los sistemas AFF A800, A700 y StorageGRID se pusieron en marcha para acceder a archivos de parqué a través de protocolos NFS y S3 en un clúster Hadoop de seis nodos con Spark y los servicios de metadatos DE YARN y Hive para operaciones de análisis de datos.

Una solución de almacenamiento de conexión directa (DAS) en el antiguo entorno del cliente tenía la desventaja de escalar los recursos informáticos y el almacenamiento de forma independiente. Con la solución ONTAP de NetApp para Spark, la unidad de negocio de análisis financieros del banco pudo desvincular el almacenamiento de la computación y ofrecer sin problemas recursos de infraestructura de una manera más eficiente posible según lo necesite.

Al utilizar ONTAP con NFS, las CPU de los servidores de computación se utilizaron casi por completo para tareas de Spark SQL y el tiempo de espera de I/o se redujo en casi un 70 % y, así, se obtuvo una mejor potencia informática y un mejor impulso de rendimiento para las cargas de trabajo de Spark. Posteriormente, el aumento del uso de la CPU también permitió al cliente aprovechar las GPU, como GPUDirect, para una mayor modernización de la plataforma. Además, StorageGRID proporciona una opción de almacenamiento de bajo coste para las cargas de trabajo de Spark y Minio Gateway proporciona acceso seguro a los datos NFS mediante el protocolo S3. Para datos en el cloud, NetApp recomienda Cloud Volumes ONTAP, Azure NetApp Files y Google Cloud NetApp Volumes.