Las puestas en marcha tradicionales de Hadoop suelen usar hardware genérico. Para mejorar el rendimiento, debe ajustar la red, el sistema operativo, el clúster de Hadoop, los componentes del ecosistema como Spark y el hardware. Aunque ajuste cada capa, puede resultar difícil lograr los niveles de rendimiento deseados, porque Hadoop utiliza hardware genérico que no se ha diseñado para ofrecer un alto rendimiento en su entorno.

Incluso en condiciones normales, el hardware genérico es propenso a sufrir fallos. Si falla un disco en un nodo de datos, el maestro de Hadoop considera de forma predeterminada que ese nodo no está en buen estado. A continuación, copia datos específicos de ese nodo a través de la red de réplicas en un nodo en buen estado. Este proceso ralentiza los paquetes de red para cualquier trabajo de Hadoop. A continuación, el clúster debe volver a copiar los datos y eliminar los datos replicados en exceso cuando el nodo que no está en buen estado vuelva.

Los distribuidores de Hadoop tienen su propia distribución de Hadoop con su propio control de versiones, lo que bloquea al cliente para dichas distribuciones. Sin embargo, muchos clientes requieren compatibilidad con el análisis en memoria que no enlaza al cliente con distribuciones específicas de Hadoop. Necesitan tener libertad para cambiar las distribuciones y llevar sus análisis con ellas.

Los clientes a menudo requieren soporte para varios idiomas además de los programas Java de MapReduce para ejecutar sus trabajos. Las opciones como SQL y scripts proporcionan más flexibilidad para obtener respuestas, más opciones para organizar y recuperar datos y formas más rápidas de mover datos a un marco de análisis.

Desde hace algún tiempo, la gente se ha quejado de que Hadoop es difícil de usar. Aunque Hadoop se ha vuelto más sencillo y potente con cada nueva versión, esta crítica se ha mantenido. Hadoop requiere que comprenda los patrones de programación de Java y MapReduce, un reto para los administradores de bases de datos y las personas con conjuntos de habilidades de scripting tradicionales.

Los equipos de IA de las empresas se enfrentan a diferentes retos. Incluso con conocimientos especializados en ciencia de datos, es posible que las herramientas y los marcos para diferentes ecosistemas y aplicaciones de puesta en marcha no se traduzcan simplemente de uno a otro. Una plataforma de ciencia de datos debe integrarse perfectamente con las plataformas de big data correspondientes basadas en Spark con facilidad de movimiento de datos, modelos reutilizables, código listo para usar y herramientas que admiten las mejores prácticas para la creación de prototipos, la validación, el control de versiones, el uso compartido, la reutilización, y poner en marcha rápidamente modelos para la producción.

Con el almacenamiento por niveles de Hadoop, puede almacenar archivos con diferentes tipos de almacenamiento según una normativa de almacenamiento. Los tipos de almacenamiento incluyen hot, cold, warm, all_ssd, one_ssd, y. lazy_persist.

Validamos el almacenamiento por niveles de Hadoop en una controladora de almacenamiento AFF de NetApp y una controladora de almacenamiento E-Series con unidades SSD y SAS con políticas de almacenamiento diferentes. El clúster Spark con AFF-A800 tiene cuatro nodos de trabajo de computación, mientras que el clúster con E-Series tiene ocho. Esto se compara principalmente con el rendimiento de las unidades de estado sólido (SSD) en comparación con los discos de disco duro (HDD).

La siguiente figura muestra el rendimiento de las soluciones de NetApp para SSD de Hadoop.

Cuando necesite más capacidad informática de un clúster de Hadoop en una solución AFF, puede añadir nodos de datos con un número adecuado de controladoras de almacenamiento. NetApp recomienda comenzar con cuatro nodos de datos por cabina de controladora de almacenamiento y aumentar el número a ocho nodos de datos por controladora de almacenamiento, en función de las características de la carga de trabajo.

AFF y FAS son perfectos para análisis in situ. En función de los requisitos de computación, puede agregar administradores de nodos y las operaciones no disruptivas le permiten agregar una controladora de almacenamiento bajo demanda sin tiempo de inactividad. Ofrecemos completas funciones con AFF y FAS, como soporte de medios NVME, eficiencia garantizada, reducción de datos, CALIDAD DE SERVICIO, análisis predictivos, organización en niveles del cloud, replicación, puesta en marcha de cloud y seguridad. Para ayudar a los clientes a cumplir sus requisitos, NetApp ofrece funciones como análisis del sistema de archivos, cuotas y equilibrio de carga integrado sin costes de licencia adicionales. NetApp ofrece un mejor rendimiento en el número de tareas simultáneas, menor latencia, operaciones más sencillas y un mayor rendimiento de gigabytes por segundo que el de la competencia. Además, Cloud Volumes ONTAP de NetApp se ejecuta en los tres principales proveedores de cloud.

Las funciones de escalado vertical le permiten agregar unidades de disco a sistemas AFF, FAS y E-Series cuando necesita capacidad de almacenamiento adicional. Con Cloud Volumes ONTAP, el escalado del almacenamiento a nivel de PB es una combinación de dos factores: La organización en niveles de los datos que se usan con poca frecuencia en el almacenamiento de objetos desde el almacenamiento de bloques y la apilamiento de licencias Cloud Volumes ONTAP sin necesidad de procesamiento adicional.

Los sistemas NetApp son compatibles con la mayoría de protocolos para puestas en marcha de Hadoop, como SAS, iSCSI, FCP, InfiniBand, Y NFS.

Las soluciones para Hadoop que se describen en este documento son compatibles con NetApp. Estas soluciones también están certificadas con los principales distribuidores de Hadoop. Para obtener información, consulte el "Hortonworks" sitio, el Cloudera "certificación" y "como partner" los sitios.