Skip to main content
NetApp Solutions
Se proporciona el idioma español mediante traducción automática para su comodidad. En caso de alguna inconsistencia, el inglés precede al español.

Caso de uso 3: Activación de DevTest en datos de Hadoop existentes

Colaboradores
PDF

En este caso de uso, el requisito del cliente es crear de forma rápida y eficiente clústeres Hadoop/Spark basados en un clúster de Hadoop existente que contenga una gran cantidad de datos de análisis para DevTest y fines de generación de informes en el mismo centro de datos y en ubicaciones remotas.

Situación

En este escenario, se han creado varios clústeres de Spark/Hadoop a partir de una implementación de lagos de datos de Hadoop en las instalaciones y en ubicaciones de recuperación ante desastres.

Requisitos y retos

Los principales requisitos y retos de este caso de uso son:

  • Cree varios clústeres de Hadoop para DevTest, QA o cualquier otro propósito que requiera el acceso a los mismos datos de producción. El reto que se plantea es clonar un clúster de Hadoop de gran tamaño varias veces al instante y con una gestión muy eficiente del espacio.

  • Sincronice los datos de Hadoop con los equipos de generación de informes y DevTest para obtener eficiencia operativa.

  • Distribuya los datos de Hadoop mediante las mismas credenciales en los clústeres de producción y nuevos.

  • Use directivas programadas para crear de forma eficaz clústeres de control de calidad sin que ello afecte al clúster de producción.

Solución

La tecnología FlexClone se utiliza para responder a los requisitos que acabamos de describir. La tecnología FlexClone es la copia de lectura/escritura de una copia Snapshot. Lee los datos de la copia snapshot principal y consume únicamente espacio adicional para los bloques nuevos o modificados. Es rápida y permite ahorrar espacio.

En primer lugar, se creó una copia Snapshot del clúster existente mediante un grupo de consistencia de NetApp.

Las copias de Snapshot dentro de NetApp System Manager o del símbolo del sistema del administrador del almacenamiento. Las copias Snapshot del grupo de consistencia son copias Snapshot de grupos coherentes con las aplicaciones y el volumen FlexClone se crea en función de las copias Snapshot del grupo de consistencia. Vale la pena mencionar que un volumen FlexClone hereda la política de exportación NFS del volumen principal. Una vez creada la copia snapshot, debe instalarse un nuevo clúster de Hadoop con fines de DevTest y generación de informes, como se muestra en la siguiente figura. El volumen NFS clonado del nuevo clúster de Hadoop accede a los datos de NFS.

Esta imagen muestra el clúster de Hadoop para DevTest.

Error: Falta la imagen gráfica