Skip to main content
NetApp Solutions
O português é fornecido por meio de tradução automática para sua conveniência. O inglês precede o português em caso de inconsistências.

Solução de movimentação de dados

Colaboradores
PDFs

Em um cluster de big data, os dados são armazenados em HDFS ou HCFS, como MAPR-FS, Windows Azure Storage Blob, S3 ou o sistema de arquivos Google. Realizamos testes com HDFS, MAPR-FS e S3 como a fonte para copiar dados para exportação NetApp ONTAP NFS com a ajuda do NIPAM usando o hadoop distcp comando da fonte.

O diagrama a seguir ilustra a movimentação típica de dados de um cluster do Spark executado com storage HDFS para um volume NetApp ONTAP NFS, de modo que o NVIDIA possa processar operações de AI.

Figura que mostra a caixa de diálogo de entrada/saída ou que representa o conteúdo escrito

O hadoop distcp comando usa o programa MapReduce para copiar os dados. O NIPAM trabalha com o MapReduce para atuar como um driver para o cluster Hadoop ao copiar dados. O NIPAM pode distribuir uma carga entre várias interfaces de rede para uma única exportação. Este processo maximiza a taxa de transferência da rede, distribuindo os dados através de várias interfaces de rede quando copia os dados do HDFS ou HCFS para o NFS.

Observação O NIPAM não é suportado ou certificado com o MAPR.