HDFS e MapR-FS para ONTAP NFS
Sugerir alterações
PDFs
Para esta solução, a NetApp validou a migração de dados do data lake (HDFS) e dos dados do cluster MapR para o ONTAP NFS. Os dados residiam no MapR-FS e no HDFS. O NetApp XCP introduziu um novo recurso que migra diretamente os dados de um sistema de arquivos distribuído, como HDFS e MapR-FS, para o ONTAP NFS. O XCP usa threads assíncronos e chamadas de API C do HDFS para comunicar e transferir dados do MapR-FS e do HDFS.
A figura abaixo mostra a migração de dados do data lake (HDFS) e MapR-FS para o ONTAP NFS. Com esse novo recurso, você não precisa exportar a origem como um compartilhamento NFS.
Por que os clientes estão migrando do HDFS e do MapR-FS para o NFS?
A maioria das distribuições Hadoop, como Cloudera e Hortonworks, usam HDFS e as distribuições MapR usam seu próprio sistema de arquivos chamado Mapr-FS para armazenar dados. Os dados HDFS e MapR-FS fornecem insights valiosos aos cientistas de dados que podem ser aproveitados em aprendizado de máquina (ML) e aprendizado profundo (DL). Os dados no HDFS e no MapR-FS não são compartilhados, o que significa que não podem ser usados por outros aplicativos. Os clientes buscam dados compartilhados, especialmente no setor bancário, onde os dados confidenciais dos clientes são usados por diversos aplicativos. A versão mais recente do Hadoop (3.x ou posterior) oferece suporte à fonte de dados NFS, que pode ser acessada sem software adicional de terceiros. Com o novo recurso NetApp XCP, os dados podem ser movidos diretamente do HDFS e do MapR-FS para o NetApp NFS para fornecer acesso a vários aplicativos
Os testes foram feitos no Amazon Web Services (AWS) para transferir os dados do MapR-FS para o NFS para o teste de desempenho inicial com 12 nós MAPR e 4 servidores NFS.
| Quantidade | Tamanho | vCPU | Memória | Armazenar | Rede | |
|---|---|---|---|---|---|---|
Servidor NFS |
4 |
i3en.24xlarge |
96 |
488GiB |
8x SSD 7500 NVMe |
100 |
Nós MapR |
12 |
I3en.12xlarge |
48 |
384GiB |
4x SSD 7500 NVMe |
50 |
Com base nos testes iniciais, obtivemos uma taxa de transferência de 20 GBps e conseguimos transferir 2 PB de dados por dia.
Para obter mais informações sobre a migração de dados HDFS sem exportar HDFS para NFS, consulte a seção "Etapas de implantação - NAS" em"TR-4863: Diretrizes de práticas recomendadas para NetApp XCP - Movimentação de dados, migração de arquivos e análise" .