As implantações tradicionais do Hadoop normalmente usam hardware como commodity. Para melhorar a performance, você precisa ajustar a rede, o sistema operacional, o cluster Hadoop, os componentes do ecossistema, como Spark e hardware. Mesmo que você ajuste cada camada, pode ser difícil atingir os níveis de desempenho desejados porque o Hadoop está sendo executado em hardware comum que não foi projetado para alto desempenho no seu ambiente.

Mesmo em condições normais, o hardware comum é propenso a falhas. Se um disco em um nó de dados falhar, o mestre Hadoop por padrão considera que esse nó não está saudável. Em seguida, ele copia dados específicos desse nó pela rede de réplicas para um nó saudável. Esse processo retarda os pacotes de rede para quaisquer tarefas do Hadoop. Em seguida, o cluster deve copiar os dados novamente e remover os dados replicados em excesso quando o nó não saudável retornar a um estado saudável.

Os distribuidores do Hadoop têm sua própria distribuição Hadoop com seu próprio controle de versão, o que bloqueia o cliente a essas distribuições. No entanto, muitos clientes exigem suporte para análises in-memory que não vinculem o cliente a distribuições específicas do Hadoop. Eles precisam de liberdade para alterar distribuições e ainda trazer suas análises com eles.

Os clientes geralmente exigem suporte para vários idiomas, além dos programas MapReduce Java para executar seus trabalhos. Opções como SQL e scripts fornecem mais flexibilidade para obter respostas, mais opções para organizar e recuperar dados e formas mais rápidas de mover dados para uma estrutura de análise.

Por algum tempo, as pessoas se queixaram de que o Hadoop é difícil de usar. Embora o Hadoop tenha se tornado mais simples e poderoso com cada nova versão, essa crítica persistiu. O Hadoop exige que você entenda os padrões de programação Java e MapReduce, um desafio para administradores de banco de dados e pessoas com conjuntos de habilidades de script tradicionais.

As equipes de AI das empresas enfrentam vários desafios. Mesmo com conhecimento especializado em ciência de dados, ferramentas e estruturas para diferentes ecossistemas de implantação e aplicativos podem não ser traduzidos simplesmente de um para o outro. Uma plataforma de ciência de dados deve se integrar perfeitamente com as plataformas de Big Data correspondentes criadas no Spark com facilidade de movimentação de dados, modelos reutilizáveis, código pronto para uso e ferramentas que suportam as melhores práticas para prototipagem, validação, controle de versão, compartilhamento, reutilização e implantação rápida de modelos na produção.

Com a disposição em camadas de storage do Hadoop, você pode armazenar arquivos com diferentes tipos de storage de acordo com uma política de storage. Os tipos de armazenamento incluem hot cold , , warm, all_ssd, one_ssd lazy_persist e .

Realizamos a validação da disposição em camadas de storage do Hadoop em uma controladora de storage do NetApp AFF e em uma controladora de storage e-Series com unidades SSD e SAS com políticas de storage diferentes. O cluster do Spark com AFF-A800 tem quatro nós de trabalho de computação, enquanto o cluster com e-Series tem oito. Isso é principalmente para comparar o desempenho de unidades de estado sólido (SSDs) em comparação com discos de disco rígido (HDDs).

A figura a seguir mostra o desempenho das soluções NetApp para um SSD Hadoop.

Quando você precisar de mais poder de computação de um cluster Hadoop em uma solução AFF, você pode adicionar nós de dados com um número apropriado de controladores de armazenamento. A NetApp recomenda começar com quatro nós de dados por array de controlador de storage e aumentar o número para oito nós de dados por controlador de storage, dependendo das características do workload.

AFF e FAS são perfeitos para análises no local. Com base nos requisitos de computação, você pode adicionar gerenciadores de nós e operações sem interrupções permitem adicionar um controlador de armazenamento sob demanda sem tempo de inatividade. Oferecemos recursos avançados com AFF e FAS, como suporte de Mídia NVMe, eficiência garantida, redução de dados, QOS, análise preditiva, disposição em camadas na nuvem, replicação, implantação de nuvem e segurança. Para ajudar os clientes a atender aos requisitos, o NetApp oferece recursos como análise do sistema de arquivos, cotas e balanceamento de carga on-box sem custos adicionais de licença. O NetApp tem melhor desempenho no número de trabalhos simultâneos, menor latência, operações mais simples e maior taxa de transferência de gigabytes por segundo do que nossos concorrentes. Além disso, o NetApp Cloud Volumes ONTAP é executado nos três principais fornecedores de nuvem.

Os recursos de escalabilidade vertical permitem adicionar unidades de disco a sistemas AFF, FAS e e-Series quando você precisar de capacidade de storage adicional. Com o Cloud Volumes ONTAP, dimensionar o storage para o nível PB é uma combinação de dois fatores: Disposição em camadas dados pouco usados no storage de objetos a partir de storage de bloco e empilhamento de licenças Cloud Volumes ONTAP sem computação adicional.

Os sistemas NetApp dão suporte à maioria dos protocolos para implantações Hadoop, incluindo SAS, iSCSI, FCP, InfiniBand e NFS.

As soluções Hadoop descritas neste documento são compatíveis com o NetApp. Essas soluções também são certificadas com os principais distribuidores do Hadoop. Para obter informações, consulte o "Hortonworks" site, e a Cloudera "certificação" e "parceiro" sites.