Com o desempenho de computação comprovado do NVIDIA DGX SuperPOD combinado com os recursos de segurança de dados, governança de dados e multilocação líderes do setor da NetApp, os clientes podem implantar a infraestrutura mais eficiente e ágil para cargas de trabalho de última geração. Este documento descreve a arquitetura de alto nível e os principais recursos que ajudam os clientes a entregar tempo de colocação no mercado mais rápido e retorno sobre o investimento para iniciativas de IA/ML.

O NVIDIA DGX SuperPOD oferece uma solução de data center de IA pronta para uso para organizações, fornecendo computação de classe mundial, ferramentas de software, experiência e inovação contínua. O DGX SuperPOD oferece tudo o que os clientes precisam para implantar cargas de trabalho de IA/ML e HPC com tempo mínimo de configuração e produtividade máxima. A Figura 1 mostra os componentes de alto nível do DGX SuperPOD.

Figura 1) NVIDIA DGX SuperPOD com sistemas de armazenamento NetApp AFF A90 .

O DGX SuperPOD oferece os seguintes benefícios:

À medida que as organizações adotam iniciativas de inteligência artificial (IA) e aprendizado de máquina (ML), a demanda por soluções de infraestrutura robustas, escaláveis e eficientes nunca foi tão grande. No centro dessas iniciativas está o desafio de gerenciar e treinar modelos de IA cada vez mais complexos, garantindo ao mesmo tempo a segurança dos dados, a acessibilidade e a otimização dos recursos.  A evolução da IA de agente e os requisitos sofisticados de treinamento de modelos criaram demandas sem precedentes na infraestrutura computacional e de armazenamento. As organizações agora precisam lidar com grandes conjuntos de dados, dar suporte a diversas cargas de trabalho de treinamento simultâneas e manter ambientes de computação de alto desempenho, garantindo ao mesmo tempo a proteção de dados e a conformidade regulatória. Soluções de infraestrutura tradicionais muitas vezes têm dificuldade para atender a essas demandas, o que leva a ineficiências operacionais e atraso no tempo de retorno do investimento para projetos de IA.  Esta solução oferece os seguintes benefícios principais:

O DGX SuperPOD é baseado no conceito de uma Unidade Escalável (SU) que inclui 32 sistemas DGX B200 e todos os outros componentes necessários para fornecer a conectividade necessária e eliminar quaisquer gargalos de desempenho na infraestrutura. Os clientes podem começar com uma ou várias SUs e adicionar SUs adicionais conforme necessário para atender às suas necessidades. Este documento descreve a configuração de armazenamento para uma única SU, e a Tabela 1 mostra os componentes necessários para configurações maiores.

A arquitetura de referência do DGX SuperPOD inclui várias redes, e o sistema de armazenamento AFF A90 está conectado a várias delas. Para obter mais informações sobre a rede DGX SuperPOD, consulte ohttps://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-b200/latest/abstract.html[" Arquitetura de referência NVIDIA DGX SuperPOD "] .

Para esta solução, a estrutura de armazenamento de alto desempenho é uma rede Ethernet baseada no switch NVIDIA Spectrum SN5600 com 64 portas de 800 Gb em uma configuração Spine/Leaf. A rede em banda fornece acesso do usuário para outras funções, como diretórios pessoais e compartilhamentos gerais de arquivos, e também é baseada em switches SN5600, enquanto a rede fora de banda (OOB) é para acesso do administrador do sistema no nível do dispositivo usando switches SN2201.

A estrutura de armazenamento é uma arquitetura leaf-spine onde os sistemas DGX se conectam a um par de switches leaf e o sistema de armazenamento se conecta a outro par de switches leaf. Várias portas de 800 Gb são usadas para conectar cada switch leaf a um par de switches spine, criando vários caminhos de alta largura de banda pela rede para desempenho agregado e redundância. Para conectividade com o sistema de armazenamento AFF A90 , cada porta de 800 Gb é dividida em quatro portas de 200 Gb usando cabos de cobre ou ópticos apropriados. Para dar suporte aos clientes que montam o sistema de armazenamento com NFS sobre RDMA, a estrutura de armazenamento é configurada para RDMA sobre Ethernet convergente (RoCE), o que garante a entrega de pacotes sem perdas na rede. A Figura 3 mostra a topologia de rede de armazenamento desta solução.

Figura 3) Topologia de estrutura de armazenamento.

O sistema de armazenamento NetApp AFF A90 é um chassi 4RU contendo 2 controladores que operam como parceiros de alta disponibilidade (par HA) um para o outro, com até 48 discos de estado sólido (SSD) de formato de 2,5 polegadas. Cada controlador é conectado aos dois switches leaf de armazenamento SN5600 usando quatro conexões Ethernet de 200 Gb, e há duas interfaces IP lógicas em cada porta física. O cluster de armazenamento oferece suporte ao NFS v4.1 com NFS Paralelo (pNFS), que permite que os clientes estabeleçam conexões diretamente com cada controlador no cluster. Além disso, o entroncamento de sessão combina o desempenho de várias interfaces físicas em uma única sessão, permitindo que até mesmo cargas de trabalho de thread único acessem mais largura de banda de rede do que é possível com a vinculação Ethernet tradicional. A combinação de todos esses recursos com RDMA permite que o sistema de armazenamento AFF A90 ofereça baixa latência e alto rendimento que pode ser dimensionado linearmente para cargas de trabalho que utilizam o NVIDIA GPUDirect Storage™.

Para conectividade com a rede em banda, os controladores AFF A90 têm interfaces Ethernet adicionais de 200 Gb configuradas em um grupo de interface LACP, fornecendo serviços gerais NFS v3 e v4, bem como acesso S3 a sistemas de arquivos compartilhados, se desejado. Todos os controladores e switches do cluster de armazenamento são conectados à rede OOB para acesso administrativo remoto.

Para permitir alto desempenho e escalabilidade, os controladores de armazenamento formam um cluster de armazenamento que permite que todo o desempenho e capacidade dos nós do cluster sejam combinados em um único namespace chamado FlexGroup , com dados distribuídos entre os discos de cada nó do cluster. Com o novo recurso de Distribuição de Dados Granulares lançado no ONTAP 9.16.1, arquivos individuais são separados e distribuídos pelo FlexGroup para permitir os mais altos níveis de desempenho para cargas de trabalho de arquivo único. A Figura 4 abaixo mostra como o pNFS e o entroncamento de sessão NFS funcionam em conjunto com FlexGroups e GDD para permitir acesso paralelo a arquivos grandes, aproveitando todas as interfaces de rede e discos no sistema de armazenamento.

Figura 4) pNFS, entroncamento de sessão, FlexGroups e GDD.

Esta solução utiliza várias Máquinas Virtuais de Armazenamento (SVM) para hospedar volumes para acesso de armazenamento de alto desempenho, bem como diretórios pessoais de usuários e outros artefatos de cluster em uma SVM de gerenciamento. Cada SVM é configurado com interfaces de rede e volumes FlexGroup e a política de QoS é implementada para garantir o desempenho do SVM de dados. Para obter mais informações sobre FlexGroups, máquinas virtuais de armazenamento e recursos de QoS ONTAP , consulte o " Documentação ONTAP " .

Esta solução de armazenamento foi validada em vários estágios pela NetApp e pela NVIDIA para garantir que o desempenho e a escalabilidade atendam aos requisitos do NVIDIA DGX SuperPOD. A configuração foi validada usando uma combinação de cargas de trabalho sintéticas e cargas de trabalho de ML/DL do mundo real para verificar o desempenho máximo e a interoperabilidade do aplicativo. A Tabela 3 abaixo fornece exemplos de cargas de trabalho típicas e seus requisitos de dados que são comumente vistos em implantações do DGX SuperPOD.

Tabela 3) Exemplos de carga de trabalho do SuperPOD.

A Tabela 4 mostra diretrizes de desempenho para as cargas de trabalho de exemplo acima. Esses valores representam a taxa de transferência de armazenamento que pode ser gerada por essas cargas de trabalho em condições ideais.

Tabela 4) Diretrizes de desempenho do DGX SuperPOD.

O NVIDIA DGX SuperPOD com sistemas de armazenamento NetApp * AFF A90 * representa um avanço significativo em soluções de infraestrutura de IA. Ao abordar os principais desafios em torno de segurança, gerenciamento de dados, utilização de recursos e escalabilidade, ele permite que as organizações acelerem suas iniciativas de IA, mantendo a eficiência operacional, a proteção de dados e a colaboração. A abordagem integrada da solução elimina gargalos comuns em pipelines de desenvolvimento de IA, permitindo que cientistas e engenheiros de dados se concentrem na inovação em vez do gerenciamento de infraestrutura.

Para saber mais sobre as informações descritas neste documento, revise os seguintes documentos e/ou sites: