NVA-1173 NetApp AIPod com sistemas DGX da NVIDIA - componentes de software
Sugerir alterações
PDFs
Esta seção concentra-se nos componentes de software dos sistemas NetApp AIPod com NVIDIA DGX.
Software NVIDIA
Comando básico do NVIDIA
O comando base NVIDIA e o nº 8482 são responsáveis por todos os componentes básicos do DGX, permitindo que as organizações aproveitem o melhor da inovação de software da NVIDIA. As empresas podem aproveitar todo o potencial do investimento com uma plataforma comprovada que inclui orquestração de nível empresarial e gerenciamento de clusters, bibliotecas que aceleram a infraestrutura de computação, storage e rede e um sistema operacional (SO) otimizado para workloads de AI.
NVIDIA BaseCommand solution
Nuvem de GPU NVIDIA (NGC)
O NVIDIA fornece software para atender às necessidades de cientistas de dados, desenvolvedores e pesquisadores com vários níveis de experiência em IA. O software hospedado no NGC é submetido a verificações contra um conjunto agregado de vulnerabilidades e exposições comuns (CVEs), criptografia e chaves privadas. Ela foi testada e projetada para ser escalada para várias GPUs e, em muitos casos, para vários nós, garantindo que os usuários maximizem o investimento nos sistemas DGX.
NVIDIA GPU Cloud
NVIDIA AI empresarial
O NVIDIA AI Enterprise é a plataforma de software completa que leva a IA generativa ao seu alcance para todas as empresas, fornecendo o tempo de execução mais rápido e eficiente para modelos básicos de IA generativos otimizados para execução na plataforma DGX da NVIDIA. Com segurança, estabilidade e capacidade de gerenciamento de nível de produção, ele simplifica o desenvolvimento de soluções de IA generativas. O NVIDIA AI Enterprise está incluído no DGX BasePOD para que os desenvolvedores empresariais acessem modelos pré-treinados, estruturas otimizadas, microsserviços, bibliotecas aceleradas e suporte empresarial.
Software NetApp
NetApp ONTAP
O ONTAP 9, a última geração de software de gerenciamento de storage da NetApp, permite que as empresas modernizem a infraestrutura e façam a transição para um data center pronto para a nuvem. Com recursos de gerenciamento de dados líderes do setor, o ONTAP possibilita o gerenciamento e a proteção de dados com um único conjunto de ferramentas, independentemente de onde esses dados estejam. Também é possível mover dados livremente para onde for necessário: A borda, o centro ou a nuvem. O ONTAP 9 inclui vários recursos que simplificam o gerenciamento de dados, aceleram e protegem dados essenciais e habilitam recursos de infraestrutura de nova geração em arquiteturas de nuvem híbrida.
Acelere e proteja os dados
O ONTAP oferece níveis superiores de performance e proteção de dados, além de ampliar esses recursos das seguintes maneiras:
-
Desempenho e menor latência. O ONTAP oferece a maior taxa de transferência possível com a menor latência possível, incluindo suporte para armazenamento GPUDirect NVIDIA (GDS) usando NFS em RDMA, pNFS paralelo (pNFS) e entroncamento de sessão NFS.
-
Proteção de dados. O ONTAP oferece recursos de proteção de dados incorporados e a garantia antirransomware mais forte do setor, com gerenciamento comum em todas as plataformas.
-
Criptografia de volume NetApp (NVE). O ONTAP oferece criptografia nativa em nível de volume com suporte ao gerenciamento de chaves externas e integradas.
-
Alocação a vários clientes de storage e autenticação de vários fatores. O ONTAP permite o compartilhamento de recursos de infraestrutura com os mais altos níveis de segurança.
Simplificar o gerenciamento de dados
O gerenciamento de dados é crucial para as operações DE TI empresarial e para os cientistas de dados. Assim, os recursos apropriados são usados para aplicações de AI e para treinar conjuntos de dados de AI/ML. As seguintes informações adicionais sobre as tecnologias NetApp estão fora do escopo para essa validação, mas podem ser relevantes dependendo da sua implantação.
O software de gerenciamento de dados ONTAP inclui os seguintes recursos para otimizar e simplificar as operações e reduzir o custo total de operação:
-
Snapshots e clones permitem colaboração, experimentação paralela e governança de dados aprimorada para fluxos de TRABALHO DE ml/DL.
-
O SnapMirror permite a movimentação otimizada de dados em ambientes de nuvem híbrida e em vários locais, fornecendo dados onde e quando for necessário.
-
Compactação de dados in-line e deduplicação expandida. A compactação de dados reduz o espaço desperdiçado dentro de blocos de storage e a deduplicação aumenta significativamente a capacidade efetiva. Isso se aplica aos dados armazenados localmente e aos dados dispostos em camadas na nuvem.
-
Qualidade mínima, máxima e adaptativa do serviço (AQos). Controles granulares de qualidade do serviço (QoS) ajudam a manter os níveis de performance de aplicações críticas em ambientes altamente compartilhados.
-
NetApp FlexGroups permitem a distribuição de dados entre todos os nós no cluster de storage, fornecendo grande capacidade e desempenho para conjuntos de dados extremamente grandes.
-
NetApp FabricPool. Fornece disposição automática em camadas de dados inativos nas opções de storage de nuvem pública e privada, incluindo a solução de storage Amazon Web Services (AWS), Azure e NetApp StorageGRID. Para obter mais informações sobre o FabricPool, "TR-4598: Melhores práticas da FabricPool" consulte .
-
NetApp FlexCache. Fornece recursos de armazenamento em cache de volume remoto que simplificam a distribuição de arquivos, reduzem a latência da WAN e reduzem os custos de largura de banda da WAN. O FlexCache possibilita o desenvolvimento de produtos distribuídos em vários locais, bem como o acesso acelerado a conjuntos de dados corporativos de locais remotos.
Infraestrutura pronta para o futuro
O ONTAP ajuda a atender às necessidades empresariais exigentes e em constante mudança com os seguintes recursos:
-
Dimensionamento otimizado e operações sem interrupções. O ONTAP dá suporte à adição on-line de capacidade às controladoras atuais e aos clusters de escalabilidade horizontal. Os clientes podem fazer upgrade para as tecnologias mais recentes, como NVMe e FC de 32GB GB, sem interrupções ou migrações de dados caras.
-
Conexão com a nuvem. O ONTAP é o software de gerenciamento de storage conectado à nuvem, com opções para storage definido por software (ONTAP Select) e instâncias nativas da nuvem (Google Cloud NetApp volumes) em todas as nuvens públicas.
-
Integração com novas aplicações. A ONTAP oferece serviços de dados de nível empresarial para plataformas e aplicações de última geração, como veículos autônomos, cidades inteligentes e indústria 4,0, usando a mesma infraestrutura compatível com aplicações empresariais existentes.
Toolkit DataOps do NetApp
O Toolkit DataOps do NetApp é uma ferramenta baseada em Python que simplifica o gerenciamento de espaços de trabalho de desenvolvimento/treinamento e servidores de inferência apoiados por storage NetApp de alta performance e escalabilidade horizontal. O Toolkit DataOps pode operar como um utilitário autônomo e é ainda mais eficaz em ambientes Kubernetes que utilizam o NetApp Trident para automatizar operações de storage. Os principais recursos incluem:
-
Provisione rapidamente novos workspaces JupyterLab de alta capacidade, com suporte de storage NetApp de alto desempenho e escalabilidade horizontal.
-
Provisione rapidamente novas instâncias do servidor de inferência do NVIDIA Triton com suporte de storage NetApp de classe empresarial.
-
Clonagem quase instantânea de espaços de trabalho JupyterLab de alta capacidade para permitir experimentação ou iteração rápida.
-
Instantâneos quase instantâneos de espaços de trabalho JupyterLab de alta capacidade para backup e/ou rastreabilidade/Baselining.
-
Provisionamento, clonagem e snapshots quase instantâneos de volumes de dados de alta capacidade e alta performance.
NetApp Trident
O Trident é um orquestrador de storage de código aberto totalmente compatível para distribuições de contêineres e Kubernetes, incluindo Anthos. O Trident funciona com todo o portfólio de storage do NetApp, incluindo NetApp ONTAP, e também oferece suporte a conexões NFS, NVMe/TCP e iSCSI. O Trident acelera o fluxo de trabalho do DevOps, permitindo que os usuários finais provisionem e gerenciem o storage de seus sistemas de storage NetApp sem a intervenção de um administrador de storage.