Sistemas de armazenamento NetApp AFF A90 com NVIDIA DGX SuperPOD
Sugerir alterações
PDFs
Implantação de NVA
Os sistemas de armazenamento NVIDIA DGX SuperPOD com NetApp AFF A90 combinam o desempenho de computação de classe mundial dos sistemas NVIDIA DGX com os sistemas de armazenamento conectados à nuvem da NetApp para permitir fluxos de trabalho orientados por dados para aprendizado de máquina (ML), inteligência artificial (IA) e computação técnica de alto desempenho (HPC). Este documento descreve os detalhes de configuração e implantação para integrar sistemas de armazenamento AFF A90 na arquitetura DGX SuperPOD.
David Arnette, NetApp
Resumo do programa
O NVIDIA DGX SuperPOD™ oferece uma solução de data center de IA pronta para uso para organizações, fornecendo computação de classe mundial, ferramentas de software, experiência e inovação contínua. O DGX SuperPOD oferece tudo o que os clientes precisam para implantar cargas de trabalho de IA/ML e HPC com tempo mínimo de configuração e produtividade máxima. A Figura 1 mostra os componentes de alto nível do DGX SuperPOD.
Figura 1) NVIDIA DGX SuperPOD com sistemas de armazenamento NetApp AFF A90 .
O DGX SuperPOD oferece os seguintes benefícios:
-
Desempenho comprovado para cargas de trabalho de IA/ML e HPC
-
Pilha integrada de hardware e software, desde gerenciamento e monitoramento de infraestrutura até modelos e ferramentas de aprendizado profundo pré-criados.
-
Serviços dedicados, desde instalação e gerenciamento de infraestrutura até dimensionamento de cargas de trabalho e otimização de IA de produção.
Visão geral da solução
À medida que as organizações adotam iniciativas de inteligência artificial (IA) e aprendizado de máquina (ML), a demanda por soluções de infraestrutura robustas, escaláveis e eficientes nunca foi tão grande. No centro dessas iniciativas está o desafio de gerenciar e treinar modelos de IA cada vez mais complexos, garantindo ao mesmo tempo a segurança dos dados, a acessibilidade e a otimização dos recursos.
Esta solução oferece os seguintes benefícios principais:
-
Escalabilidade
-
Gerenciamento e acesso a dados
-
Segurança
Tecnologia de soluções
O NVIDIA DGX SuperPOD inclui os servidores, a rede e o armazenamento necessários para oferecer desempenho comprovado para cargas de trabalho de IA exigentes. Os sistemas NVIDIA DGX™ H200 e B200 fornecem poder de computação de classe mundial, e os switches de rede NVIDIA Quantum InfiniBand e Spectrum™ Ethernet oferecem latência ultrabaixa e desempenho de rede líder do setor. Com a adição dos recursos líderes do setor de gerenciamento de dados e desempenho do armazenamento NetApp ONTAP , os clientes podem entregar iniciativas de IA/ML mais rapidamente e com menos migração de dados e sobrecarga administrativa. Para obter mais informações sobre os componentes específicos desta solução, consulte ohttps://www.netapp.com/pdf.html?item=/media/125003-nva-1175-design-superpod-a90.pdf["GUIA DE DESIGN DO NVA-1175"] e " Arquitetura de referência NVIDIA DGX SuperPOD " documentação.
Resumo do caso de uso
O NVIDIA DGX SuperPOD foi projetado para atender aos requisitos de desempenho e escala das cargas de trabalho mais exigentes.
Esta solução se aplica aos seguintes casos de uso:
-
Aprendizado de máquina em grande escala usando ferramentas analíticas tradicionais.
-
Treinamento de modelos de inteligência artificial para modelos de grande linguagem, visão computacional/classificação de imagens, detecção de fraudes e inúmeros outros casos de uso.
-
Computação de alto desempenho, como análise sísmica, dinâmica de fluidos computacional e visualização em larga escala.
Requisitos de tecnologia
O DGX SuperPOD é baseado no conceito de uma Unidade Escalável (SU) que inclui todos os componentes necessários para fornecer a conectividade e o desempenho necessários e eliminar quaisquer gargalos na infraestrutura. Os clientes podem começar com uma ou várias SUs e adicionar SUs adicionais conforme necessário para atender às suas necessidades. Para mais informações, consulte o " Arquitetura de referência NVIDIA DGX SuperPOD " . Este documento descreve os componentes de armazenamento e a configuração de uma única SU.
Requisitos de hardware
A Tabela 1 lista os componentes de hardware necessários para implementar os componentes de armazenamento para 1SU. Consulte o Apêndice A para peças e quantidades específicas para Unidades Escaláveis de 1 a 4.
Tabela 1) Requisitos de hardware.
| Hardware | Quantidade |
|---|---|
Sistema de armazenamento NetApp AFF A90 |
4 |
Switch de interconexão de cluster de armazenamento NetApp |
2 |
NVIDIA 800 GB → 4 cabos divisores de 200 Gb |
12 |
Requisitos de software
A Tabela 2 lista os componentes mínimos de software e versões necessárias para integrar o sistema de armazenamento AFF A90 com o DGX SuperPOD. O DGX SuperPOD também envolve outros componentes de software que não estão listados aqui. Por favor, consulte ohttps://docs.nvidia.com/dgx-superpod/release-notes/latest/10-24-11.html["Notas de lançamento do DGX SuperPOD"] para obter detalhes completos.
Tabela 2) Requisitos de software.
| Software | Versão |
|---|---|
NetApp ONTAP |
9.16.1 ou superior |
Gerenciador NVIDIA BaseCommand |
10.24.11 ou superior |
Sistema operacional NVIDIA DGX |
6.3.1 ou superior |
Driver NVIDIA OFED |
MLNX_OFED_LINUX-23.10.3.2.0 LTS ou superior |
NVIDIA Cumulus OS |
5,10 ou superior |
Procedimentos de implantação
A integração do armazenamento NetApp ONTAP com o DGX SuperPOD envolve as seguintes tarefas:
-
Configuração de rede para sistemas de armazenamento NetApp AFF A90 com RoCE
-
Instalação e configuração do sistema de armazenamento
-
Configuração do cliente DGX com o NVIDIA Base Command™ Manager
Instalação e configuração do sistema de armazenamento
Preparação do local e instalação básica
A preparação do local e a instalação básica do cluster de armazenamento AFF A90 serão realizadas pela NetApp Professional Services para todas as implantações do DGX SuperPOD como parte do serviço de implantação padrão. O NetApp PS confirmará se as condições do local são apropriadas para a instalação e instalará o hardware nos racks designados. Eles também conectarão as conexões de rede OOB e concluirão a configuração básica do cluster usando informações de rede fornecidas pelo cliente. Apêndice A – Lista de materiais e elevações de rack inclui elevações de rack padrão para referência. Para obter mais informações sobre a instalação do A90, consulte o " Documentação de instalação de hardware do AFF A90 " .
Após a conclusão da implantação padrão, o NetApp PS concluirá a configuração avançada da solução de armazenamento usando os procedimentos abaixo, incluindo a integração com o Base Command Manager para conectividade e ajuste do cliente.
Cabeamento do sistema de armazenamento para a estrutura de armazenamento DGX SuperPOD
O sistema de armazenamento AFF A90 é conectado aos switches leaf de estrutura de armazenamento usando quatro portas Ethernet de 200 Gb por controlador, com duas conexões para cada switch. As portas de switch de 800 Gb nos switches NVIDIA Spectrum SN5600 são divididas em 4 portas de 200 Gb usando as configurações apropriadas de DAC ou divisor óptico listadas no Apêndice A. As portas individuais de cada porta de switch são distribuídas pelo controlador de armazenamento para eliminar pontos únicos de falha. A Figura 2 abaixo mostra o cabeamento para as conexões da estrutura de armazenamento:
Figura 2) Cabeamento de rede de armazenamento.
Cabeamento do sistema de armazenamento para a rede em banda DGX SuperPOD
O NetApp ONTAP inclui recursos de multilocação líderes do setor que permitem que ele opere como um sistema de armazenamento de alto desempenho na arquitetura DGX SuperPOD e também ofereça suporte a diretórios pessoais, compartilhamentos de arquivos em grupo e artefatos de cluster do Base Command Manager. Para uso na rede em banda, cada controlador AFF A90 é conectado aos switches de rede em banda com uma conexão Ethernet de 200 Gb por controlador, e as portas são configuradas em uma configuração LACP MLAG. A Figura 3 abaixo mostra o cabeamento do sistema de armazenamento para as redes in-band e OOB.
Figura 3) Cabeamento de rede dentro da banda e OOB.
Configurar o ONTAP para DGX SuperPOD
Esta solução utiliza várias Máquinas Virtuais de Armazenamento (SVM) para hospedar volumes para acesso de armazenamento de alto desempenho, bem como diretórios pessoais de usuários e outros artefatos de cluster em uma SVM de gerenciamento. Cada SVM é configurado com interfaces de rede nas redes de armazenamento ou em banda e volumes FlexGroup para armazenamento de dados. Para garantir o desempenho do Data SVM, uma política de QoS de armazenamento é implementada. Para obter mais informações sobre FlexGroups, máquinas virtuais de armazenamento e recursos de QoS ONTAP , consulte o " Documentação ONTAP " .
Configurar armazenamento base
Configurar um único agregado em cada controlador
aggr create -node <node> -aggregate <node>_data01 -diskcount <47> -maxraidsize 24Repita as etapas acima para cada nó no cluster.
Configurar ifgrps em cada controlador para rede em banda
net port ifgrp create -node <node> -ifgrp a1a -mode multimode
-distr-function port
net port ifgrp add-port -node <node> -ifgrp a1a -ports
<node>:e2a,<node>:e2bRepita as etapas acima para cada nó no cluster.
Configurar portas físicas para RoCE
Habilitar o NFS sobre RDMA requer configuração para garantir que o tráfego de rede seja marcado adequadamente no cliente e no servidor e, então, seja manipulado adequadamente pela rede usando RDMA sobre Ethernet Convergente (RoCE). Isso inclui configurar o Controle de Fluxo de Prioridade (PFC) e configurar a fila CoS do PFC a ser usada. O NetApp ONTAP também configura automaticamente o código DSCP 26 para alinhar com a configuração de QoS da rede quando os comandos abaixo são executados.
network port modify -node * -port e6* -flowcontrol-admin pfc
-pfc-queues-admin 3
network port modify -node * -port e11* -flowcontrol-admin pfc
-pfc-queues-admin 3Criar domínios de transmissão
broadcast-domain create -broadcast-domain in-band -mtu 9000 -ports
ntapa90_spod-01:a1a,ntapa90_spod-02:a1a,ntapa90_spod-03:a1a,ntapa90_spod-04:a1a,ntapa90_spod-05:a1a,
ntapa90_spod-06:a1a,ntapa90_spod-07:a1a,ntapa90_spod-08:a1a
broadcast-domain create -broadcast-domain vlan401 -mtu 9000 -ports
ntapa90_spod-01:e6a,ntapa90_spod-01:e6b,ntapa90_spod-02:e6a,ntapa90_spod-02:e6b,ntapa90_spod-03:e6a,ntapa90_spod-03:e6b,ntapa90_spod-04:e6a,ntapa90_spod-04:e6b,ntapa90_spod-05:e6a,ntapa90_spod-05:e6b,ntapa90_spod-06:e6a,ntapa90_spod-06:e6b,ntapa90_spod-07:e6a,ntapa90_spod-07:e6b,ntapa90_spod-08:e6a,ntapa90_spod-08:e6b
broadcast-domain create -broadcast-domain vlan402 -mtu 9000 -ports
ntapa90_spod-01:e11a,ntapa90_spod-01:e11b,ntapa90_spod-02:e11a,ntapa90_spod-02:e11b,ntapa90_spod-03:e11a,ntapa90_spod-03:e11b,ntapa90_spod-04:e11a,ntapa90_spod-04:e11b,ntapa90_spod-05:e11a,ntapa90_spod-05:e11b,ntapa90_spod-06:e11a,ntapa90_spod-06:e11b,ntapa90_spod-07:e11a,ntapa90_spod-07:e11b,ntapa90_spod-08:e11a,ntapa90_spod-08:e11bCriar SVM de gerenciamento
Criar e configurar o Management SVM
vserver create -vserver spod_mgmt
vserver modify -vserver spod_mgmt -aggr-list
ntapa90_spod-01_data01,ntapa90_spod-02_data01,
ntapa90_spod-03_data01,ntapa90_spod-04_data01,
ntapa90_spod-05_data01,ntapa90_spod-06_data01,
ntapa90_spod-07_data01,ntapa90_spod-08_data01Configurar o serviço NFS no SVM de gerenciamento
nfs create -vserver spod_mgmt -v3 enabled -v4.1 enabled -v4.1-pnfs
enabled -tcp-max-xfer-size 262144 -v4.1-trunking enabled
set advanced
nfs modify -vserver spod_mgmt -v3-64bit-identifiers enabled
-v4.x-session-num-slots 1024Crie sub-redes IP para interfaces de rede em banda
network subnet create -subnet-name inband -broadcast-domain in-band
-subnet xxx.xxx.xxx.0/24 -gateway xxx.xxx.xxx.x -ip-ranges
xxx.xxx.xxx.xx-xxx.xxx.xxx.xxxObservação: as informações de sub-rede IP devem ser fornecidas pelo cliente no momento da implantação para integração nas redes existentes do cliente.
Crie interfaces de rede em cada nó para SVM em banda
net int create -vserver spod_mgmt -lif inband_lif1 -home-node
ntapa90_spod-01 -home-port a1a -subnet_name inbandRepita as etapas acima para cada nó no cluster.
Criar volumes FlexGroup para o Management SVM
vol create -vserver spod_mgmt -volume home -size 10T -auto-provision-as
flexgroup -junction-path /home
vol create -vserver spod_mgmt -volume cm -size 10T -auto-provision-as
flexgroup -junction-path /cmCriar política de exportação para o Management SVM
export-policy rule create -vserver spod_mgmt -policy default
-client-match XXX.XXX.XXX.XXX -rorule sys -rwrule sys -superuser sysObservação: as informações de sub-rede IP devem ser fornecidas pelo cliente no momento da implantação para integração nas redes existentes do cliente.
Criar SVM de dados
Criar e configurar o Data SVM
vserver create -vserver spod_data
vserver modify -vserver spod_data -aggr-list
ntapa90_spod-01_data01,ntapa90_spod-02_data01,
ntapa90_spod-03_data01,ntapa90_spod-04_data01,
ntapa90_spod-05_data01,ntapa90_spod-06_data01,
ntapa90_spod-07_data01,ntapa90_spod-08_data01Configurar o serviço NFS no Data SVM com RDMA habilitado
nfs create -vserver spod_data -v3 enabled -v4.1 enabled -v4.1-pnfs
enabled -tcp-max-xfer-size 262144 -v4.1-trunking enabled -rdma enabled
set advanced
nfs modify -vserver spod_data -v3-64bit-identifiers enabled
-v4.x-session-num-slots 1024Criar sub-redes IP para interfaces de rede Data SVM
network subnet create -subnet-name vlan401 -broadcast-domain vlan401
-subnet 100.127.124.0/24 -ip-ranges 100.127.124.4-100.127.124.254
network subnet create -subnet-name vlan402 -broadcast-domain vlan402
-subnet 100.127.252.0/24 -ip-ranges 100.127.252.4-100.127.252.254Crie interfaces de rede em cada nó para Data SVM
net int create -vserver spod_data -lif data_lif1 -home-node
ntapa90_spod-01 -home-port e6a -subnet_name vlan401 -failover-policy
sfo-partner-only
net int create -vserver spod_data -lif data_lif2 -home-node
ntapa90_spod-01 -home-port e6b -subnet_name vlan401
net int create -vserver spod_data -lif data_lif3 -home-node
ntapa90_spod-01 -home-port e11a -subnet_name vlan402
net int create -vserver spod_data -lif data_lif4 -home-node
ntapa90_spod-01 -home-port e11b -subnet_name vlan402Repita as etapas acima para cada nó no cluster.
Configurar interfaces de rede Data SVM para RDMA
net int modify -vserver spod_data -lif * -rdma-protocols roceCriar política de exportação em dados SVM
export-policy rule create -vserver spod_data -policy default
-client-match 100.127.0.0/16 -rorule sys -rwrule sys -superuser sysCrie rotas estáticas no SVM de dados
route add -vserver spod_data -destination 100.127.0.0/17 -gateway
100.127.124.1 -metric 20
route add -vserver spod_data -destination 100.127.0.0/17 -gateway
100.127.252.1 -metric 30
route add -vserver spod_data -destination 100.127.128.0/17 -gateway
100.127.252.1 -metric 20
route add -vserver spod_data -destination 100.127.128.0/17 -gateway
100.127.124.1 -metric 30Criar volume FlexGroup com GDD para Data SVM
A Distribuição Granular de Dados (GDD) permite que grandes arquivos de dados sejam distribuídos entre vários volumes e controladores constituintes do FlexGroup para permitir desempenho máximo para cargas de trabalho de arquivo único. A NetApp recomenda habilitar o GDD em volumes de dados para todas as implantações do DGX SuperPOD.
set adv
vol create -vserver spod-data -volume spod_data -size 100T -aggr-list
ntapa90_spod-01_data01,ntapa90_spod-02_data01,
ntapa90_spod-03_data01,ntapa90_spod-04_data01,
ntapa90_spod-05_data01,ntapa90_spod-06_data01,
ntapa90_spod-07_data01,ntapa90_spod-08_data01 -aggr-multiplier 16
-granular-data advanced -junction-path /spod_data Desabilitar eficiência de armazenamento para volume de dados primário
eficiência de volume desligada -vserver spod_data -volume spod_data
Crie uma política mínima de QoS para SVM de dados
qos policy-group create -policy-group spod_qos -vserver spod_data
-min-throughput 62GB/s -is-shared trueAplicar política de QoS para SVM de dados
Volume modify -vserver spod_data -volume spod_data -qos-policy-group
spod_qosConfiguração do servidor DGX com NVIDIA Base Command Manager
Para preparar os clientes DGX para usar o sistema de armazenamento AFF A90 , conclua as seguintes tarefas. Este processo pressupõe que as interfaces de rede e rotas estáticas para a estrutura de armazenamento já foram configuradas nos nós do sistema DGX. As seguintes tarefas serão concluídas pela NetApp Professional Services como parte do processo de configuração avançada.
Configurar a imagem do servidor DGX com os parâmetros de kernel necessários e outras configurações
O NetApp ONTAP usa protocolos NFS padrão do setor e não exige a instalação de nenhum software adicional nos sistemas DGX. Para fornecer desempenho ideal dos sistemas clientes, são necessárias várias modificações na imagem do sistema DGX. Ambas as etapas a seguir são executadas após entrar no modo chroot da imagem do BCM usando o comando abaixo:
cm-chroot-sw-img /cm/images/<image>Configurar as configurações de memória virtual do sistema em /etc/sysctl.conf
A configuração padrão do sistema Linux fornece configurações de memória virtual que podem não necessariamente proporcionar um desempenho ideal. No caso de sistemas DGX B200 com 2 TB de RAM, as configurações padrão permitem 40 GB de espaço de buffer, o que cria padrões de E/S inconsistentes e permite que o cliente sobrecarregue o sistema de armazenamento ao esvaziar o buffer. As configurações abaixo limitam o espaço do buffer do cliente a 5 GB e forçam a liberação com mais frequência para criar um fluxo de E/S consistente que não sobrecarregue o sistema de armazenamento.
Após entrar no modo chroot da imagem, edite o arquivo /etc/sysctl.s/90-cm-sysctl.conf e adicione as seguintes linhas:
vm.dirty_ratio=0 #controls max host RAM used for buffering as a
percentage of total RAM, when this limit is reached all applications
must flush buffers to continue
vm.dirty_background_ratio=0 #controls low-watermark threshold to start
background flushing as a percentage of total RAM
vm.dirty_bytes=5368709120 #controls max host RAM used for buffering as
an absolute value (note _ratio above only accepts integers and the value
we need is <1% of total RAM (2TB))
vm.dirty_background_bytes=2147483648 #controls low-watermark threshold
to start background flushing as an absolute value
vm.dirty_expire_centisecs = 300 #controls how long data remains in
buffer pages before being marked dirty
vm.dirty_writeback_centisecs = 100 #controls how frequently the flushing
process wakes up to flush dirty buffersSalve e feche o arquivo /etc/sysctl.conf.
Configure outras configurações do sistema com um script que é executado após a reinicialização
Algumas configurações exigem que o sistema operacional esteja totalmente online para serem executadas e não são persistentes após uma reinicialização. Para executar essas configurações em um ambiente do Base Command Manager, crie um arquivo /root/ntap_dgx_config.sh e insira as seguintes linhas:
#!/bin/bash
##The commands below are platform-specific based.
##For H100/H200 systems use the following variables
## NIC1_ethname= enp170s0f0np0
## NIC1_pciname=aa:00.0
## NCI1_mlxname=mlx5_7
## NIC1_ethname= enp41s0f0np0
## NIC1_pciname=29:00.0
## NCI1_mlxname=mlx5_1
##For B200 systems use the following variables
NIC1_ethname=enp170s0f0np0
NIC1_pciname=aa:00.0
NCI1_mlxname=mlx5_11
NIC2_ethname=enp41s0f0np0
NIC2_pciname=29:00.0
NCI2_mlxname=mlx5_5
mstconfig -y -d $\{NIC1_pciname} set ADVANCED_PCI_SETTINGS=1
NUM_OF_VFS=0
mstconfig -y -d $\{NIC2_pciname} set ADVANCED_PCI_SETTINGS=1
NUM_OF_VFS=0
setpci -s $\{NIC1_pciname} 68.W=5957
setpci -s $\{NIC2_pciname} 68.W=5957
ethtool -G $\{NIC1_ethname} rx 8192 tx 8192
ethtool -G $\{NIC2_ethname} rx 8192 tx 8192
mlnx_qos -i $\{NIC1_ethname} --pfc 0,0,0,1,0,0,0,0 --trust=dscp
mlnx_qos -i $\{NIC2_ethname} --pfc 0,0,0,1,0,0,0,0 --trust=dscp
echo 106 > /sys/class/infiniband/$\{NIC1_mlxname}/tc/1/traffic_class
echo 106 > /sys/class/infiniband/$\{NIC2_mlxname}/tc/1/traffic_classSalve e feche o arquivo. Altere as permissões do arquivo para que ele seja executável:
chmod 755 /root/ntap_dgx_config.shCrie uma tarefa cron que será executada pelo root na inicialização editando a seguinte linha:
@reboot /root/ntap_dgx_config.shVeja o arquivo crontab de exemplo abaixo:
# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').
#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command
@reboot /home/ntap_dgx_config.shSaia do modo chroot da imagem BCM digitando exit ou Ctrl-D.
Configurar a categoria DGX do BaseCommand Manager para pontos de montagem do cliente
Para configurar a montagem dos clientes DGX no sistema de armazenamento AFF A90 , a categoria de cliente BCM usada pelos sistemas DGX deve ser modificada para incluir as informações e opções relevantes. As etapas abaixo descrevem como configurar o ponto de montagem do NFS.
cmsh
category ; use category <category>; fsmounts
add superpod
set device 100.127.124.4:/superpod
set mountpoint /mnt/superpod
set filesystem nfs
set mountoptions
vers=4.1,proto=rdma,max_connect=16,write=eager,rsize=262144,wsize=262144
commitConclusão
O NVIDIA DGX SuperPOD com sistemas de armazenamento NetApp * AFF A90 * representa um avanço significativo em soluções de infraestrutura de IA. Ao abordar os principais desafios em torno de segurança, gerenciamento de dados, utilização de recursos e escalabilidade, ele permite que as organizações acelerem suas iniciativas de IA, mantendo a eficiência operacional, a proteção de dados e a colaboração. A abordagem integrada da solução elimina gargalos comuns em pipelines de desenvolvimento de IA, permitindo que cientistas e engenheiros de dados se concentrem na inovação em vez do gerenciamento de infraestrutura.
Onde encontrar informações adicionais
Para saber mais sobre as informações descritas neste documento, revise os seguintes documentos e/ou sites:
-
"Guia de design de sistemas de armazenamento NVA-1175 NVIDIA DGX SuperPOD com NetApp AFF A90"
-
" Instalação e manutenção de sistemas de armazenamento AFF da NetApp "
-
"O que é pNFS"(documento antigo com ótimas informações sobre pNFS)
Apêndice A: Lista de materiais e elevações de rack
Lista de materiais
A Tabela 3 mostra o número da peça e as quantidades dos componentes NetApp necessários para implantar o armazenamento para uma, duas, três e quatro unidades escaláveis.
Tabela 3) BOM da NetApp para 1, 2, 3 e 4 SU.
| Papel # | Item | Quantidade para 1SU | Quantidade para 2SU | Quantidade para 3SU | Quantidade para 4SU |
|---|---|---|---|---|---|
AFF-A90A-100-C |
Sistema de armazenamento AFF A90 |
4 |
8 |
12 |
16 |
X4025A-2-A-C |
Pacote de unidade de 2x7,6 TB |
48 |
96 |
144 |
192 |
X50131A-C |
Módulo IO, 2PT, 100/200/400GbE |
24 |
48 |
96 |
128 |
X50130A-C |
Módulo IO, 2PT, 100GbE |
16 |
32 |
48 |
64 |
X-02659-00 |
Kit, 4 postes, furo quadrado ou redondo, trilho de 24" a 32" |
4 |
8 |
12 |
16 |
X1558A-R6 |
Cabo de alimentação, embutido no gabinete, 48 pol., + C13-C14, 10 A/250 V |
20 |
40 |
60 |
80 |
X190200-CS |
Interruptor de cluster, N9336C 36Pt PTSX10/25/40/100G |
2 |
4 |
6 |
8 |
X66211A-2 |
Cabo, 100GbE, QSFP28-QSFP28, Cu, 2m |
16 |
32 |
48 |
64 |
X66211A-05 |
Cabo, 100GbE, QSFP28-QSFP28, Cu, 0,5m |
4 |
8 |
12 |
16 |
X6561-R6 |
Cabo, Ethernet, CAT6, RJ45, 5m |
18 |
34 |
50 |
66 |
A Tabela 4 mostra o número da peça e a quantidade de cabos NVIDIA necessários para conectar os sistemas de armazenamento AFF A90 aos switches SN5600 nas redes de armazenamento de alto desempenho e em banda.
Tabela 4) Cabos NVIDIA necessários para conectar sistemas de armazenamento AFF A90 aos switches SN5600 em redes de armazenamento de alto desempenho e em banda.
| Papel # | Item | Quantidade para 1SU | Quantidade para 2SU | Quantidade para 3SU | Quantidade para 4SU |
|---|---|---|---|---|---|
MCP7Y40-N003 |
DAC 3m 26ga 2x400G para 4x200G OSFP para 4xQSFP112 |
12 |
24 |
36 |
48 |
OU |
|||||
MMS4X00-NS |
Transceptor multimodo OSFP 2x400G 2xSR4 de porta dupla MPO-12/APC duplo |
12 |
24 |
36 |
48 |
MFP7E20-N0XX |
Divisores de Fibra Multimodo 400G→ 2x200G XX = 03, 05, 07, 10, 15, 20, 30, 40, 50) metros |
24 |
48 |
96 |
128 |
MMA1Z00-NS400 |
Transceptor QSFP112 multimodo SR4 de porta única 400G MPO-12/APC |
48 |
96 |
144 |
192 |
Elevações de rack
As Figuras 4-6 mostram exemplos de elevações de rack para 1-4 SU.
Figura 4) Elevações de rack para 1 SU e 2 SU.
Figura 5) Elevações de rack para 3 SU.
Figura 6) Elevações de rack para 4 SU.
