Con el rendimiento informático comprobado de NVIDIA DGX SuperPOD combinado con las capacidades de seguridad de datos, gobernanza de datos y multiinquilino líderes en la industria de NetApp, los clientes pueden implementar la infraestructura más eficiente y ágil para cargas de trabajo de próxima generación. Este documento describe la arquitectura de alto nivel y las características clave que ayudan a los clientes a lograr un tiempo de comercialización más rápido y un retorno de la inversión más rápido para las iniciativas de IA/ML.

NVIDIA DGX SuperPOD ofrece una solución de centro de datos de IA llave en mano para organizaciones, que brinda sin inconvenientes computación de primer nivel, herramientas de software, experiencia e innovación continua. DGX SuperPOD ofrece todo lo que los clientes necesitan para implementar cargas de trabajo de IA/ML y HPC con un tiempo de configuración mínimo y una productividad máxima. La figura 1 muestra los componentes de alto nivel de DGX SuperPOD.

Figura 1) NVIDIA DGX SuperPOD con sistemas de almacenamiento NetApp AFF A90 .

DGX SuperPOD ofrece los siguientes beneficios:

A medida que las organizaciones adoptan iniciativas de inteligencia artificial (IA) y aprendizaje automático (ML), la demanda de soluciones de infraestructura sólidas, escalables y eficientes nunca ha sido mayor. En el centro de estas iniciativas se encuentra el desafío de gestionar y entrenar modelos de IA cada vez más complejos, garantizando al mismo tiempo la seguridad de los datos, la accesibilidad y la optimización de los recursos.  La evolución de la IA agente y los requisitos de entrenamiento de modelos sofisticados han creado demandas sin precedentes en la infraestructura computacional y de almacenamiento. Las organizaciones ahora deben manejar conjuntos de datos masivos, soportar múltiples cargas de trabajo de capacitación simultáneas y mantener entornos informáticos de alto rendimiento al tiempo que garantizan la protección de datos y el cumplimiento normativo. Las soluciones de infraestructura tradicionales a menudo tienen dificultades para satisfacer estas demandas, lo que genera ineficiencias operativas y demoras en la obtención de valor para los proyectos de IA.  Esta solución ofrece los siguientes beneficios clave:

DGX SuperPOD se basa en el concepto de una Unidad Escalable (SU) que incluye 32 sistemas DGX B200 y todos los demás componentes necesarios para brindar la conectividad requerida y eliminar cualquier cuello de botella de rendimiento en la infraestructura. Los clientes pueden comenzar con una o varias SU y agregar SU adicionales según sea necesario para satisfacer sus requisitos. Este documento describe la configuración de almacenamiento para una sola SU y la Tabla 1 muestra los componentes necesarios para configuraciones más grandes.

La arquitectura de referencia DGX SuperPOD incluye múltiples redes y el sistema de almacenamiento AFF A90 está conectado a varias de ellas. Para obtener más información sobre la red DGX SuperPOD, consultehttps://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-b200/latest/abstract.html[" Arquitectura de referencia NVIDIA DGX SuperPOD "] .

Para esta solución, la estructura de almacenamiento de alto rendimiento es una red Ethernet basada en el conmutador NVIDIA Spectrum SN5600 con 64 puertos de 800 Gb en una configuración Spine/Leaf. La red en banda proporciona acceso de usuario para otras funciones tales como directorios de inicio y recursos compartidos de archivos generales y también se basa en conmutadores SN5600, y la red fuera de banda (OOB) es para acceso de administrador de sistema a nivel de dispositivo mediante conmutadores SN2201.

La estructura de almacenamiento es una arquitectura de hoja-columna donde los sistemas DGX se conectan a un par de conmutadores de hoja y el sistema de almacenamiento se conecta a otro par de conmutadores de hoja. Se utilizan varios puertos de 800 Gb para conectar cada conmutador de hoja a un par de conmutadores de columna, lo que crea múltiples rutas de gran ancho de banda a través de la red para lograr un rendimiento agregado y redundancia. Para la conectividad con el sistema de almacenamiento AFF A90 , cada puerto de 800 Gb se divide en cuatro puertos de 200 Gb mediante los cables de conexión ópticos o de cobre adecuados. Para ayudar a los clientes a montar el sistema de almacenamiento con NFS sobre RDMA, la estructura de almacenamiento está configurada para RDMA sobre Ethernet convergente (RoCE), lo que garantiza la entrega de paquetes sin pérdidas en la red. La figura 3 muestra la topología de la red de almacenamiento de esta solución.

Figura 3) Topología de la estructura de almacenamiento.

El sistema de almacenamiento NetApp AFF A90 es un chasis 4RU que contiene 2 controladores que funcionan como socios de alta disponibilidad (par HA) entre sí, con hasta 48 discos de estado sólido (SSD) de formato de 2,5 pulgadas. Cada controlador está conectado a ambos conmutadores de almacenamiento SN5600 mediante cuatro conexiones Ethernet de 200 Gb y hay 2 interfaces IP lógicas en cada puerto físico. El clúster de almacenamiento admite NFS v4.1 con NFS paralelo (pNFS) que permite a los clientes establecer conexiones directamente con cada controlador del clúster. Además, el enlace troncal de sesión combina el rendimiento de múltiples interfaces físicas en una sola sesión, lo que permite que incluso las cargas de trabajo de un solo subproceso accedan a un mayor ancho de banda de red del que es posible con la conexión Ethernet tradicional. La combinación de todas estas características con RDMA permite que el sistema de almacenamiento AFF A90 brinde baja latencia y alto rendimiento que se escala de manera lineal para cargas de trabajo que aprovechan NVIDIA GPUDirect Storage™.

Para la conectividad a la red en banda, los controladores AFF A90 tienen interfaces Ethernet de 200 Gb adicionales configuradas en un grupo de interfaces LACP que proporcionan servicios generales NFS v3 y v4, así como acceso S3 a sistemas de archivos compartidos si se desea. Todos los controladores y conmutadores del clúster de almacenamiento están conectados a la red OOB para acceso administrativo remoto.

Para permitir un alto rendimiento y escalabilidad, los controladores de almacenamiento forman un clúster de almacenamiento que permite combinar todo el rendimiento y la capacidad de los nodos del clúster en un único espacio de nombres llamado FlexGroup con datos distribuidos entre los discos de cada nodo del clúster. Con la nueva función de distribución de datos granulares lanzada en ONTAP 9.16.1, los archivos individuales se separan y distribuyen en FlexGroup para permitir los niveles más altos de rendimiento para cargas de trabajo de un solo archivo. La figura 4 a continuación muestra cómo pNFS y el enlace troncal de sesiones NFS funcionan junto con FlexGroups y GDD para permitir el acceso paralelo a archivos grandes aprovechando cada interfaz de red y disco en el sistema de almacenamiento.

Figura 4) pNFS, troncalización de sesiones, FlexGroups y GDD.

Esta solución aprovecha múltiples máquinas virtuales de almacenamiento (SVM) para alojar volúmenes tanto para acceso de almacenamiento de alto rendimiento como para directorios de inicio de usuarios y otros artefactos del clúster en una SVM de administración. Cada SVM está configurado con interfaces de red y volúmenes FlexGroup y se implementa una política de QoS para garantizar el rendimiento del SVM de datos. Para obtener más información sobre FlexGroups, máquinas virtuales de almacenamiento y capacidades de QoS de ONTAP , consulte "Documentación de ONTAP " .

Esta solución de almacenamiento fue validada en múltiples etapas por NetApp y NVIDIA para garantizar que el rendimiento y la escalabilidad cumplan con los requisitos de NVIDIA DGX SuperPOD. La configuración se validó utilizando una combinación de cargas de trabajo sintéticas y cargas de trabajo ML/DL del mundo real para verificar tanto el máximo rendimiento como la interoperabilidad de las aplicaciones. La Tabla 3 a continuación proporciona ejemplos de cargas de trabajo típicas y sus requisitos de datos que se ven comúnmente en las implementaciones de DGX SuperPOD.

Tabla 3) Ejemplos de carga de trabajo de SuperPOD.

La Tabla 4 muestra pautas de rendimiento para las cargas de trabajo de ejemplo anteriores. Estos valores representan el rendimiento de almacenamiento que pueden generar estas cargas de trabajo en condiciones ideales.

Tabla 4) Pautas de rendimiento del DGX SuperPOD.

El NVIDIA DGX SuperPOD con sistemas de almacenamiento NetApp * AFF A90 * representa un avance significativo en las soluciones de infraestructura de IA. Al abordar desafíos clave en torno a la seguridad, la gestión de datos, la utilización de recursos y la escalabilidad, permite a las organizaciones acelerar sus iniciativas de IA mientras mantienen la eficiencia operativa, la protección de datos y la colaboración. El enfoque integrado de la solución elimina los cuellos de botella comunes en los procesos de desarrollo de IA, lo que permite a los científicos e ingenieros de datos centrarse en la innovación en lugar de en la gestión de la infraestructura.

Para obtener más información sobre la información que se describe en este documento, revise los siguientes documentos y/o sitios web: