NVA-1173 AIPod de NetApp con sistemas DGX de NVIDIA: Componentes de software
Sugerir cambios
PDF
En esta sección se centran en los componentes de software del AIPod de NetApp con sistemas DGX de NVIDIA.
Software NVIDIA
Comando base NVIDIA
NVIDIA Base Command™ impulsa todos los DGX BasePOD, lo que permite a las organizaciones aprovechar lo mejor de la innovación en software de NVIDIA. Las empresas pueden liberar todo el potencial de su inversión con una plataforma contrastada que incluye orquestación y gestión de clústeres de clase empresarial, bibliotecas que aceleran la computación, la infraestructura de redes y almacenamiento, y un sistema operativo (SO) optimizado para cargas de trabajo de IA.
Solución NVIDIA BaseCommand
GPU CLOUD DE NVIDIA (NGC)
NVIDIA NGC™ proporciona software para satisfacer las necesidades de los científicos de datos, desarrolladores e investigadores con varios niveles de experiencia en IA. El software alojado en NGC se somete a análisis contra un conjunto agregado de vulnerabilidades y exposiciones comunes (CVE), cripto y claves privadas. Está probado y diseñado para escalar a varias GPU y, en muchos casos, a varios nodos, garantizando que los usuarios maximicen la inversión en sistemas DGX.
NVIDIA GPU Cloud
IA Enterprise de NVIDIA
NVIDIA AI Enterprise es la plataforma de software integral que lleva la IA generativa al alcance de todas las empresas, lo que proporciona el tiempo de ejecución más rápido y eficiente para modelos de base de IA generativa optimizados para ejecutarse en la plataforma NVIDIA DGX. Gracias a la seguridad, estabilidad y capacidad de gestión del nivel de producción, se optimiza el desarrollo de soluciones de IA generativas. NVIDIA AI Enterprise se incluye en DGX BasePOD para que los desarrolladores empresariales accedan a modelos previamente entrenados, marcos optimizados, microservicios, bibliotecas aceleradas y soporte empresarial.
Software NetApp
ONTAP de NetApp
ONTAP 9, la última generación del software de gestión del almacenamiento de NetApp, permite a las empresas modernizar su infraestructura y realizar la transición a un centro de datos preparado para el cloud. ONTAP ofrece las mejores capacidades de gestión de datos y permite la gestión y protección de los datos con un solo conjunto de herramientas, sin importar dónde residan. También puede mover los datos libremente a donde sea necesario: El perímetro, el núcleo o el cloud. ONTAP 9 incluye numerosas funciones que simplifican la gestión de datos, aceleran y protegen los datos esenciales y permiten disfrutar de funcionalidades de infraestructura de nueva generación en arquitecturas de cloud híbrido.
Acelere y proteja sus datos
ONTAP no solo ofrece niveles de rendimiento y protección de datos superiores, sino que amplía estas capacidades de las siguientes maneras:
-
Rendimiento y menor latencia. ONTAP ofrece la mayor salida posible con la menor latencia posible, incluida la compatibilidad con el almacenamiento GPUDirect (GDS) de NVIDIA mediante NFS a través de RDMA, Parallel NFS (pNFS) y conexión de enlaces de sesiones NFS.
-
Protección de datos. ONTAP ofrece funcionalidades de protección de datos integradas y la mayor garantía antiransomware del sector, con una gestión común en todas las plataformas.
-
Cifrado de volúmenes de NetApp (NVE). ONTAP ofrece cifrado nativo en el nivel de volumen y permite la gestión de claves incorporada o externa.
-
Almacenamiento multi-tenancy y autenticación multifactor. ONTAP permite compartir recursos de infraestructura con los niveles más altos de seguridad.
Simplificar la gestión de los datos
La gestión de los datos es crucial para las operaciones TECNOLÓGICAS empresariales y los científicos de datos, para que se utilicen recursos apropiados para las aplicaciones de IA y para entrenar conjuntos de datos de IA/ML. La siguiente información adicional sobre las tecnologías de NetApp no está disponible para esta validación, pero puede ser relevante en función de su puesta en marcha.
El software para la gestión de datos ONTAP incluye las siguientes funciones para mejorar y simplificar las operaciones, y reducir el coste total de funcionamiento:
-
Las copias Snapshot y clones permiten la colaboración, la experimentación paralela y una gestión de datos mejorada para los flujos de trabajo DE ML/DL.
-
SnapMirror posibilita un movimiento fluido de datos en entornos de cloud híbrido y multisitio, para permitir que los datos se muevan cuando y donde sea necesario.
-
Compactación de datos inline y deduplicación expandida. La compactación de datos reduce el espacio perdido dentro de los bloques de almacenamiento, mientras que la deduplicación aumenta la capacidad efectiva de forma significativa. Esto es aplicable a los datos almacenados localmente y a los datos organizados en niveles en el cloud.
-
Calidad de servicio (AQoS) mínima, máxima y adaptativa. Los controles granulares de calidad de servicio (QoS) ayudan a mantener los niveles de rendimiento para aplicaciones críticas en entornos altamente compartidos.
-
Los FlexGroup de NetApp permiten distribuir datos a través de todos los nodos del clúster de almacenamiento, lo que proporciona una capacidad masiva y un mayor rendimiento para conjuntos de datos extremadamente grandes.
-
FabricPool de NetApp. Proporciona la organización automática en niveles de datos fríos en opciones de almacenamiento en cloud privado como Amazon Web Services (AWS), Azure y la solución de almacenamiento StorageGRID de NetApp. Para obtener más información sobre FabricPool, consulte "TR-4598: Prácticas recomendadas de FabricPool".
-
NetApp FlexCache Proporciona funcionalidades de almacenamiento en caché de volúmenes remotos que simplifican la distribución de archivos, reduce la latencia de redes WAN y reduce los costes de ancho de banda WAN. FlexCache permite el desarrollo de productos distribuidos en varios sitios, así como el acceso acelerado a los conjuntos de datos corporativos desde ubicaciones remotas.
Infraestructura preparada para futuros retos
ONTAP ayuda a satisfacer las exigentes y siempre cambiantes necesidades de su empresa con las siguientes funciones:
-
Escalado sencillo y funcionamiento sin interrupciones. ONTAP admite la adición en línea de capacidad a las controladoras existentes y a los clústeres de escalado horizontal. Los clientes pueden empezar a utilizar tecnologías punteras como NVMe y FC 32 GB, sin necesidad de realizar costosas migraciones de datos y sin cortes.
-
Conexión de cloud. ONTAP es el software de gestión de almacenamiento con mejor conexión de cloud e incluye opciones de almacenamiento definido por software (ONTAP Select) e instancias nativas del cloud (Google Cloud NetApp Volumes) en todos los clouds públicos.
-
Integración con aplicaciones emergentes. ONTAP ofrece servicios de datos de clase empresarial para plataformas y aplicaciones de última generación, como vehículos autónomos, ciudades inteligentes e Industria 4.0, utilizando la misma infraestructura que da soporte a las aplicaciones empresariales existentes.
Kit de herramientas de operaciones de datos de NetApp
El kit de herramientas DataOps de NetApp es una herramienta basada en Python que simplifica la gestión de espacios de trabajo de desarrollo/formación y servidores de inferencia respaldados por un almacenamiento de NetApp de escalado horizontal y de alto rendimiento. DataOps Toolkit puede funcionar como una utilidad independiente y es incluso más eficaz en entornos de Kubernetes que utilizan NetApp Trident para automatizar las operaciones de almacenamiento. Estas son algunas funcionalidades clave:
-
Aprovisione con rapidez nuevos espacios de trabajo de JuppyterLab de alta capacidad respaldados por el almacenamiento de NetApp de escalado horizontal y de alto rendimiento.
-
Aprovisione rápidamente nuevas instancias del servidor de inferencia de NVIDIA Triton, respaldadas por un almacenamiento empresarial de NetApp.
-
Clonación casi instantánea de espacios de trabajo JupyterLab de gran capacidad para permitir la experimentación o la iteración rápida.
-
Copias Snapshot casi instantáneas de espacios de trabajo de gran capacidad JupyterLab para backup o trazabilidad/creación de bases de datos.
-
Aprovisionamiento, clonado y copias Snapshot casi instantáneos de volúmenes de datos de gran capacidad y alto rendimiento.
Trident de NetApp
Trident es un orquestador de almacenamiento de código abierto totalmente compatible para contenedores y distribuciones de Kubernetes, entre los que se incluye Anthos. Trident funciona con toda la cartera de almacenamiento de NetApp, incluida NetApp ONTAP, y también es compatible con conexiones NFS, NVMe/TCP e iSCSI. Trident acelera el flujo de trabajo de DevOps al permitir que los usuarios finales aprovisionen y gestionen el almacenamiento desde sus sistemas de almacenamiento de NetApp sin necesidad de intervención del administrador de almacenamiento.