Descripción general de la tecnología
Esta sección describe la base tecnológica de esta solución de IA.
Sistemas AFF de NetApp
Los sistemas de almacenamiento AFF de última generación de NetApp permiten implementaciones de inferencia de IA en el borde para satisfacer los requisitos de almacenamiento empresarial con un rendimiento líder en la industria, flexibilidad superior, integración en la nube y la mejor gestión de datos de su clase. Diseñados específicamente para flash, los sistemas AFF de NetApp ayudan a acelerar, administrar y proteger datos críticos para el negocio.
-
Los sistemas de almacenamiento AFF de nivel básico de NetApp se basan en hardware FAS2750 y medios flash SSD.
-
Dos controladores en configuración HA
Los sistemas de almacenamiento AFF C190 de nivel de entrada de NetApp admiten las siguientes características:
-
Un número máximo de unidades de 24 SSD de 960 GB
-
Dos configuraciones posibles:
-
Ethernet (10GbE): 4 puertos 10GBASE-T (RJ-45)
-
Unificado (16 Gb FC o 10 GbE): 4 puertos de adaptador de destino unificado 2 (UTA2)
-
-
Una capacidad efectiva máxima de 50,5 TB
Para cargas de trabajo NAS, un único sistema AFF C190 de nivel de entrada admite un rendimiento de 4,4 GBps para lecturas secuenciales y 230 000 IOPS para lecturas aleatorias pequeñas con latencias de 1 ms o menos.
NetApp AFF A220
NetApp también ofrece otros sistemas de almacenamiento de nivel de entrada que brindan mayor rendimiento y escalabilidad para implementaciones de mayor escala. Para cargas de trabajo NAS, un único sistema AFF A220 de nivel básico admite:
-
Rendimiento de 6,2 GBps para lecturas secuenciales
-
375 000 IOPS para pequeñas lecturas aleatorias con latencias de 1 ms o menos
-
Cantidad máxima de unidades: 144 SSD de 960 GB, 3,8 TB o 7,6 TB
-
AFF A220 escala a más de 1 PB de capacidad efectiva
NetApp AFF A250
-
La capacidad efectiva máxima es de 35 PB con una escalabilidad máxima de 2 a 24 nodos (12 pares de alta disponibilidad)
-
Proporciona un aumento de rendimiento ≥ 45% con respecto a AFF A220
-
440k IOPS lecturas aleatorias a 1 ms
-
Basado en la última versión de NetApp ONTAP : ONTAP 9.8
-
Aprovecha dos Ethernet de 25 Gb para alta disponibilidad e interconexión de clústeres
Sistemas EF de la serie E de NetApp
La serie EF es una familia de matrices de almacenamiento SAN all-flash de nivel básico y rango medio que pueden acelerar el acceso a sus datos y ayudarlo a obtener valor de ellos más rápidamente con el software SANtricity de NetApp . Estos sistemas ofrecen almacenamiento flash SAS y NVMe y le brindan IOPS asequibles a extremos, tiempos de respuesta inferiores a 100 microsegundos y un ancho de banda de hasta 44 GBps, lo que los hace ideales para cargas de trabajo mixtas y aplicaciones exigentes como inferencia de IA y computación de alto rendimiento (HPC).
La siguiente figura muestra el sistema de almacenamiento NetApp EF280.
NetApp EF280
-
Compatibilidad con FC de 32 Gb/16 Gb, iSCSI de 25 Gb/10 Gb y SAS de 12 Gb
-
La capacidad efectiva máxima es de 96 unidades que suman un total de 1,5 PB.
-
Rendimiento de 10 GBps (lecturas secuenciales)
-
300 000 IOP (lecturas aleatorias)
-
El NetApp EF280 es la matriz all-flash (AFA) de menor costo en la cartera de NetApp
NetApp EF300
-
24 unidades SSD NVMe para una capacidad total de 367 TB
-
Opciones de expansión que suman 240 HDD NL-SAS, 96 SSD SAS o una combinación
-
NVMe/IB de 100 Gb, NVMe/RoCE, iSER/IB y SRP/IB
-
NVME/FC de 32 Gb, FCP
-
iSCSI de 25 Gb
-
20 GBps (lecturas secuenciales)
-
670 000 IOP (lecturas aleatorias)
|
Para obtener más información, consulte la "Hoja de datos de las matrices all-flash EF600, F300, EF570 y EF280 de la serie EF de NetApp" . |
NetApp ONTAP 9
ONTAP 9.8.1, la última generación de software de gestión de almacenamiento de NetApp, permite a las empresas modernizar la infraestructura y realizar la transición a un centro de datos preparado para la nube. Al aprovechar las capacidades de gestión de datos líderes en la industria, ONTAP permite la gestión y protección de datos con un único conjunto de herramientas, independientemente de dónde residan esos datos. También puede mover datos libremente a donde sea necesario: el borde, el núcleo o la nube. ONTAP 9.8.1 incluye numerosas características que simplifican la gestión de datos, aceleran y protegen datos críticos y habilitan capacidades de infraestructura de próxima generación en arquitecturas de nube híbrida.
Simplificar la gestión de datos
La gestión de datos es crucial para las operaciones de TI de la empresa, de modo que se utilicen los recursos adecuados para las aplicaciones y los conjuntos de datos. ONTAP incluye las siguientes características para agilizar y simplificar las operaciones y reducir el costo total de operación:
-
Compactación de datos en línea y deduplicación ampliada. La compactación de datos reduce el espacio desperdiciado dentro de los bloques de almacenamiento y la deduplicación aumenta significativamente la capacidad efectiva. Esto se aplica a los datos almacenados localmente y a los datos almacenados en la nube.
-
Calidad de servicio mínima, máxima y adaptativa (AQoS). Los controles granulares de calidad de servicio (QoS) ayudan a mantener los niveles de rendimiento de las aplicaciones críticas en entornos altamente compartidos.
-
* NetApp FabricPool.* Esta función proporciona niveles automáticos de datos fríos en opciones de almacenamiento en la nube pública y privada, incluidas Amazon Web Services (AWS), Azure y la solución de almacenamiento NetApp StorageGRID . Para obtener más información sobre FabricPool, consulte"TR-4598" .
Acelerar y proteger los datos
ONTAP 9 ofrece niveles superiores de rendimiento y protección de datos y amplía estas capacidades de las siguientes maneras:
-
Rendimiento y menor latencia. ONTAP ofrece el mayor rendimiento posible con la menor latencia posible.
-
Protección de datos. ONTAP proporciona capacidades de protección de datos integradas con gestión común en todas las plataformas.
-
* Cifrado de volumen de NetApp (NVE).* ONTAP ofrece cifrado nativo a nivel de volumen con soporte para administración de claves interna y externa.
-
Autenticación multiinquilino y multifactor. ONTAP permite compartir recursos de infraestructura con los más altos niveles de seguridad.
Infraestructura a prueba de futuro
ONTAP 9 ayuda a satisfacer necesidades comerciales exigentes y en constante cambio con las siguientes características:
-
Escalamiento sin inconvenientes y operaciones sin interrupciones. ONTAP admite la incorporación de capacidad sin interrupciones a controladores existentes y a clústeres de escalamiento horizontal. Los clientes pueden actualizar a las últimas tecnologías, como NVMe y FC de 32 Gb, sin migraciones de datos costosas ni interrupciones.
-
Conexión a la nube. ONTAP es el software de gestión de almacenamiento más conectado a la nube, con opciones para almacenamiento definido por software (ONTAP Select) e instancias nativas de la nube (Google Cloud NetApp Volumes) en todas las nubes públicas.
-
Integración con aplicaciones emergentes. ONTAP ofrece servicios de datos de nivel empresarial para plataformas y aplicaciones de próxima generación, como vehículos autónomos, ciudades inteligentes e Industria 4.0, utilizando la misma infraestructura que respalda las aplicaciones empresariales existentes.
SANtricity de NetApp
NetApp SANtricity está diseñado para brindar rendimiento, confiabilidad y simplicidad líderes en la industria a las matrices flash híbridas Serie E y totalmente flash Serie EF. Logre el máximo rendimiento y utilización de sus matrices flash híbridas Serie E y matrices flash completas Serie EF para aplicaciones de carga de trabajo pesada, incluidos análisis de datos, videovigilancia y copias de seguridad y recuperación. Con SANtricity, se pueden realizar ajustes de configuración, mantenimiento, expansión de capacidad y otras tareas mientras el almacenamiento permanece en línea. SANtricity también ofrece protección de datos superior, monitoreo proactivo y seguridad certificada, todo accesible a través de la interfaz del Administrador del sistema incorporada y fácil de usar. Para obtener más información, consulte el "Hoja de datos del software SANtricity de la serie E de NetApp" .
Rendimiento optimizado
El software SANtricity optimizado para el rendimiento entrega datos (con altas IOP, alto rendimiento y baja latencia) a todas sus aplicaciones de análisis de datos, videovigilancia y respaldo. Acelere el rendimiento para aplicaciones de alta IOPS, baja latencia y aplicaciones de alto ancho de banda y alto rendimiento.
Maximizar el tiempo de actividad
Complete todas sus tareas de administración mientras el almacenamiento permanece en línea. Modifique configuraciones, realice mantenimiento o amplíe la capacidad sin interrumpir la E/S. Obtenga la mejor confiabilidad de su clase con funciones automatizadas, configuración en línea, tecnología de grupos de discos dinámicos (DPP) de última generación y más.
Descansa tranquilo
El software SANtricity ofrece protección de datos superior, monitoreo proactivo y seguridad certificada, todo a través de la interfaz System Manager incluida y fácil de usar. Simplifique las tareas de gestión del almacenamiento. Obtenga la flexibilidad que necesita para el ajuste avanzado de todos los sistemas de almacenamiento de la Serie E. Administre su sistema NetApp E-Series en cualquier momento y en cualquier lugar. Nuestra interfaz web incorporada optimiza su flujo de trabajo de gestión.
Trident de NetApp
"Trident"NetApp es un orquestador de almacenamiento dinámico de código abierto para Docker y Kubernetes que simplifica la creación, la administración y el consumo de almacenamiento persistente. Trident, una aplicación nativa de Kubernetes, se ejecuta directamente dentro de un clúster de Kubernetes. Trident permite a los clientes implementar sin problemas imágenes de contenedores DL en el almacenamiento de NetApp y brinda una experiencia de nivel empresarial para implementaciones de contenedores de IA. Los usuarios de Kubernetes (como desarrolladores de ML y científicos de datos) pueden crear, administrar y automatizar la orquestación y la clonación para aprovechar las capacidades avanzadas de administración de datos de NetApp impulsadas por la tecnología de NetApp .
Copia y sincronización de NetApp BlueXP
"Copia y sincronización de BlueXP"Es un servicio de NetApp para la sincronización de datos rápida y segura. Ya sea que necesite transferir archivos entre recursos compartidos de archivos NFS o SMB locales, NetApp StorageGRID, NetApp ONTAP S3, Google Cloud NetApp Volumes, Azure NetApp Files, Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS), Azure Blob, Google Cloud Storage o IBM Cloud Object Storage, BlueXP Copy and Sync mueve los archivos donde los necesita de forma rápida y segura. Una vez transferidos los datos, estarán totalmente disponibles para su uso tanto en el origen como en el destino. BlueXP Copy and Sync sincroniza continuamente los datos, según su programación predefinida, moviendo solo los deltas, por lo que se minimiza el tiempo y el dinero gastados en la replicación de datos. BlueXP Copy and Sync es una herramienta de software como servicio (SaaS) extremadamente sencilla de configurar y utilizar. Las transferencias de datos que se activan mediante BlueXP Copy and Sync se llevan a cabo a través de corredores de datos. Puede implementar agentes de datos de BlueXP Copy and Sync en AWS, Azure, Google Cloud Platform o en las instalaciones locales.
Servidores Lenovo ThinkSystem
Los servidores Lenovo ThinkSystem cuentan con hardware, software y servicios innovadores que resuelven los desafíos de los clientes hoy y ofrecen un enfoque de diseño modular, evolutivo y adaptado a sus necesidades para abordar los desafíos del mañana. Estos servidores aprovechan las mejores tecnologías estándar de la industria junto con las innovaciones diferenciadas de Lenovo para brindar la mayor flexibilidad posible en servidores x86.
Las principales ventajas de implementar servidores Lenovo ThinkSystem incluyen:
-
Diseños modulares altamente escalables para crecer con su negocio
-
Resiliencia líder en la industria para ahorrar horas de costosos tiempos de inactividad no programados
-
Tecnologías flash rápidas para latencias más bajas, tiempos de respuesta más rápidos y una gestión de datos más inteligente en tiempo real
En el área de IA, Lenovo está adoptando un enfoque práctico para ayudar a las empresas a comprender y adoptar los beneficios del aprendizaje automático y la IA para sus cargas de trabajo. Los clientes de Lenovo pueden explorar y evaluar las ofertas de IA de Lenovo en los Centros de innovación de IA de Lenovo para comprender completamente el valor para su caso de uso particular. Para mejorar el tiempo necesario para obtener valor, este enfoque centrado en el cliente ofrece a los clientes una prueba de concepto para plataformas de desarrollo de soluciones que están listas para usar y optimizadas para IA.
Servidor perimetral Lenovo ThinkSystem SE350
La computación de borde permite analizar los datos de los dispositivos IoT en el borde de la red antes de enviarlos al centro de datos o la nube. El Lenovo ThinkSystem SE350, como se muestra en la figura a continuación, está diseñado para los requisitos únicos de implementación en el borde, con un enfoque en la flexibilidad, la conectividad, la seguridad y la capacidad de administración remota en un formato compacto, reforzado y resistente al medio ambiente.
Con el procesador Intel Xeon D y la flexibilidad para soportar la aceleración de cargas de trabajo de IA de borde, el SE350 está diseñado específicamente para abordar el desafío de las implementaciones de servidores en una variedad de entornos fuera del centro de datos.
MLPerf
MLPerf es el conjunto de referencia líder en la industria para evaluar el rendimiento de la IA. Cubre muchas áreas de IA aplicada, incluida la clasificación de imágenes, la detección de objetos, las imágenes médicas y el procesamiento del lenguaje natural (PLN). En esta validación, utilizamos cargas de trabajo de Inferencia v0.7, que es la última iteración de Inferencia MLPerf al finalizar esta validación. El "Inferencia MLPerf v0.7" La suite incluye cuatro nuevos puntos de referencia para centros de datos y sistemas de borde:
-
BERT. Representación del codificador bidireccional de transformadores (BERT) optimizada para responder preguntas mediante el uso del conjunto de datos SQuAD.
-
DLRM. El modelo de recomendación de aprendizaje profundo (DLRM) es un modelo de personalización y recomendación que está entrenado para optimizar las tasas de clics (CTR).
-
3D U-Net. La arquitectura 3D U-Net está entrenada en el conjunto de datos de segmentación de tumores cerebrales (BraTS).
-
RNN-T. El transductor de red neuronal recurrente (RNN-T) es un modelo de reconocimiento automático de voz (ASR) que se entrena en un subconjunto de LibriSpeech. Los resultados y el código de inferencia de MLPerf están disponibles públicamente y se publican bajo licencia Apache. MLPerf Inference tiene una división Edge, que admite los siguientes escenarios:
-
Transmisión única. Este escenario imita sistemas donde la capacidad de respuesta es un factor crítico, como las consultas de IA sin conexión realizadas en teléfonos inteligentes. Las consultas individuales se envían al sistema y se registran los tiempos de respuesta. La latencia del percentil 90 de todas las respuestas se informa como resultado.
-
Multitransmisión. Este punto de referencia es para sistemas que procesan entradas de múltiples sensores. Durante la prueba, las consultas se envían en un intervalo de tiempo fijo. Se impone una restricción de QoS (latencia máxima permitida). La prueba informa la cantidad de transmisiones que el sistema puede procesar mientras cumple con la restricción de QoS.
-
Desconectado. Este es el escenario más simple que cubre aplicaciones de procesamiento por lotes y la métrica es el rendimiento en muestras por segundo. Todos los datos están disponibles para el sistema y el benchmark mide el tiempo que lleva procesar todas las muestras.
Lenovo ha publicado las puntuaciones de inferencia de MLPerf para SE350 con T4, el servidor utilizado en este documento. Vea los resultados en "https://mlperf.org/inference-results-0-7/" en la sección "Borde, División Cerrada" en la entrada #0.7-145.