IA generativa y valor de NetApp
Sugerir cambios
PDF
La demanda de inteligencia artificial (IA) generativa está impulsando la disrupción en todos los sectores y mejorando la creatividad empresarial y la innovación de productos.
Autor: Sathish Thyagarajan, NetApp
Sinopsis
Muchas organizaciones usan la IA generativa para crear nuevas características de productos, mejorar la productividad de ingeniería y crear prototipos de aplicaciones impulsadas por IA que ofrezcan mejores resultados y experiencias de los consumidores. La IA generativa, como los Transformadores Generativos Pre-entrenados (GPT), utilizan redes neuronales para crear nuevo contenido, tan diverso como texto, audio y vídeo. Dada la escala extrema y los conjuntos de datos masivos que participan en los modelos de lenguaje grande (LLM), es crucial diseñar una infraestructura de IA robusta que aproveche las atractivas funciones de almacenamiento de datos de las opciones de puesta en marcha locales, híbridas y multicloud, y reducir los riesgos asociados a la movilidad de datos, la gobernanza y la protección de datos antes de que las empresas puedan diseñar soluciones de IA. En este documento se describen estas consideraciones y las capacidades de IA de NetApp® correspondientes que permiten una gestión de datos y un movimiento de datos sin interrupciones en la canalización de datos de IA para el entrenamiento, el reciclaje, el ajuste y la inferencia de modelos de IA generativos.
Resumen ejecutivo
Más recientemente, después del lanzamiento de ChatGPT, un spin-off de GPT-3 en noviembre de 2022, las nuevas herramientas de IA utilizadas para generar texto, código, imagen o incluso proteínas terapéuticas en respuesta a las indicaciones de los usuarios han ganado fama significativa. Esto indica que los usuarios pueden realizar una solicitud utilizando lenguaje natural y la IA interpretará y generará texto, como artículos de noticias o descripciones de productos que reflejen la solicitud del usuario o produzcan código, música, voz, efectos visuales y activos 3D mediante algoritmos entrenados en datos ya existentes. Como resultado, frases como la difusión estable, alucinaciones, ingeniería de avisos y alineación de valores están emergiendo rápidamente en el diseño de sistemas de IA. Estos modelos de aprendizaje automático (ML) autosupervisados o semisupervisados están cada vez más disponibles como modelos de base preformados (FM) a través de los proveedores de servicios cloud y otros proveedores de firma de IA, que están adoptando diversos establecimientos empresariales de diferentes sectores para una amplia gama de tareas descendentes de procesamiento del lenguaje natural (NLP). Como afirman firmas de analistas de investigación como McKinsey: “El impacto de la IA generativa en la productividad podría agregar billones de dólares en valor a la economía global”. Mientras que las empresas se están replanteando la IA como partners de pensamiento para los humanos y FMS se están ampliando a la vez a lo que las empresas e instituciones pueden hacer con la IA generativa, las oportunidades para gestionar volúmenes masivos de datos seguirán creciendo. Este documento presenta información introductoria sobre IA generativa y los conceptos de diseño con relación a las funcionalidades de NetApp que aportan valor a los clientes de NetApp, tanto en entornos híbridos como en las instalaciones o multicloud.
Por lo tanto, ¿qué es lo que los clientes utilizan NetApp en sus entornos de IA? NetApp ayuda a las organizaciones a satisfacer las complejidades creadas por el rápido crecimiento de datos y nube, la gestión de múltiples nubes y la adopción de tecnologías de nueva generación, como la IA. NetApp ha combinado varias funcionalidades en software de gestión inteligente de datos e infraestructuras de almacenamiento que han estado bien equilibradas con un alto rendimiento optimizado para cargas de trabajo de IA. Las soluciones de IA generativas como las LLM necesitan leer y procesar sus conjuntos de datos de origen desde el almacenamiento a la memoria numerosas veces para fomentar la inteligencia. NetApp ha sido una empresa líder en tecnologías de movilidad de datos, gobernanza de datos y seguridad de datos en el ecosistema del perímetro al núcleo y al cloud, sirviendo a los clientes empresariales a crear soluciones de IA a escala. NetApp, con una sólida red de partners ha ayudado a directores de datos, ingenieros de IA, arquitectos empresariales y científicos de datos en el diseño de una canalización de datos libre para la preparación, la protección de datos así como las responsabilidades estratégicas de gestión de datos de la formación e inferencia de modelos de IA, optimizando el rendimiento y la escalabilidad del ciclo de vida de la IA/ML. Tecnologías y capacidades de datos de NetApp, como NetApp® ONTAP AI® para la canalización de datos de aprendizaje profundo, NetApp® SnapMirror® para transportar datos de forma fluida y eficiente entre puntos finales de almacenamiento, y NetApp® FlexCache® para el renderizado en tiempo real Cuando el flujo de datos cambia de batch a tiempo real y la ingeniería de datos ocurre en un momento oportuno, aporta valor a la implementación de modelos de IA generativa en tiempo real. A medida que las empresas de todo tipo adoptan nuevas herramientas de IA, deben hacer frente a desafíos en materia de datos desde el perímetro hasta el centro de datos y el cloud que demandan soluciones de IA escalables, responsables y explicables. Como referente en datos para cloud híbrido y multicloud, NetApp se compromete a crear una red de partners y soluciones conjuntas que pueden ayudar en todos los aspectos de la construcción de una canalización de datos y lagos de datos para el entrenamiento de modelos de IA generativos (entrenamiento previo), el ajuste, la inferencia basada en el contexto y la supervisión del deterioro de modelos de las LL.
¿Qué es la IA generativa?
La IA generativa está cambiando la forma en que creamos contenido, generamos nuevos conceptos de diseño y exploramos composiciones novedosas. Ilustra los marcos de redes neuronales como la Red Adversario Generativa (GAN), los Autocodificadores Variacionales (VAE) y los Transformadores Generativos Pre-entrenados (GPT), que pueden generar contenido nuevo, como texto, código, imágenes, audio, vídeo, etc. y datos sintéticos. Los modelos basados en transformadores como Chat-GPT de OpenAI, Bard de Google, abrazar la FLORACIÓN DE Face y la llama de Meta han surgido como la tecnología fundamental que sustenta muchos avances en modelos lingüísticos grandes. Del mismo modo, Dall-E de OpenAI, Meta’s CM3leon y Google’s Imagen son ejemplos de modelos de difusión de texto a imagen que ofrecen a los clientes un grado de fotorealismo sin precedentes para crear imágenes nuevas y complejas desde cero o editar imágenes existentes para generar imágenes contextuales de alta calidad utilizando el aumento de conjuntos de datos y la síntesis de texto a imagen enlazando textuales y semántica visual. Los artistas digitales están empezando a aplicar una combinación de tecnologías de renderizado como Nerf (Neural Radiance Field) con IA generativa para convertir imágenes 2D estáticas en escenas 3D inmersivas. En general, las LLM se caracterizan ampliamente por cuatro parámetros: (1) Tamaño del modelo (normalmente en miles de millones de parámetros); (2) Tamaño del conjunto de datos de entrenamiento; (3) Costo de entrenamiento y (4) Rendimiento del modelo después del entrenamiento. Los LLMs también se dividen principalmente en tres arquitecturas de transformadores. (i) Modelos solo para codificadores. Por ejemplo, BERT (Google, 2018); (ii) Encoder-Decoder, por ejemplo, BART (Meta, 2020) y (iii) modelos solo Decoder. Por ejemplo, llama (Meta, 2023), Palm-E (Google, 2023). Según los requisitos del negocio, independientemente de la arquitectura que elija una compañía el número de parámetros del modelo (N) y el número de tokens (D) del conjunto de datos de entrenamiento generalmente determinan el coste base de entrenamiento (entrenamiento previo) o el ajuste de un LLM.
Casos prácticos empresariales y tareas de NLP descendentes
Las empresas de todos los sectores están descubriendo cada vez más potencial para que la IA extraiga y produzca nuevas formas de valor a partir de los datos existentes para operaciones empresariales, ventas, marketing y servicios legales. Según la inteligencia de mercado de IDC (International Data Corporation) sobre casos de uso e inversiones de IA generativa global, la gestión del conocimiento en el desarrollo de software y el diseño de productos será la más afectada, seguida de la creación de historias para el marketing y la generación de código para los desarrolladores. En el sector sanitario, las organizaciones de investigación clínica están abriendo nuevos caminos en la medicina. Los modelos preentrenados como ProteinBERT incorporan anotaciones de Ontología Genética (GO) para diseñar rápidamente estructuras de proteínas para medicamentos médicos, lo que representa un hito significativo en el descubrimiento de fármacos, la bioinformática y la biología molecular. Las empresas de biotecnología han iniciado ensayos en humanos para la medicina generalizada descubierta por IA, que tiene como objetivo tratar enfermedades como la fibrosis pulmonar (FPI), una enfermedad pulmonar que causa cicatrices irreversibles del tejido pulmonar.
Figura 1: Casos prácticos que impulsan la IA generativa
El aumento en la adopción de la automatización impulsado por la IA generativa también está cambiando el suministro y la demanda de las actividades del trabajo para muchas ocupaciones. Según McKinsey, el mercado laboral estadounidense (diagrama a continuación) ha pasado por una rápida transición, que solo puede continuar teniendo en cuenta el impacto de la IA.
Fuente: McKinsey & Company
Función del almacenamiento en IA generativa
Las LLMs dependen en gran medida del aprendizaje profundo, las GPU y la computación. Sin embargo, cuando el búfer de la GPU se llena, los datos deben escribirse rápidamente en el almacenamiento. Mientras que algunos modelos de IA son lo suficientemente pequeños para ejecutarse en la memoria, los LLM requieren un alto volumen de IOPS y un almacenamiento de alto rendimiento para proporcionar un acceso rápido a grandes conjuntos de datos, especialmente si se trata de miles de millones de tokens o millones de imágenes. Para un requisito de memoria de GPU típico de un LLM, la memoria necesaria para entrenar un modelo con 1 millones de parámetros podría llegar a 80GB @32-bit de precisión completa. En ese caso, la llama 2 de Meta, una familia de LLMs que varían en escala de 7 mil millones a 70 mil millones de parámetros, puede requerir 70x80, aprox 5600GB o 5,6TB GB de RAM de GPU. Además, la cantidad de memoria que necesita es directamente proporcional al número máximo de tokens que desea generar. Por ejemplo, si desea generar salidas de hasta 512 tokens (alrededor de 380 palabras), necesita "512MB". Puede parecer intrascendente, pero, si quieres correr lotes más grandes, comienza a sumar. Por lo tanto, lo hace muy caro para las organizaciones que entrenan o ajustan los LLM en la memoria, lo que convierte al almacenamiento en la piedra angular para la IA generativa.
Tres enfoques principales para LLMs
Para la mayoría de las empresas, basado en las tendencias actuales, el enfoque para implementar LLMs se puede condensar en 3 escenarios básicos. Como se describe en un reciente "“Harvard Business Review”" artículo: (1) Capacitación (pre-entrenamiento) Un LLM desde cero – costoso y requiere habilidades expertas de IA/ML; (2) Ajuste de un modelo de base con datos empresariales – complejos, pero factibles; (3) Uso de la generación aumentada de recuperación (RAG) para consultar repositorios de documentos, API y bases de datos vectoriales que contienen datos de la empresa. Cada uno de ellos tiene desventajas entre el esfuerzo, la velocidad de iteración, la rentabilidad y la precisión de los modelos en sus implementaciones, que se utilizan para resolver diferentes tipos de problemas (diagrama a continuación).
Figura 3: Tipos de problemas
Modelos de base
Un modelo de base (FM) también conocido como modelo base es un modelo de IA de gran tamaño (LLM) entrenado sobre grandes cantidades de datos sin etiquetar, utilizando la autosupervisión a escala y, por lo general, adaptado a una gran variedad de tareas posteriores del PLN. Dado que los datos de entrenamiento no son etiquetados por los humanos, el modelo emerge en lugar de ser explícitamente codificado. Esto significa que el modelo puede generar historias o una narrativa propia sin estar explícitamente programado para hacerlo. Por lo tanto, una característica importante de FM es la homogeneización, lo que significa que el mismo método se utiliza en muchos dominios. Sin embargo, con las técnicas de personalización y ajuste, los FMS integrados en los productos que aparecen en estos días no solo son buenos para generar texto, texto a imágenes y texto a código, sino también para explicar tareas específicas de dominio o depurar código. Por ejemplo, FMS como el Codex de OpenAI o el Code Llama de Meta pueden generar código en varios lenguajes de programación basados en descripciones de lenguaje natural de una tarea de programación. Estos modelos son competentes en más de una docena de lenguajes de programación, incluyendo Python, C#, JavaScript, Perl, Ruby, y SQL. Entienden la intención del usuario y generan código específico que logra la tarea deseada útil para el desarrollo de software, la optimización de código y la automatización de tareas de programación.
Ajuste fino, especificidad de dominio y nueva formación
Una de las prácticas comunes con la implementación de LLM después de la preparación de datos y el procesamiento previo de los datos es seleccionar un modelo previamente entrenado que se haya entrenado en un conjunto de datos grande y diverso. En el contexto del ajuste fino, puede tratarse de un modelo de lenguaje grande de código abierto como "Meta's Llama 2" entrenado en 70 000 millones de parámetros y 2 billones de tokens. Una vez seleccionado el modelo preentrenado, el siguiente paso es ajustarlo en los datos específicos del dominio. Esto implica ajustar los parámetros del modelo y entrenarlo en los nuevos datos para adaptarse a un dominio y tarea específicos. Por ejemplo, BloombergGPT, un LLM propietario entrenado en una amplia gama de datos financieros que sirven a la industria financiera. Los modelos específicos de dominio diseñados y entrenados para una tarea específica generalmente tienen mayor precisión y rendimiento dentro de su alcance, pero baja transferibilidad entre otras tareas o dominios. Cuando el entorno empresarial y los datos cambian durante un período, la precisión de predicción del FM podría comenzar a disminuir en comparación con su rendimiento durante las pruebas. Esto ocurre cuando resulta crucial volver a entrenar o ajustar el modelo. El reentrenamiento de modelos en IA/ML tradicional hace referencia a actualizar un modelo DE ML puesto en marcha con nuevos datos, por lo general se realizan para eliminar dos tipos de derivas que ocurren. (1) Derivación del concepto: Cuando el vínculo entre las variables de entrada y las variables de destino cambia con el tiempo, ya que la descripción de lo que queremos predecir los cambios, el modelo puede producir predicciones inexactas. (2) Derivación de datos: Se produce cuando las características de los datos de entrada cambian, como los cambios en los hábitos o el comportamiento del cliente a lo largo del tiempo y, por lo tanto, la incapacidad del modelo para responder a dichos cambios. De manera similar, la recapacitación se aplica a FMS/LLMs, sin embargo, puede ser mucho más costosa (en millones de dólares), por lo tanto, no es algo que la mayoría de las organizaciones puedan considerar. Está bajo investigación activa, todavía emergiendo en el reino de LLMOps. Por lo tanto, en lugar de volver a entrenarse, cuando se produce la decadencia de modelos en FMS ajustados, las empresas pueden optar por el ajuste de nuevo (mucho más barato) con un conjunto de datos más nuevo. Para una perspectiva de costes, a continuación se muestra un ejemplo de una tabla de precios de modelo de Azure-OpenAI Services. Para cada categoría de tareas, los clientes pueden ajustar y evaluar modelos en conjuntos de datos específicos.
Fuente: Microsoft Azure
Ingeniería de pedidos e inferencia
La ingeniería rápida se refiere a los métodos efectivos de cómo comunicarse con LLMs para realizar las tareas deseadas sin actualizar los pesos del modelo. Tan importante como el entrenamiento y el ajuste de los modelos de IA es para las aplicaciones de PLN, la inferencia es igualmente importante, cuando los modelos entrenados responden a las indicaciones de los usuarios. Los requisitos del sistema de inferencia suelen estar mucho más en el rendimiento de lectura del sistema de almacenamiento de IA que alimenta datos desde los LLM a las GPU, ya que necesitan poder aplicar miles de millones de parámetros del modelo almacenados para producir la mejor respuesta.
LLMOps, Model Monitoring y Vectorstores
Al igual que las operaciones tradicionales de aprendizaje automático (MLOps), las operaciones de modelos de lenguaje grande (LLMOps) también requieren la colaboración de científicos de datos e ingenieros de DevOps con herramientas y prácticas recomendadas para la gestión de LLM en entornos de producción. Sin embargo, el flujo de trabajo y la pila de tecnología para LLMs podrían variar de alguna manera. Por ejemplo, LLM Pipelines creados usando marcos como LangChain unen varias llamadas de API LLM a puntos finales de incrustación externos, como vectorstores o bases de datos vectoriales. El uso de un punto final de incrustación y un almacén de vectores para conectores descendentes (como una base de datos vectorial) representa un desarrollo significativo en la forma en que se almacenan y se accede a los datos. A diferencia de los modelos tradicionales DE ML que se desarrollan desde cero, las LLM a menudo dependen del aprendizaje de transferencia, ya que estos modelos comienzan con FMS que están ajustados con nuevos datos para mejorar el rendimiento en un dominio más específico. Por lo tanto, es crucial que LLMOps ofrezca las capacidades de gestión de riesgos y monitoreo de deterioro de modelos.
Riesgos y Ética en la Era de la IA Generativa
“ChatGPT – Es elegante, pero todavía arroja tonterías.”– MIT Tech Review. La basura en-basura, siempre ha sido el caso difícil con la informática. La única diferencia con la IA generativa es que destaca en hacer que la basura sea altamente creíble, lo que lleva a resultados imprecisos. Las LLMs son propensas a inventar hechos para adaptarse a la narrativa que está construyendo. Por lo tanto, las empresas que ven la IA generativa como una gran oportunidad para reducir sus costes con equivalentes de IA necesitan detectar de manera eficiente falsificaciones profundas, reducir los sesgos y reducir los riesgos para mantener los sistemas honestos y éticos. Una canalización de datos con flujo libre con una sólida infraestructura de IA que admita la movilidad de datos, la calidad de los datos, la gobernanza y la protección de datos a través de cifrado integral y barreras de IA es eminente en el diseño de modelos de IA generativos responsables y explicables.
Situación de cliente y NetApp
Figura 3: Aprendizaje automático/flujo de trabajo de modelos de lenguaje grande
*¿Estamos entrenando o ajustando? * La pregunta de si (a) entrenar un modelo LLM desde cero, ajustar un FM pre-entrenado, o usar RAG para recuperar datos de repositorios de documentos fuera de un modelo de base y aumentar las indicaciones, y (b) ya sea mediante el aprovechamiento de LLM de código abierto (por ejemplo, Llama 2) o FMS propietario (por ejemplo, ChatGPT, Bard, AWS Bedrock) es una decisión estratégica para las organizaciones. Cada enfoque tiene una compensación entre la rentabilidad, la gravedad de los datos, las operaciones, la precisión de los modelos y la gestión de LLMs.
NetApp como empresa adopta la IA internamente en su cultura de trabajo y en su enfoque del diseño de productos y los esfuerzos de ingeniería. Por ejemplo, la protección autónoma frente al ransomware de NetApp se crea con la IA y el aprendizaje automático. Proporciona la detección temprana de las anomalías en el sistema de archivos para ayudar a identificar las amenazas antes de que afecten a las operaciones. En segundo lugar, NetApp utiliza la IA predictiva para sus operaciones empresariales, como la previsión de ventas e inventario y los bots conversacionales, para ayudar a los clientes en los servicios de soporte de productos de centro de llamadas, especificaciones técnicas, garantía y manuales de servicio, etc. En tercer lugar, NetApp aporta valor al cliente a la canalización de datos de IA y al flujo de trabajo DE ML/LLM a través de productos y soluciones que sirven a los clientes que crean soluciones de IA predictivas como previsión de demanda, imágenes médicas, análisis de sentimientos, y soluciones de IA generativas como Gans para la detección de anomalías en imágenes industriales en el sector de fabricación y la detección de fraudes y lavado de dinero en servicios bancarios y financieros con productos y capacidades de NetApp como NetApp® ONTAP AI®, NetApp® SnapMirror® y NetApp® FlexCache®.
Funcionalidades de NetApp
El movimiento y la gestión de los datos en aplicaciones de IA generativa, como bot conversacional, generación de código, generación de imágenes o expresión de modelos genómicos, puede abarcar el perímetro, los centros de datos privados y el ecosistema multicloud híbrido. Por ejemplo, un robot de IA en tiempo real que ayuda a un pasajero a actualizar su boleto de avión a clase empresarial desde una aplicación de usuario final expuesta a través de API de modelos pre-entrenados como ChatGPT no puede lograr esa tarea por sí mismo, ya que la información del pasajero no está disponible públicamente en Internet. La API requiere acceso a la información personal del pasajero y a la información del boleto de la aerolínea que puede existir en un ecosistema híbrido o multicloud. Un escenario similar podría aplicarse a los científicos que comparten una molécula de fármaco y datos de pacientes a través de una aplicación de usuario final que utiliza LLMs para llevar a cabo ensayos clínicos en el descubrimiento de fármacos que involucran a instituciones de investigación biomédica de uno a varios. Los datos confidenciales que se pasan a FMS o LLMs pueden incluir información PII, información financiera, información de salud, datos biométricos, datos de ubicación, etc. datos de comunicaciones, comportamiento en línea e información legal. En tal caso de representación en tiempo real, ejecución rápida e inferencia periférica, hay movimiento de datos desde la aplicación de usuario final a extremos de almacenamiento a través de modelos LLM propios o de código abierto, hasta un centro de datos en las instalaciones o en plataformas de cloud público. En todos estos escenarios, la movilidad y la protección de datos son cruciales para las operaciones de IA que involucran LLM que dependen de grandes conjuntos de datos de entrenamiento y del movimiento de estos datos.
Figura 4: IA generativa: Canalización de datos de LLM
La cartera de infraestructura de almacenamiento, datos y servicios cloud de NetApp cuenta con la tecnología del software inteligente para la gestión de datos.
Preparación de datos: El primer pilar de la pila de tecnología LLM está en gran parte intacto de la pila de ML tradicional más antigua. El preprocesamiento de datos en la canalización de IA es necesario para normalizar y limpiar los datos antes del entrenamiento o ajuste. En este paso se incluyen conectores para ingerir datos dondequiera que estén en forma de un nivel Amazon S3 o en sistemas de almacenamiento en las instalaciones, como un almacén de archivos o de objetos como NetApp StorageGRID.
NetApp® ONTAP es la tecnología fundamental que sustenta las soluciones de almacenamiento críticas de NetApp en el centro de datos y la nube. ONTAP incluye varias funciones y funcionalidades de gestión y protección de datos, como la protección automática frente a ransomware contra ciberataques, funciones integradas de transporte de datos y funcionalidades de eficiencia del almacenamiento para una gama de arquitecturas en las instalaciones, híbridas y multiclouds en NAS, SAN, objetos, y las situaciones de almacenamiento definido por software (SDS) de las implementaciones de LLM.
NetApp® ONTAP AI® para el entrenamiento de modelos de aprendizaje profundo. NetApp® ONTAP® es compatible con NVIDIA GPU Direct Storage™ con el uso de NFS sobre RDMA para clientes de NetApp con el clúster de almacenamiento de ONTAP y nodos de computación NVIDIA DGX. Ofrece un rendimiento rentable para leer y procesar conjuntos de datos de origen desde el almacenamiento a la memoria numerosas veces para fomentar la inteligencia, lo que permite a las organizaciones formar, ajustar y escalar el acceso a las LLM.
NetApp® FlexCache® es una capacidad de almacenamiento en caché remoto que simplifica la distribución de archivos y almacena en caché solo los datos leídos activamente. Puede ser útil para la formación de LLM, reformaciones y ajustes precisos, lo que ofrece valor a los clientes con requisitos de negocio como la renderización en tiempo real e la inferencia de LLM.
NetApp® SnapMirror es una función de ONTAP que replica instantáneas de volumen entre dos sistemas ONTAP cualquiera. Esta función transfiere de forma óptima los datos que se encuentren en el perímetro a su centro de datos ubicado en las instalaciones o al cloud. SnapMirror puede utilizarse para mover datos de forma segura y eficiente entre instalaciones y clouds de proveedores a hiperescala, cuando los clientes quieran desarrollar una IA generativa en clouds con RAG que contenga datos empresariales. Transfiere eficientemente solo los cambios, ahorrando ancho de banda y acelerando la replicación, ofreciendo así funciones esenciales de movilidad de datos durante las operaciones de entrenamiento, re-entrenamiento y ajuste de FMS o LLM.
NetApp® SnapLock aporta capacidad de disco inmutable en los sistemas de almacenamiento basados en ONTAP para el control de versiones de conjuntos de datos. La arquitectura microcore está diseñada para proteger los datos de los clientes con el motor FPolicy™ Zero Trust. NetApp garantiza que los datos de los clientes estén disponibles al resistir los ataques de denegación de servicio (DoS) cuando un atacante interactúa con un LLM de una forma que consume particularmente recursos.
NetApp® Cloud Data Sense ayuda a identificar, mapear y clasificar la información personal presente en los conjuntos de datos empresariales, promulgar políticas, cumplir con los requisitos de privacidad en las instalaciones o en la nube, ayudar a mejorar la postura de seguridad y cumplir con las regulaciones.
Clasificación NetApp® BlueXP™, con tecnología Cloud Data Sense. Los clientes pueden escanear, analizar, categorizar y actuar automáticamente sobre los datos en todo el conjunto de datos, detectar riesgos de seguridad, optimizar el almacenamiento y acelerar las puestas en marcha de cloud. Combina servicios de datos y almacenamiento a través de su plano de control unificado, los clientes pueden utilizar instancias de GPU para computación y entornos de multicloud híbridos para la organización en niveles de almacenamiento frío, así como archivos y backups.
NetApp dualidad de archivo-objeto. NetApp ONTAP permite el acceso de protocolo doble para NFS y S3. Con esta solución, los clientes pueden acceder a los datos NFS desde los portátiles de Amazon AWS SageMaker a través de bloques de S3 TB desde NetApp Cloud Volumes ONTAP. Esto ofrece flexibilidad a los clientes que necesitan un acceso fácil a fuentes de datos heterogéneas con la capacidad de compartir datos desde NFS y S3. Por ejemplo, afinar FMS como los modelos de generación de texto Llama 2 de Meta en SageMaker con acceso a cubos de objetos de archivo.
El servicio NetApp® Cloud Sync ofrece una forma sencilla y segura de migrar datos a cualquier destino, en la nube o en las instalaciones. Cloud Sync transfiere y sincroniza sin problemas los datos entre el almacenamiento en las instalaciones o en el cloud, NAS y almacenes de objetos.
NetApp XCP es un software cliente que permite migraciones de datos de cualquiera a NetApp y de NetApp a NetApp rápidas y fiables. XCP también proporciona la capacidad de mover datos masivos de forma eficiente desde sistema de archivos Hadoop HDFS a NFS de ONTAP, S3 o StorageGRID, y los análisis de archivos XCP proporcionan visibilidad sobre el sistema de archivos.
NetApp® DataOps Toolkit es una biblioteca de Python que facilita a los científicos de datos, DevOps e ingenieros de datos la realización de varias tareas de gestión de datos, como el aprovisionamiento, la clonación o la captura casi instantánea de un volumen de datos o un espacio de trabajo JupyterLab respaldado por un almacenamiento NetApp escalable de alto rendimiento.
Seguridad de los productos de NetApp. Los LLMs pueden revelar inadvertidamente datos confidenciales en sus respuestas, por lo tanto, una preocupación para los CISO que estudian las vulnerabilidades asociadas con las aplicaciones de IA que aprovechan los LLMs. Como se describe en OWASP (Open Worldwide Application Security Project), los problemas de seguridad como el envenenamiento de datos, la fuga de datos, la denegación de servicio y las inyecciones rápidas dentro de LLMs pueden afectar a las empresas de la exposición de los datos al acceso no autorizado que presta servicios a los atacantes. Los requisitos de almacenamiento de datos deben incluir comprobaciones de la integridad y snapshots inmutables de datos estructurados, semiestructurados y no estructurados. Las copias Snapshot de NetApp y SnapLock se utilizan para el control de versiones de conjuntos de datos. Proporciona un estricto control de acceso basado en roles (RBAC), así como protocolos seguros y cifrado estándar del sector para proteger los datos en reposo y en tránsito. Cloud Insights y Cloud Data Sense juntos ofrecen funcionalidades para ayudarte a identificar de forma forense el origen de la amenaza y priorizar los datos que debes restaurar.
ONTAP AI con DGX BasePOD
La arquitectura de referencia de IA NetApp® ONTAP® con NVIDIA DGX BasePOD es una arquitectura escalable para cargas de trabajo de aprendizaje automático (ML) e inteligencia artificial (IA). Durante la crucial fase de formación de los LLM, suelen copiarse datos a intervalos periódicos del almacenamiento de datos al clúster de formación. Los servidores empleados en esta fase utilizan las GPU para paralelizar los cálculos, lo que crea un tremendo apetito de datos. Satisfacer las necesidades brutas de ancho de banda E/S es esencial para poder mantener un uso de GPU elevado.
ONTAP AI con NVIDIA AI Enterprise
NVIDIA AI Enterprise es una suite integral y nativa en el cloud de software de IA y análisis de datos optimizado, certificado y compatible con NVIDIA para ejecutarse en VMware vSphere con sistemas certificados por NVIDIA. Este software facilita la puesta en marcha, la gestión y el escalado simples y rápidos de las cargas de trabajo de IA en el entorno de cloud híbrido moderno. NVIDIA AI Enterprise, con la tecnología de NetApp y VMware, ofrece una excelente carga de trabajo de IA y gestión de datos en un paquete simplificado y conocido.
1P plataformas en la nube
Las ofertas de almacenamiento en la nube totalmente gestionadas están disponibles de forma nativa en Microsoft Azure como Azure NetApp Files (ANF), en AWS como Amazon FSx para NetApp ONTAP (FSx ONTAP) y en Google como Google Cloud NetApp Volumes (GNCV). 1P es un sistema de archivos gestionado y de alto rendimiento que permite a los clientes ejecutar cargas de trabajo de IA de alta disponibilidad con seguridad de datos mejorada en nubes públicas, para ajustar LLMs/FMS con plataformas de ML nativas en la nube como AWS SageMaker, Azure-OpenAI Services y Vertex AI de Google.
Suite de soluciones para partners de NetApp
Además de sus funciones, tecnologías y productos de datos básicos, NetApp también colabora estrechamente con una sólida red de partners de IA con el fin de ofrecer valor añadido a los clientes.
Las Guardrails de NVIDIA en los sistemas de IA sirven como salvaguardas para garantizar el uso ético y responsable de las tecnologías de IA. Los desarrolladores de IA pueden elegir definir el comportamiento de las aplicaciones impulsadas por LLM en temas específicos e impedir que participen en discusiones sobre temas no deseados. Guardrails, un kit de herramientas de código abierto, proporciona la capacidad de conectar un LLM a otros servicios, de forma fluida y segura para crear sistemas conversacionales LLM confiables, seguros y seguros.
Domino Data Lab proporciona herramientas versátiles de nivel empresarial para crear y producir IA generativa: Rápida, segura y económica, dondequiera que se encuentre en su viaje a IA. Con la plataforma Enterprise MLOps de Domino, los científicos de datos pueden utilizar las herramientas preferidas y todos sus datos, entrenar e implementar modelos fácilmente en cualquier lugar y administrar riesgos y de manera rentable, todo desde un único centro de control.
Modzy para Edge AI. NetApp® y Modzy se han asociado para ofrecer IA a escala a cualquier tipo de datos, incluidas imágenes, audio, texto y tablas. Modzy es una plataforma MLOps para implementar, integrar y ejecutar modelos de IA, ofrece a los científicos de datos las capacidades de supervisión de modelos, detección de deriva y explicabilidad, con una solución integrada para una inferencia LLM perfecta.
Run:AI y NetApp se han asociado para demostrar las capacidades únicas de la solución de IA de NetApp ONTAP con la plataforma de gestión de clústeres Run:AI para simplificar la orquestación de cargas de trabajo de IA. Divide y une automáticamente los recursos de GPU, diseñados para escalar sus canalizaciones de procesamiento de datos a cientos de máquinas con marcos de integración integrados para Spark, Ray, DASK y Rapids.
Conclusión
La IA generativa solo puede producir resultados efectivos cuando se entrena el modelo en remas de datos de calidad. Si bien las LLMs han logrado hitos notables, es fundamental reconocer sus limitaciones, desafíos de diseño y riesgos asociados con la movilidad de datos y la calidad de los datos. Las LLM dependen de conjuntos de datos de entrenamiento de gran tamaño y dispares procedentes de orígenes de datos heterogéneos. Los resultados inexactos o los resultados sesgados generados por los modelos pueden poner en peligro tanto a las empresas como a los consumidores. Estos riesgos pueden corresponder a las restricciones que surgen para las LLM potencialmente de los retos de gestión de datos asociados con la calidad, la seguridad de los datos y la movilidad de los mismos. NetApp ayuda a las organizaciones a cumplir las complejidades creadas por el rápido crecimiento de los datos, la movilidad de datos, la gestión multicloud y la adopción de IA. La infraestructura de IA a escala y la gestión de datos eficiente son cruciales para definir el éxito de las aplicaciones de IA como la IA generativa. Es crucial que los clientes cubran todas las situaciones de puesta en marcha sin comprometer su capacidad de expansión a medida que las empresas necesitan mantener el control de la rentabilidad, el gobierno de los datos y las prácticas éticas de IA. NetApp trabaja constantemente para ayudar a los clientes a simplificar y acelerar sus puestas en marcha de IA.