FAQ para NetApp AI Data Engine
Sugerir cambios
PDF
Este FAQ cubre preguntas comunes sobre NetApp AI Data Engine (AIDE), incluyendo su arquitectura, implementación, tipos de usuario, funciones técnicas, integración y licencias.
Conceptos básicos de AIDE
NetApp AI Data Engine (AIDE) es un servicio de datos de IA integrado en el almacenamiento que abarca todo el ciclo de vida de la IA, desde el descubrimiento y la preparación de datos sin procesar hasta el suministro de puntos finales de recuperación para potenciar la IA generativa (GenAI), Retrieval-Augmented Generation (RAG), agentic AI y fábricas de IA. AIDE automatiza la sincronización y la detección de cambios, proporcionando una vista unificada y actualizada de los datos seleccionados para el descubrimiento y la curación de datos.
AIDE se integra directamente con los sistemas de almacenamiento NetApp ONTAP para crear una vista global y estructurada de toda la propiedad de datos de NetApp con detección de cambios y sincronización automatizadas. AIDE proporciona vectorización en tiempo real con compresión y deduplicación, Data Guardrails condicionados por políticas e integración con herramientas de IA.
Usuarios y roles
Los usuarios principales de AIDE incluyen:
-
Administradores de almacenamiento ONTAP: gestionan la infraestructura, las necesidades de almacenamiento específicas de la IA, la seguridad y el cumplimiento.
-
Ingenieros de datos: gestionan el movimiento, la preparación y la integración de datos en distintos entornos.
-
Científicos de datos: Prepara y transforma los datos relevantes para el consumo de IA.
Requisitos y despliegue
AIDE ofrece dos opciones de despliegue:
-
Despliegue de nodos de cómputo de datos NetApp (DCN): AIDE se ejecuta en nodos de cómputo de datos proporcionados por NetApp con recursos de GPU integrados, ofreciendo todas las capacidades de AIDE, incluyendo metadatos, vectorización y endpoints RAG.
-
Software AIDE en servidores de terceros: El software AIDE se ejecuta en servidores RHEL 9.7 proporcionados por el cliente utilizando hardware de terceros compatible. Una implantación básica de Metadata Engine proporciona funciones de catalogación y descubrimiento de metadatos, pero no incluye funciones dependientes de GPU.
NetApp Las implementaciones de DCN requieren sistemas AFX (incluyendo un controlador AFX, un shelf de discos y un switch de red) y tres nodos de cómputo de datos NetApp. Se requieren al menos cuatro nodos de controlador AFX para asegurar alta disponibilidad y rendimiento.
El software AIDE con funcionalidades básicas de Metadata Engine desplegado en servidores de terceros requiere:
-
Tres servidores de proveedores compatibles adquiridos por el cliente
-
RHEL 9.7 LTS instalado en todos los servidores
-
Sistema de almacenamiento AFX con ONTAP 9.18.1 o posterior para almacenamiento persistente
La versión 1.0.0 de AIDE es compatible con el motor de metadatos básico en servidores de terceros en hardware proporcionado por el cliente. Las capacidades completas de AIDE con funciones de GPU requieren hardware NetApp DCN.
Se necesitan exactamente tres NetApp DCN.
El sistema operativo depende de tu tipo de despliegue:
-
NetApp DCN: pila de software proporcionada y gestionada por NetApp
-
Software AIDE con funcionalidad básica de Metadata Engine en servidores de terceros: Red Hat Enterprise Linux (RHEL) 9.7 LTS, instalado y gestionado por el cliente
No. AIDE requiere AFX para su despliegue. AIDE utiliza "Trident" para consumir los volúmenes AFX para almacenamiento interno (volúmenes persistentes). El cluster AFX que proporciona almacenamiento para AIDE puede ser peered con un sistema o cluster ONTAP 9. Utiliza cluster peering y SnapMirror para sincronizar los datos del cluster ONTAP remoto con el sistema AFX.
Gestión e interfaces
AIDE Console es una interfaz de gestión independiente que se ejecuta en las DCN de NetApp. Usas AIDE Console para gestionar los servicios de AIDE, como Data Guardrails y Data Curator. También puedes usar ONTAP System Manager para supervisar el clúster de AIDE.
Funciones y capacidades
AIDE ofrece cuatro funciones principales, cuya disponibilidad depende de tu tipo de implementación:
-
Genera automáticamente una vista estructurada, actualizada e interactiva de tus datos.
-
Trabaja con datos almacenados en ONTAP.
-
Permite a los profesionales de datos colaborar con los administradores de almacenamiento para encontrar y entender los datos.
-
Las API consultan los metadatos para proporcionar capacidades mientras reducen la carga de tráfico NFS en los sistemas de almacenamiento.
-
La capacidad de extracción y catalogación de metadatos está diseñada específicamente para AIDE, funciona de manera continua y aprovecha las capacidades de ONTAP como los snapshots.
-
Mantiene la actualidad de los datos automáticamente a medida que cambian los datos de origen sin intervención manual.
-
Los administradores definen el intervalo de actualización de los datos en días o horas.
-
Proporciona movilidad de datos incremental y sincronización entre los datos para eliminar copias redundantes de los datos de IA.
-
Identifica y protege automáticamente los datos confidenciales durante todo el ciclo de vida de la IA. Es accesible a través de AIDE Console.
-
Escanea, clasifica y categoriza datos de forma continua.
-
Identifica datos sensibles (como PII) y riesgos.
-
Facilita la creación de políticas para el manejo automático de datos sensibles en línea con los estándares de la empresa y las normativas regulatorias.
-
La aplicación completa de las políticas (redacción automática y restricción de acceso) requiere capacidades de vectorización disponibles únicamente en las implementaciones de NetApp DCN.
-
El software AIDE con la funcionalidad básica de Metadata Engine en servidores de terceros admite el etiquetado de metadatos basado en clasificadores, pero no la aplicación de Data Guardrails.
-
Permite a los científicos de datos buscar en todo el almacenamiento datos relevantes.
-
Crea colecciones de datos curados con datos existentes en volúmenes AFX.
-
Genera incrustaciones vectoriales en la capa de almacenamiento para reducir la sobrecarga de datos y aumentar el rendimiento.
-
Proporciona un punto final de recuperación para aplicaciones de IA con búsqueda semántica vectorial y re-ranking.
|
El software AIDE con la funcionalidad básica de Metadata Engine en servidores de terceros incluye las capacidades de Metadata Engine y Data Sync. Data Guardrails y Data Curator requieren recursos de GPU disponibles en los despliegues de NetApp DCN. |
El software AIDE en servidores de terceros ofrece funciones centradas en los metadatos:
Disponible con el software AIDE con funcionalidad básica de Metadata Engine en servidores de terceros:
-
Creación y gestión de espacios de trabajo
-
Extracción y catalogación automatizadas de metadatos
-
Búsqueda y filtrado de metadatos mediante REST APIs
-
Sincronización de datos para la actualización automática de datos
-
Funcionalidad de exportación de metadatos
No disponible con el software AIDE con funcionalidad básica de Metadata Engine en servidores de terceros:
-
Servicios dependientes de la GPU (vectorización, OCR, enriquecimiento)
-
Colecciones de datos e incrustaciones vectoriales
-
Puntos finales RAG para la búsqueda semántica
-
Aplicación de la política de Data Guardrails en el momento de la recuperación
Integración e interoperabilidad
AIDE puede conectarse a múltiples clústeres ONTAP usando SnapMirror y cluster peering, permitiendo la visibilidad centralizada de metadatos.
AIDE almacena metadatos en el clúster AFX conectado utilizando un volumen persistente proporcionado por AFX. Los nodos de computación de datos utilizan almacenamiento local para operaciones internas.
No. AIDE Metadata Engine cataloga los metadatos del sistema de archivos y proporciona APIs para consultar estos metadatos catalogados.
AIDE soporta volúmenes ONTAP (locales o remotos) como fuentes de datos. Los clústeres ONTAP remotos deben ejecutar ONTAP 9 y estar conectados mediante cluster peering y SnapMirror.
Los buckets S3 de ONTAP y los objetos StorageGRID no son compatibles como fuentes de datos en AIDE 9.18.1.
AIDE admite una amplia gama de tipos de archivo, incluyendo PDF, DOCX, PPTX, TXT y archivos de imagen con capacidades de OCR.
AIDE solo admite datos en inglés.
AIDE proporciona un endpoint de API RAG accesible a través de llamadas directas a la API o a través de un servidor Model Context Protocol (MCP). Esto admite la integración con frameworks y herramientas de IA agentic.
Licencias
La licencia de AIDE depende del tipo de despliegue y de las características requeridas:
Implementaciones de NetApp DCN:
-
Data Guardrails y Data Curator requieren la licencia de servicios premium de AIDE
-
Las funciones de Metadata Engine y Data Sync se incluyen con la licencia ONTAP One (incluida en todos los sistemas AFX)
Software AIDE con funcionalidad básica de Metadata Engine en servidores de terceros:
-
La licencia ONTAP One da derecho a las funciones de Metadata Engine y Data Sync
-
Data Guardrails y Data Curator no están disponibles para las implementaciones de la funcionalidad básica de Metadata Engine en servidores de terceros