Requisitos de AI Data Engine
Sugerir cambios
PDF
Antes de implementar AI Data Engine (AIDE), revisa los requisitos de red, Kubernetes, dimensionamiento y sistema operativo para tu entorno. Para una implementación de un solo nodo, debes proporcionar una máquina virtual Linux y AI Data Engine se encarga de todo lo demás automáticamente. Para una implementación de varios nodos, usas tu propio clúster de Kubernetes.
Requisitos de red
Deben estar abiertas las siguientes conexiones de red:
| Conexión | Puerto | Protocolo | Dirección | Propósito |
|---|---|---|---|---|
Agente de consola para NetApp Console |
443 |
TCP |
Salida |
HTTPS: conectividad con NetApp Console |
Agente de consola para ONTAP |
443 |
TCP |
Salida |
HTTPS: detección de clústeres ONTAP |
Agente de consola a AI Data Engine |
80, 443, 8080, 9000 |
TCP |
Bidireccional |
Comunicación entre el agente de Console y AI Data Engine |
Cliente de AI para el servidor MCP |
443 |
TCP |
Entrada |
HTTPS: acceso de los clientes de IA al nombre de host del clúster AIDE desde tu red corporativa o VPN. Los clientes de IA se conectan al nombre de host en el puerto 443. No se conectan al puerto interno del servicio. |
AI Data Engine a ONTAP (NFS) |
111, 2049 |
TCP/UDP |
Al almacenamiento |
Acceso a la fuente de datos NFS |
AI Data Engine a ONTAP (SMB) |
139, 445 |
TCP/UDP |
Al almacenamiento |
Acceso a la fuente de datos SMB |
Nodos del clúster al servidor NFS (volumen de configuración de varios nodos) |
2049 |
TCP |
Salida |
Acceso NFS a la exportación que contiene la configuración de AI Data Engine. Se aplica solo a implementaciones con varios nodos. Si utilizas Kerberos, el host de administración también monta esta exportación. |
AI Data Engine para Active Directory |
389, 636, 3268, 3269 |
TCP (también UDP para 389) |
Salida |
LDAP (389), LDAPS (636) y el Global Catalog (3268, 3269) para la autenticación de usuarios, el escaneo de SMB/CIFS y la asignación de los ID de usuario y grupo de NFS a nombres de Active Directory. El puerto 389 usa tanto TCP como UDP; todos los demás puertos usan solo TCP. |
AI Data Engine a Kerberos KDC (controlador de dominio de Active Directory) |
88 |
TCP/UDP |
Salida |
Autenticación Kerberos para fuentes de datos SMB/CIFS. Solo es necesario si usas Kerberos. Consulta Requisitos de Kerberos y Active Directory. |
AI Data Engine al servidor DNS |
53 |
TCP/UDP |
Salida |
Resolución de nombres para servidores de archivos y el KDC cuando usas Kerberos |
AI Data Engine a los servicios de NetApp, el registro de contenedores y la CDN |
443 |
TCP |
Salida |
HTTPS: el script de instalación se descarga desde un CDN, la imagen de contenedor y el chart de Helm se extraen de ECR, y el catálogo de componentes se descarga desde S3 |
Acceso a Internet saliente
Para una instalación en línea, debe ser posible acceder a los siguientes puntos finales. Cuando en una fila se indica una condición, el punto final solo es necesario en ese caso.
| Punto final | Propósito | Iniciado por | Tipo de despliegue |
|---|---|---|---|
|
NetApp registro de contenedores de NetApp (imágenes de contenedor de AIDE y Helm charts) |
Entorno de ejecución e instalador de contenedores |
Ambos |
|
NetApp container registry (acceso al endpoint de dualstack/nube privada virtual (VPC)) |
Entorno de ejecución e instalador de contenedores |
Ambos |
|
API de AWS ECR (autenticación y recuperación del manifiesto de imagen) |
Entorno de ejecución e instalador de contenedores |
Ambos |
|
Actualización de credenciales del registro de AWS ECR |
AI Data Engine |
Ambos |
|
AWS S3 (almacenamiento de capas de imágenes de contenedor ECR) |
Entorno de ejecución de contenedores |
Ambos |
|
AWS S3 (almacenamiento de capas de imágenes de contenedor ECR) |
Entorno de ejecución de contenedores |
Ambos |
|
AWS S3 (catálogo de versiones de componentes) |
Programa de instalación y AI Data Engine |
Ambos |
|
AWS S3 (catálogo de versiones de componentes) |
Programa de instalación y AI Data Engine |
Ambos |
|
AWS STS (intercambio de credenciales temporales para acceder al registro y a S3) |
AI Data Engine |
Ambos |
|
Operador de AI Data Engine: política de versiones |
AI Data Engine |
Ambos |
|
NetApp Console: registro |
Instalador |
Ambos |
|
Autenticación de NetApp Console |
AI Data Engine |
Ambos |
|
Detección de cargas de trabajo de FSx y NetApp |
AI Data Engine |
Ambos |
|
Detección de Google Cloud NetApp Volumes |
AI Data Engine |
Ambos |
|
El control del estado lo utiliza para mostrar la dirección IP pública en el panel de control del estado. AI Data Engine funciona sin él. |
AI Data Engine |
Ambos |
|
Solución alternativa para obtener la dirección IP pública que aparece en el panel de estado. AI Data Engine funciona sin ella. |
AI Data Engine |
Ambos |
|
Solución alternativa para obtener la dirección IP pública que aparece en el panel de estado. AI Data Engine funciona sin ella. |
AI Data Engine |
Ambos |
|
Solución alternativa para obtener la dirección IP pública que aparece en el panel de estado. AI Data Engine funciona sin ella. |
AI Data Engine |
Ambos |
|
Prueba de conectividad del proxy, que solo se utiliza cuando empleas un proxy de salida. Un fallo en la prueba no bloquea la instalación ni la ejecución. Este endpoint es independiente de los endpoints de Docker Hub que alojan las imágenes del sistema k3s. |
AI Data Engine |
Ambos |
|
Prueba de conectividad del proxy, que solo se utiliza cuando usas un proxy de salida. Si la prueba falla, no impedirá la instalación ni la ejecución. |
AI Data Engine |
Ambos |
|
Acceso a AWS Cognito, que se usa para enviar métricas de uso del producto desde instancias de AI Data Engine a NetApp. También se usa para una prueba de conectividad del proxy. |
AI Data Engine |
Ambos |
|
Transmisión de registros y métricas |
AI Data Engine |
Ambos |
|
Solo es necesario si utilizas el acceso gobernado a la IA (MCP). Detección del tenant de Microsoft Entra ID y recuperación de la clave de firma. |
AI Data Engine |
Ambos |
|
CloudFront CDN para scripts de instalación |
Instalador |
Ambos |
|
Descarga de Helm |
Instalador |
Ambos |
|
kubectl download |
Instalador |
Ambos |
|
Descarga de jq y del binario de k3s en despliegues de un solo nodo |
Instalador |
Ambos |
|
GitHub redirecciones de descarga |
Instalador |
Ambos |
|
Descarga del entorno de ejecución de k3s |
Instalador |
Solo un nodo |
|
Paquete de políticas de SELinux para k3s ( |
Instalador |
Solo un nodo (familia RHEL) |
|
Autenticación en Docker Hub para imágenes del sistema k3s |
Entorno de ejecución de contenedores |
Solo un nodo |
|
Registro de Docker Hub para imágenes del sistema k3s |
Entorno de ejecución de contenedores |
Solo un nodo |
|
Almacenamiento de capas de imágenes en Docker Hub para las imágenes del sistema k3s |
Entorno de ejecución de contenedores |
Solo un nodo |
Los endpoints de esta tabla son los mismos tanto si te conectas directamente a internet como si lo haces a través de un proxy.
Si utilizas un proxy, autoriza cada punto final para HTTPS (CONNECT en el puerto 443 usando los nombres de host exactos que figuran en la lista, sin comodines ni un punto inicial.
Permite d13jb5dapseb36.cloudfront.net, que aloja la descarga del instalador, por nombre de host. Sus direcciones IP se comparten con otros sitios y cambian con frecuencia, por lo que una regla basada en direcciones IP deja de funcionar.
En las implementaciones con varios nodos, los nodos del clúster establecen las conexiones del entorno de ejecución de contenedores. Si el comando de instalación para varios nodos de NetApp Console especifica un valor diferente --registry, permite ese nombre de host del registro en lugar de los nombres de host del registro de la tabla.
Consulta "Más información sobre los proxies para AI Data Engine". Para implementar con un proxy, consulta "Implementar AI Data Engine como una implementación de un solo nodo con proxy" o "Implementar AI Data Engine como una implementación multinodo con un proxy".
|
Comprueba que tus gestores de paquetes tengan la configuración de proxy adecuada si tu entorno lo requiere. |
AI Data Engine también depende de NetApp Console para la autenticación centralizada y los servicios de consola. Los puntos finales, como https://api.bluexp.netapp.com y https://netapp-cloud-account.auth0.com, se enumeran en "requisitos de acceso a la red para NetApp Console".
Comprueba que la resolución DNS de estos endpoints funcione correctamente desde el host de AI Data Engine antes de comenzar la implementación.
Versiones de Kubernetes compatibles
AI Data Engine solo es compatible con las distribuciones y versiones que figuran en esta tabla.
| Despliegue | Distribución de Kubernetes | Versión compatible | Facilitado por |
|---|---|---|---|
AIDE de un solo nodo |
k3s |
v1.35 |
El instalador aprovisiona k3s automáticamente. No es necesario realizar ninguna acción. |
AIDE multinodo |
RKE2 |
de la v1.34 a la v1.36 (se recomienda la v1.36.x) |
Tú proporcionas el clúster, que puede ser compartido o dedicado. |
AIDE multinodo |
OpenShift |
OpenShift 4.22.16 (Kubernetes v1.35.8) |
Tú proporcionas el clúster, que puede ser compartido o dedicado. |
AIDE multinodo |
Azure Kubernetes Service (AKS) |
de la v1.34 a la v1.36 |
Tú proporcionas el clúster, que puede ser compartido o dedicado. |
Requisitos de implementación de AIDE en un único nodo
Proporcionas una VM de Linux, y AI Data Engine aprovisiona todo lo demás automáticamente, incluido k3s. No necesitas configurar ni gestionar Kubernetes. Para conocer los requisitos de preparación del host, espacio en disco y firewall, consulta "Requisitos previos para la implementación de AIDE en un único nodo".
Dimensionamiento de máquinas virtuales
Estos tamaños son configuraciones de referencia recomendadas optimizadas para un periodo de análisis inicial de tres a cuatro días, no límites estrictos. Consulta Directrices flexibles de dimensionamiento para saber qué determina estas cifras y cómo escalar más allá de ellas.
| Size | vCPU | RAM | Disco | IOPS de almacenamiento | Rendimiento de almacenamiento | Red | Archivos aproximados |
|---|---|---|---|---|---|---|---|
Pequeño |
16 |
64 GB |
500 GB |
8.000 |
1.000 MB/s |
1 GbE |
200 millones |
Medio |
32 |
128 GB |
2 TB |
12.000 |
1.500 MB/s |
1 GbE |
1.000 millones |
Grande |
96 |
192 GB |
6 TB |
16.000 |
2.000 MB/s |
10 GbE |
3 mil millones |
|
|
Se recomienda utilizar un SSD NVMe u otro tipo de almacenamiento de estado sólido para todos los tamaños de implementación. Los valores de disco de esta tabla reflejan únicamente el almacenamiento del volumen de datos de AIDE. Si el sistema operativo, el entorno de ejecución de k3s y los datos de AIDE comparten un único disco, añade aproximadamente 65 GB al valor de disco del tamaño que elijas. Por ejemplo, una implementación Small en un único disco requiere aproximadamente 565 GB en total. |
|
|
Utiliza almacenamiento en bloque, en lugar de NFS, para el volumen de datos AIDE en una implementación de un solo nodo. El almacenamiento basado en NFS puede provocar un bajo rendimiento. |
Directrices flexibles de dimensionamiento
Configuraciones pequeñas, medianas y grandes son valores de referencia recomendados para un intervalo inicial de análisis de entre tres y cuatro días, no límites estrictos impuestos por el software.
- Qué impulsa las recomendaciones de dimensionamiento
-
-
Número total de archivos y directorios: el número total de objetos que hay que catalogar es el factor determinante de los requisitos de potencia de cálculo y almacenamiento. Un mayor número de objetos requiere proporcionalmente más memoria, CPU y almacenamiento.
-
Estructura de directorios: el uso de recursos varía en función de la profundidad de anidación de los directorios y de cómo se distribuyen los archivos entre los recursos compartidos y los volúmenes. Las estructuras muy anidadas o muy fragmentadas pueden requerir más recursos que el mismo número de archivos en una jerarquía más plana.
-
Rendimiento de escaneo requerido: la velocidad de finalización del catálogo inicial depende directamente de la asignación de CPU y memoria. Si la configuración es inferior al tamaño recomendado, se reduce el rendimiento y se alarga el tiempo de escaneo inicial.
-
Rendimiento del almacenamiento: se recomienda encarecidamente utilizar un sistema de almacenamiento de alto rendimiento. La indexación de metadatos y el procesamiento de eventos requieren un nivel sostenido de IOPS y un rendimiento proporcional al tamaño de la implementación.
-
- ¿Qué ocurre si eliges un tamaño demasiado pequeño o si se te queda pequeño el tamaño implementado?
-
Cada configuración está optimizada para un número concreto de archivos y una velocidad de análisis específicas. Si tu entorno supera los límites que admite la configuración, puedes esperar lo siguiente:
-
Duración ampliada del catálogo inicial: una menor capacidad de cálculo reduce los objetos escaneados por día. Por ejemplo, una implementación dirigida a 3.000 millones de objetos, pero aprovisionada con un tamaño menor, puede tardar bastante más que el objetivo de tres a cuatro días.
-
Reducción del rendimiento continuo de la ingesta: los eventos de archivos nuevos y las actualizaciones de escaneo incremental se procesan más lentamente con una carga sostenida.
-
Escaneo bloqueado: los componentes de AI Data Engine están configurados para el tamaño que implementes. Cuando el entorno supera considerablemente ese tamaño, el escaneo puede bloquearse en lugar de simplemente ralentizarse. Para comprobar si hay cargas de trabajo con problemas y limitaciones de recursos, consulta "Supervisa el estado de la implementación e investiga problemas".
-
Riesgo relacionado con la capacidad de almacenamiento: si la capacidad de almacenamiento es insuficiente en relación con el número total de objetos, el índice de metadatos puede acercarse a los límites de capacidad. Ponte en contacto con el servicio de asistencia de NetApp para planificar una ampliación del almacenamiento.
-
- Amplía más allá del tamaño recomendado
-
Los componentes de AI Data Engine se configuran según el tamaño que implementas, así que añadir vCPU, memoria o almacenamiento a la VM host no aumenta automáticamente la capacidad. Si el número de archivos o el rendimiento que necesitas supera el tamaño que has implementado, ponte en contacto con el servicio de asistencia de NetApp para reajustar el tamaño.
Una implementación de un solo nodo no admite alta disponibilidad ni escalado horizontal. Si tu entorno supera de forma habitual los 3.000 millones de archivos o si necesitas alta disponibilidad y tolerancia a fallos, implementa en su lugar un "Implementación multinodo de AIDE".
Sistema operativo
| Sistema operativo | Versiones compatibles |
|---|---|
Ubuntu |
22.04 LTS, 24.04 LTS (se recomienda 24.04 LTS) |
Red Hat Enterprise Linux (RHEL) |
8.x, 9.x |
Requisitos para la implementación multinodo de AIDE
Traes tu propio clúster de Kubernetes, que puede compartirse con otras cargas de trabajo o dedicarse exclusivamente a AI Data Engine. El instalador implementa AI Data Engine en tu clúster de Kubernetes existente, pero no se encarga de su aprovisionamiento ni de su gestión. Para conocer los requisitos del clúster, el almacenamiento y el host del instalador, consulta "Requisitos previos para la implementación de AIDE en varios nodos".
|
|
Se recomienda usar almacenamiento NVMe o SSD de alto rendimiento para todas las implementaciones multinodo. |
Kernel de Linux y compatibilidad con NFS nconnect
Se recomienda utilizar el núcleo de Linux 5.3 o posterior para la opción de montaje de nconnect NFS, que proporciona el rendimiento necesario para el volumen de configuración compartido de AIDE. Las siguientes versiones de distribución son compatibles con nconnect y cumplen la recomendación del núcleo; RHEL y CentOS 8.3 utilizan un backport del núcleo de Red Hat.
| Distribución | Versión del kernel | nconnect soporte |
|---|---|---|
RHEL / CentOS 8.3 o superior |
4.18 (adaptación a versiones anteriores) |
Sí |
RHEL / CentOS 9.x |
5,14 |
Sí |
Ubuntu 20.04 |
5,4 |
Sí |
Ubuntu 22.04 |
5,15 |
Sí |
Dimensionamiento de nodos
Estos tamaños son configuraciones base recomendadas para los clústeres, optimizadas para un periodo de análisis inicial de entre tres y cuatro días, y no constituyen límites estrictos de capacidad. Los entornos con más de 6 mil millones de archivos requieren un dimensionamiento personalizado con NetApp. Consulta Directrices flexibles de dimensionamiento para obtener más detalles.
| Size | Nodos | vCPU por nodo | RAM por nodo | Disco por nodo | IOPS de almacenamiento por nodo | Rendimiento del almacenamiento por nodo | Red por nodo | Archivos aproximados |
|---|---|---|---|---|---|---|---|---|
Pequeño |
3 |
32 |
128 GB |
~1,3TB |
8.000 |
1.000 MB/s |
1 GbE |
1.000 millones |
Medio |
6 |
48 |
192 GB |
~2TB |
12.000 |
1.500 MB/s |
10 GbE |
3 mil millones |
Grande |
9 |
64 |
256 GB |
~2,7TB |
16.000 |
2.000 MB/s |
10 GbE |
6 mil millones |
Directrices flexibles de dimensionamiento
Configuraciones pequeñas, medianas y grandes son configuraciones de clúster de referencia recomendadas para un periodo de análisis inicial de tres a cuatro días, no límites máximos de capacidad estrictos impuestos por el software. Los entornos que superan los 6 mil millones de archivos requieren un dimensionamiento personalizado con NetApp.
- Qué impulsa las recomendaciones de dimensionamiento
-
-
Número total de archivos y directorios: el número total de objetos es el factor determinante de los requisitos de almacenamiento y potencia de cálculo. Los entornos de mayor tamaño requieren nodos del clúster adicionales para distribuir la carga de procesamiento y mantener el rendimiento.
-
replicación de alta disponibilidad: las implementaciones de varios nodos permiten, de forma predeterminada, la replicación de datos entre nodos para garantizar la tolerancia a fallos. La replicación aumenta los requisitos totales de almacenamiento y memoria en comparación con una implementación equivalente de un solo nodo.
-
Número de nodos y distribución de la carga de trabajo: el rendimiento de procesamiento y la capacidad total del catálogo aumentan con el número de nodos del clúster. Los nodos adicionales distribuyen tanto la carga de trabajo de indexación como la capacidad de almacenamiento en todo el clúster.
-
Rendimiento de escaneo requerido: la asignación de CPU y memoria en todo el clúster determina la tasa de escaneo diaria y la rapidez con la que se completa el catálogo inicial.
-
Rendimiento de almacenamiento por nodo: se recomienda encarecidamente disponer de almacenamiento de alto rendimiento en cada nodo, y la capacidad total del clúster se amplía proporcionalmente al número de nodos.
-
- ¿Qué ocurre si eliges un tamaño demasiado pequeño o si se te queda pequeño el tamaño implementado?
-
Cada configuración está optimizada para un número concreto de archivos y una velocidad de análisis específicas. Si tu entorno supera los límites que admite la configuración, puedes esperar lo siguiente:
-
Duración ampliada del catálogo inicial: menos nodos o una reducción de los recursos por nodo reducen el rendimiento, lo que amplía proporcionalmente el periodo del catálogo inicial.
-
Aumento de la latencia de procesamiento en momentos de máxima carga: una memoria insuficiente en todo el clúster puede provocar un aumento de la latencia de procesamiento durante los periodos de ingesta de gran volumen.
-
Escaneo bloqueado: los componentes de AI Data Engine están configurados para el tamaño que implementes. Cuando el entorno supera considerablemente ese tamaño, el escaneo puede bloquearse en lugar de simplemente ralentizarse. Para comprobar si hay cargas de trabajo con problemas y limitaciones de recursos, consulta "Supervisa el estado de la implementación e investiga problemas".
-
Riesgo de capacidad de almacenamiento: si el almacenamiento en clúster es insuficiente para el número de objetos previsto, el índice de metadatos podría acercarse a los límites de capacidad. Ponte en contacto con el servicio de asistencia de NetApp para planificar una ampliación del almacenamiento.
-
- Amplía más allá del tamaño recomendado
-
No se admite el escalado horizontal de un clúster multinodo ya existente. Añadir nodos de trabajo o nodos de almacenamiento dedicados no aumenta automáticamente la capacidad de procesamiento de escaneos, de ingesta de eventos ni la del catálogo. Si tu entorno supera el tamaño que implementaste o necesitas más capacidad de procesamiento de escaneos o de ingesta de eventos, ponte en contacto con el servicio de asistencia de NetApp o con tu representante de NetApp para planificar el cambio.
Para ampliar la capacidad más allá de 6.000 millones de archivos, ponte en contacto con tu representante de NetApp para obtener orientación sobre el dimensionamiento de nodos y el escalado personalizado.
Requisitos de Kerberos y Active Directory
Revisa estos requisitos antes de escanear recursos compartidos SMB/CIFS con autenticación Kerberos o de asignar los ID de usuario y grupo de NFS a nombres de Active Directory. Los requisitos de sincronización horaria, DNS y paquetes de host se aplican únicamente a Kerberos. AIDE es un cliente Kerberos: se autentica en tu centro de distribución de claves (KDC) de Kerberos existente y no actúa como servidor Kerberos.
Sincronización horaria
La autenticación Kerberos falla cuando la diferencia horaria entre los relojes de los nodos AIDE y el KDC supera la desviación horaria permitida. Active Directory permite, de forma predeterminada, una diferencia máxima de cinco minutos.
Comprueba lo siguiente:
-
Network Time Protocol (NTP) está activo en todos los nodos de AIDE.
-
Los nodos AIDE utilizan una fuente de tiempo sincronizada con tus controladores de dominio.
DNS
Cumple los siguientes requisitos de DNS:
-
Cada nodo AIDE puede resolver el servidor de archivos y el KDC mediante el nombre de dominio completo (FQDN).
-
Si configuras los nodos para que utilicen tu servidor DNS de Active Directory, ese servidor también debe resolver nombres externos. De lo contrario, AIDE no puede acceder a los endpoints que aparecen en Acceso a Internet saliente.
-
Si modificas la configuración de DNS en una implementación de varios nodos, configura el servidor DNS de Active Directory como el único servidor de nombres en cada nodo. La resolución de nombres en el clúster selecciona al azar uno de los servidores de nombres de la lista, por lo que un servidor de nombres que no pueda resolver los nombres de Active Directory provocará fallos intermitentes.
Para cambiar la configuración de DNS, consulta "Solucionar problemas de resolución de nombres" en "Configurar Kerberos para recursos compartidos SMB/CIFS en una implementación de un solo nodo" o "Configurar Kerberos para recursos compartidos de SMB/CIFS en una implementación de varios nodos".
Paquetes de host
| Despliegue | Paquetes necesarios |
|---|---|
Nodo único |
Herramientas de cliente Kerberos: |
Multinodo |
|
`cifs-utils` es necesario en todos los nodos de AIDE solo para el escaneo de SMB/CIFS basado en Kerberos. El instalador de un solo nodo lo instala. En una implementación multinodo, debes instalarlo en cada nodo. El escaneo de Kerberos de un recurso compartido de SMB/CIFS falla si `cifs-utils` falta en un nodo.
Atributos de Active Directory para NFS
Para resolver los ID de usuario y grupo de NFS en nombres de Active Directory, debes rellenar los atributos uidNumber y gidNumber, y replicarlos en el Global Catalog si AIDE lo consulta. Consulta "Configura la asignación de identidades de Active Directory para NFS".
Versión actual y contacto de asistencia técnica
Para encontrar la versión activa de AI Data Engine y la información de contacto del soporte de NetApp, ve a Configuration > About AIDE.
Información relacionada
-
"Autenticación Kerberos para recursos compartidos SMB/CIFS en AI Data Engine"
-
"Configura la asignación de identidades de Active Directory para NFS"
-
"Requisitos previos para la implementación de AIDE en un único nodo"
-
"Requisitos previos para la implementación de AIDE en varios nodos"
-
"Implementa AI Data Engine como un despliegue de un solo nodo"
-
"Desplegar AI Data Engine como una implementación de varios nodos"