Requisitos de AI Data Engine
Antes de implementar AI Data Engine, comprueba los requisitos de red, el dimensionamiento de las VM y los requisitos del sistema operativo para tu entorno.
Requisitos de red
Deben estar abiertas las siguientes conexiones de red:
| Conexión | Puerto | Protocolo | Dirección | Propósito |
|---|---|---|---|---|
Agente de consola para NetApp Console |
443 |
TCP |
Salida |
HTTPS: conectividad con NetApp Console |
Agente de consola para ONTAP |
443 |
TCP |
Salida |
HTTPS: detección de clústeres ONTAP |
Console Agent para AI Data Engine |
80, 443, 8080, 9000 |
TCP |
Bidireccional |
Comunicación entre Console Agent y AI Data Engine |
AI Data Engine a ONTAP (NFS) |
111, 2049 |
TCP/UDP |
Al almacenamiento |
Acceso a la fuente de datos NFS |
AI Data Engine a ONTAP (SMB/CIFS) |
139, 445 |
TCP/UDP |
Al almacenamiento |
Acceso a fuentes de datos SMB/CIFS |
AI Data Engine para Active Directory |
389, 636, 3268, 3269 |
TCP/UDP |
Salida |
LDAP (389), LDAPS (636) y Global Catalog (3268, 3269) para la autenticación de usuarios y el escaneo SMB/CIFS. El puerto 389 utiliza tanto TCP como UDP; todos los demás puertos utilizan solo TCP. |
AI Data Engine a Servicios / Registro de contenedores de NetApp |
443 |
TCP |
Salida |
HTTPS: descargas de artefactos y extracción de imágenes de contenedores (AWS S3 y ECR) |
Acceso a Internet saliente
Para una instalación en línea, debes poder acceder a los siguientes endpoints desde el host de AI Data Engine:
| Punto final | Propósito | Ámbito |
|---|---|---|
|
NetApp comunicación de NetApp Console |
Ambos |
|
Autenticación centralizada de usuarios |
Ambos |
|
Servicios de autenticación |
Ambos |
|
NetApp container registry (imágenes de contenedores AIDE) |
Ambos |
|
NetApp container registry (acceso al endpoint de dualstack/nube privada virtual (VPC)) |
Ambos |
|
API de AWS ECR (autenticación y recuperación del manifiesto de imagen) |
Ambos |
|
AWS S3 (almacenamiento de capas de imágenes de contenedor ECR) |
Ambos |
|
AWS S3 (almacenamiento de capas de imágenes de contenedor ECR) |
Ambos |
|
AWS S3 (script contenedor del instalador, gráficos de Helm y catálogo de versiones de componentes) |
Ambos |
|
AWS S3 (script contenedor del instalador, gráficos de Helm y catálogo de versiones de componentes) |
Ambos |
|
AWS STS (intercambio de credenciales temporales para acceder al registro y a S3) |
Ambos |
|
Imágenes de software, manifiestos y plantillas; transmisión de registros y métricas |
Ambos |
|
CloudFront CDN para distribución de software |
Ambos |
|
Paquetes previos de Ubuntu |
Solo Lite (Ubuntu) |
|
Repositorio de paquetes de Ubuntu |
Solo Lite (Ubuntu) |
|
Archivo de paquetes de seguridad de Ubuntu |
Solo Lite (Ubuntu) |
|
descarga del entorno de ejecución de k3s (iniciada por el instalador) |
Solo Lite |
|
Descarga de Helm (iniciada por el instalador) |
Solo Lite |
AI Data Engine también utiliza NetApp Console para la autenticación centralizada y los servicios de consola. Consulta "requisitos de acceso a la red para NetApp Console" para conocer los endpoints necesarios para la conectividad de Console y del agente de Console.
Comprueba que la resolución DNS de estos endpoints funcione correctamente desde el host de AI Data Engine antes de comenzar la implementación.
Requisitos de AIDE Lite
Dimensionamiento de máquinas virtuales
Estos tamaños son configuraciones de referencia recomendadas optimizadas para un periodo de análisis inicial de tres a cuatro días, no límites estrictos. Consulta Directrices flexibles de dimensionamiento para saber qué determina estas cifras y cómo escalar más allá de ellas.
| Size | vCPU | RAM | Disco | IOPS de almacenamiento | Rendimiento de almacenamiento | Red | Archivos aproximados |
|---|---|---|---|---|---|---|---|
Pequeño |
16 |
64 GB |
500 GB |
8.000 |
1.000 MB/s |
1 GbE |
200 millones |
Medio |
32 |
128 GB |
2 TB |
12.000 |
1.500 MB/s |
1 GbE |
1.000 millones |
Grande |
96 |
192 GB |
6 TB |
16.000 |
2.000 MB/s |
10 GbE |
3 mil millones |
|
|
Se recomienda utilizar un SSD NVMe u otro tipo de almacenamiento de estado sólido para todos los tamaños de implementación. Los valores de disco de esta tabla reflejan únicamente el almacenamiento del volumen de datos de AIDE. Si el sistema operativo, el entorno de ejecución de k3s y los datos de AIDE comparten un único disco, añade aproximadamente 65 GB al valor de disco del tamaño que elijas. Por ejemplo, una implementación Small en un único disco requiere aproximadamente 565 GB en total. |
Directrices flexibles de dimensionamiento
Configuraciones pequeñas, medianas y grandes son valores de referencia recomendados para un intervalo inicial de análisis de entre tres y cuatro días, no límites estrictos impuestos por el software.
- Qué impulsa las recomendaciones de dimensionamiento
-
-
Número total de archivos y directorios: el número total de objetos que hay que catalogar es el factor determinante de los requisitos de potencia de cálculo y almacenamiento. Un mayor número de objetos requiere proporcionalmente más memoria, CPU y almacenamiento.
-
Estructura de directorios: el uso de recursos varía en función de la profundidad de anidación de los directorios y de cómo se distribuyen los archivos entre los recursos compartidos y los volúmenes. Las estructuras muy anidadas o muy fragmentadas pueden requerir más recursos que el mismo número de archivos en una jerarquía más plana.
-
Rendimiento de escaneo requerido: la velocidad de finalización del catálogo inicial depende directamente de la asignación de CPU y memoria. Si la configuración es inferior al tamaño recomendado, se reduce el rendimiento y se alarga el tiempo de escaneo inicial.
-
Rendimiento del almacenamiento: se recomienda encarecidamente utilizar un sistema de almacenamiento de alto rendimiento. La indexación de metadatos y el procesamiento de eventos requieren un nivel sostenido de IOPS y un rendimiento proporcional al tamaño de la implementación.
-
- ¿Qué pasa si eliges una talla demasiado pequeña?
-
Asignar un tamaño inferior al recomendado no impide la instalación ni provoca fallos en el servicio. El sistema sigue operativo y el análisis continúa, pero puedes esperar lo siguiente:
-
Duración ampliada del catálogo inicial: una menor capacidad de cálculo reduce los objetos escaneados por día. Por ejemplo, una implementación dirigida a 3.000 millones de objetos, pero aprovisionada con un tamaño menor, puede tardar bastante más que el objetivo de tres a cuatro días.
-
Reducción del rendimiento continuo de la ingesta: los eventos de archivos nuevos y las actualizaciones de escaneo incremental se procesan más lentamente con una carga sostenida.
-
Riesgo de capacidad de almacenamiento: si la capacidad de almacenamiento es insuficiente en relación con el número total de objetos, el índice de metadatos puede acercarse a los límites de capacidad. Normalmente, puedes resolver esto ampliando la capacidad de almacenamiento, sin necesidad de realizar una reimplementación completa.
-
- Amplía tu capacidad cuando necesites más capacidad
-
AIDE Lite se ejecuta en una sola VM, por lo que el escalado es vertical:
-
Aumenta el número de vCPU, la memoria o el almacenamiento en la VM host.
-
No es necesario reconfigurar ni reinstalar el clúster.
AIDE Lite no admite alta disponibilidad ni escalado horizontal. Si tu entorno supera de forma habitual los 3.000 millones de archivos, o si necesitas alta disponibilidad y tolerancia a fallos, implementa "AIDE Enterprise" en su lugar.
-
Sistema operativo
| Sistema operativo | Versiones compatibles |
|---|---|
Ubuntu |
22.04 LTS, 24.04 LTS (se recomienda 24.04 LTS) |
Red Hat Enterprise Linux (RHEL) |
8.x, 9.x |
Requisitos previos adicionales
-
Tienes acceso root o sudo en la VM de destino para ejecutar el instalador.
-
Una conexión de red mínima de 1 GbE (10 GbE para implementaciones grandes).
-
El host de destino debe tener disponibles bash 4.0 o posterior, curl y tar.
-
El instalador descarga y configura automáticamente
k3s,helm,kubectlyjq. No es necesario preinstalar estas herramientas en la VM de destino. -
Los puertos 6443 (TCP), 10250 (TCP) y 8472 (UDP) deben estar libres en el host antes de que se inicie el instalador. Si el firewall del host (
firewallden RHEL oufwen Ubuntu) está activo, permite estos puertos y el CIDR del pod de k3s (10.44.0.0/16) y el CIDR del servicio (10.45.0.0/16) antes de ejecutar el instalador. Consulta la documentación del firewall de tu sistema operativo para ver los comandos necesarios. -
En los sistemas RHEL que ejecutan SELinux en modo «Enforcing», el instalador configura automáticamente los paquetes de políticas de SELinux necesarios. No es necesario realizar ninguna configuración manual de SELinux.
Requisitos de AIDE Enterprise
-
Tienes acceso a kubectl con privilegios de cluster-admin en el equipo desde el que ejecutas el instalador.
-
Tienes permisos de Sudo (o root) en el equipo desde el que ejecutas el comando de instalación.
-
RKE2 v1.34 o posterior (se recomienda v1.36.x) está instalado en el clúster de destino.
-
El host del instalador descarga y configura automáticamente
helm,kubectlyjqa través de--tools-dir. No es necesario preinstalar estas herramientas en la máquina de gestión. -
Hay una StorageClass configurada (nombre predeterminado
aide-sc) disponible en el clúster y se usa para los servicios de respaldo con estado de AIDE. -
Hay disponible un servidor NFS con al menos una ruta exportada, que se utiliza para el volumen de datos de configuración de AIDE y las instantáneas de índice compartidas.
-
Ya existe un espacio de nombres de Kubernetes de destino (predeterminado
aide) en el clúster; el instalador no lo crea.
|
|
Se recomienda el uso de almacenamiento NVMe o SSD de alto rendimiento para todas las implementaciones de nodos Enterprise. |
Dimensionamiento de nodos
Estos tamaños son configuraciones de clúster de referencia recomendadas, optimizadas para un periodo de análisis inicial de aproximadamente tres días, no límites estrictos de capacidad. AIDE Enterprise admite entornos con más de 6.000 millones de archivos mediante escalado horizontal. Consulta Directrices flexibles de dimensionamiento para obtener más detalles.
| Size | Nodos | vCPU por nodo | RAM por nodo | Disco por nodo | IOPS de almacenamiento por nodo | Rendimiento del almacenamiento por nodo | Red por nodo | Archivos aproximados |
|---|---|---|---|---|---|---|---|---|
Pequeño |
3 |
32 |
128 GB |
~1,3TB |
8.000 |
1.000 MB/s |
1 GbE |
1.000 millones |
Medio |
6 |
48 |
192 GB |
~2TB |
12.000 |
1.500 MB/s |
10 GbE |
3 mil millones |
Grande |
9 |
64 |
256 GB |
~2,7TB |
16.000 |
2.000 MB/s |
10 GbE |
6 mil millones |
Directrices flexibles de dimensionamiento
Configuraciones pequeñas, medianas y grandes son configuraciones de clúster de referencia recomendadas para un periodo de análisis inicial de aproximadamente tres días, no límites máximos de capacidad estrictos impuestos por el software. AIDE Enterprise admite entornos con más de 3.000 millones de archivos mediante escalado horizontal en los nodos del clúster.
- Qué impulsa las recomendaciones de dimensionamiento
-
-
Número total de archivos y directorios: el número total de objetos es el factor determinante de los requisitos de almacenamiento y potencia de cálculo. Los entornos de mayor tamaño requieren nodos del clúster adicionales para distribuir la carga de procesamiento y mantener el rendimiento.
-
Replicación de alta disponibilidad: las implementaciones empresariales permiten de forma predeterminada la replicación de datos entre nodos para garantizar la tolerancia a fallos. La replicación aumenta los requisitos totales de almacenamiento y memoria en comparación con una implementación equivalente de un solo nodo.
-
Número de nodos y distribución de la carga de trabajo: el rendimiento de procesamiento y la capacidad total del catálogo aumentan con el número de nodos del clúster. Los nodos adicionales distribuyen tanto la carga de trabajo de indexación como la capacidad de almacenamiento en todo el clúster.
-
Rendimiento de escaneo requerido: la asignación de CPU y memoria en todo el clúster determina la tasa de escaneo diaria y la rapidez con la que se completa el catálogo inicial.
-
Rendimiento de almacenamiento por nodo: se recomienda encarecidamente disponer de almacenamiento de alto rendimiento en cada nodo, y la capacidad total del clúster se amplía proporcionalmente al número de nodos.
-
- ¿Qué pasa si eliges una talla demasiado pequeña?
-
Asignar un tamaño inferior al recomendado no impide la instalación ni provoca fallos graves. Las consecuencias prácticas incluyen:
-
Duración ampliada del catálogo inicial: menos nodos o una reducción de los recursos por nodo reducen el rendimiento, lo que amplía proporcionalmente el periodo del catálogo inicial.
-
Aumento de la latencia de procesamiento en momentos de máxima carga: una memoria insuficiente en todo el clúster puede provocar un aumento de la latencia de procesamiento durante los periodos de ingesta de gran volumen. Las operaciones en curso no se interrumpen, pero el rendimiento sostenido se reduce.
-
Riesgo de capacidad de almacenamiento: si la capacidad de almacenamiento del clúster es insuficiente para el número de objetos previsto, el índice de metadatos puede acercarse a los límites de capacidad. Puedes resolverlo ampliando el almacenamiento en los nodos existentes (sin interrupciones) o añadiendo un nodo de almacenamiento dedicado.
-
- Amplía tu capacidad cuando necesites más capacidad
-
AIDE Enterprise admite el escalado horizontal sin necesidad de volver a implementar el sistema:
-
Añade nodos de trabajo para aumentar la CPU y la memoria disponibles para el procesamiento de análisis y la ingesta de eventos.
-
Añade nodos de almacenamiento dedicados para aumentar la capacidad total del catálogo. Esta es la forma principal de escalar los entornos más allá del mayor tamaño de implementación predefinido.
-
Amplía más allá de 6.000 millones de archivos añadiendo más nodos al clúster. Ponte en contacto con tu representante de NetApp para obtener orientación sobre el dimensionamiento de nodos a escalas personalizadas.
Añadir nodos a un clúster Enterprise existente no afecta a las operaciones de análisis en curso, pero coordina el cambio durante un periodo de baja actividad.
-