Requisiti di AI Data Engine
Suggerisci modifiche
PDF
Prima di implementare AI Data Engine (AIDE), verifica i requisiti di rete, Kubernetes, dimensionamento e sistema operativo per il tuo ambiente. Per un'implementazione a nodo singolo, ti basta fornire una VM Linux e AI Data Engine esegue automaticamente il provisioning di tutto il resto. Per un'implementazione multi-node, usa il tuo cluster Kubernetes.
Requisiti di rete
Le seguenti connessioni di rete devono essere aperte:
| Connessione | Porta | Protocollo | Direzione | Scopo |
|---|---|---|---|---|
Agente della console per NetApp Console |
443 |
TCP |
outbound |
HTTPS: connettività a NetApp Console |
Agente console per ONTAP |
443 |
TCP |
outbound |
HTTPS: rilevamento del cluster ONTAP |
Agente console per AI Data Engine |
80, 443, 8080, 9000 |
TCP |
Bidirezionale |
Comunicazione tra l'agente Console e AI Data Engine |
Client AI al server MCP |
443 |
TCP |
In entrata |
HTTPS: accesso del client AI all'host name del cluster AIDE dalla tua rete aziendale o VPN. I client AI si connettono all'host name sulla porta 443. Non si connettono alla porta di servizio interna. |
AI Data Engine per ONTAP (NFS) |
111, 2049 |
TCP/UDP |
Nello storage |
Accesso alla sorgente dati NFS |
AI Data Engine per ONTAP (SMB) |
139, 445 |
TCP/UDP |
Nello storage |
Accesso alla sorgente dati SMB |
Nodi del cluster al server NFS (volume di configurazione multi-nodo) |
2049 |
TCP |
outbound |
Accesso NFS all'esportazione che contiene la configurazione di AI Data Engine. Si applica solo alle implementazioni multi-node. Se usi Kerberos, anche l'admin host monta questa esportazione. |
AI Data Engine in Active Directory |
389, 636, 3268, 3269 |
TCP (UDP anche per 389) |
outbound |
LDAP (389), LDAPS (636) e Global Catalog (3268, 3269) per l'autenticazione degli utenti, la scansione SMB/CIFS e la mappatura degli ID utente e di gruppo NFS ai nomi di Active Directory. La porta 389 utilizza sia TCP che UDP; tutte le altre porte utilizzano solo TCP. |
AI Data Engine al KDC Kerberos (domain controller Active Directory) |
88 |
TCP/UDP |
outbound |
Autenticazione Kerberos per origini dati SMB/CIFS. Obbligatoria solo se usi Kerberos. Fai riferimento a Requisiti di Kerberos e Active Directory. |
AI Data Engine al DNS server |
53 |
TCP/UDP |
outbound |
Risoluzione dei nomi per i file server e il KDC quando usi Kerberos |
AI Data Engine per i servizi NetApp, il registro container e la CDN |
443 |
TCP |
outbound |
HTTPS: lo script di installazione viene scaricato da una CDN, l'immagine del container e il chart Helm vengono scaricati da ECR e il catalogo dei componenti viene scaricato da S3 |
Accesso Internet outbound
Per un'installazione online, devi poter raggiungere i seguenti endpoint. Se una riga indica una condizione, l'endpoint è necessario solo in quel caso.
| Punto finale | Scopo | Avviato da | Tipo di implementazione |
|---|---|---|---|
|
NetApp container registry (immagini del container AIDE e Helm charts) |
Runtime e programma di installazione del container |
Entrambi |
|
NetApp container registry (accesso all'endpoint dualstack/virtual private cloud (VPC)) |
Runtime e programma di installazione del container |
Entrambi |
|
AWS ECR API (autenticazione e recupero del manifest dell'immagine) |
Runtime e programma di installazione del container |
Entrambi |
|
Aggiornamento delle credenziali del registro AWS ECR |
AI Data Engine |
Entrambi |
|
AWS S3 (storage del layer dell'immagine del container ECR) |
Runtime del container |
Entrambi |
|
AWS S3 (storage del layer dell'immagine del container ECR) |
Runtime del container |
Entrambi |
|
AWS S3 (catalogo delle versioni dei componenti) |
Programma di installazione e AI Data Engine |
Entrambi |
|
AWS S3 (catalogo delle versioni dei componenti) |
Programma di installazione e AI Data Engine |
Entrambi |
|
AWS STS (scambio temporaneo di credenziali per l'accesso al registro e a S3) |
AI Data Engine |
Entrambi |
|
Operatore di AI Data Engine: politica delle versioni |
AI Data Engine |
Entrambi |
|
NetApp Console registrazione |
Programma di installazione |
Entrambi |
|
Autenticazione di NetApp Console |
AI Data Engine |
Entrambi |
|
Rilevamento dei carichi di lavoro FSx e NetApp |
AI Data Engine |
Entrambi |
|
Rilevamento di Google Cloud NetApp Volumes |
AI Data Engine |
Entrambi |
|
Il health monitor lo utilizza per mostrare l'indirizzo IP pubblico nella dashboard di integrità. AI Data Engine funziona senza di esso. |
AI Data Engine |
Entrambi |
|
Metodo alternativo per ottenere l'indirizzo IP pubblico visualizzato nella dashboard di stato. AI Data Engine funziona anche senza di esso. |
AI Data Engine |
Entrambi |
|
Metodo alternativo per ottenere l'indirizzo IP pubblico visualizzato nella dashboard di stato. AI Data Engine funziona anche senza di esso. |
AI Data Engine |
Entrambi |
|
Metodo alternativo per ottenere l'indirizzo IP pubblico visualizzato nella dashboard di stato. AI Data Engine funziona anche senza di esso. |
AI Data Engine |
Entrambi |
|
Test di connettività del proxy, utilizzato solo quando usi un outbound proxy. Un test non riuscito non blocca l'installazione o l'esecuzione. Questo endpoint è separato dagli endpoint di Docker Hub che forniscono le immagini di sistema k3s. |
AI Data Engine |
Entrambi |
|
Test di connettività proxy, utilizzato solo quando usi un outbound proxy. Un test non riuscito non blocca l'installazione o l'esecuzione. |
AI Data Engine |
Entrambi |
|
Accesso ad AWS Cognito, utilizzato per inviare le metriche di utilizzo del prodotto dalle istanze di AI Data Engine a NetApp. Utilizzato anche per un test di connettività del proxy. |
AI Data Engine |
Entrambi |
|
Streaming di log e metriche |
AI Data Engine |
Entrambi |
|
Necessario solo se usi l'accesso AI governato (MCP). Rilevamento del tenant Microsoft Entra ID e recupero della chiave di firma. |
AI Data Engine |
Entrambi |
|
CloudFront CDN per gli script di installazione |
Programma di installazione |
Entrambi |
|
Download di Helm |
Programma di installazione |
Entrambi |
|
download di kubectl |
Programma di installazione |
Entrambi |
|
download di jq e del binario k3s nelle implementazioni a nodo singolo |
Programma di installazione |
Entrambi |
|
GitHub reindirizzamenti di download |
Programma di installazione |
Entrambi |
|
download del runtime di k3s |
Programma di installazione |
Solo nodo singolo |
|
Pacchetto di policy SELinux k3s ( |
Programma di installazione |
Solo nodo singolo (famiglia RHEL) |
|
Autenticazione Docker Hub per le immagini di sistema k3s |
Runtime del container |
Solo nodo singolo |
|
Registry Docker Hub per le immagini di sistema k3s |
Runtime del container |
Solo nodo singolo |
|
Archiviazione dei layer delle immagini di Docker Hub per le immagini di sistema k3s |
Runtime del container |
Solo nodo singolo |
Gli endpoint in questa tabella sono gli stessi sia che ti connetta direttamente a internet sia tramite un proxy.
Se utilizzi un proxy, consenti ogni endpoint per HTTPS (CONNECT) sulla porta 443 usando esattamente gli host name elencati, senza caratteri jolly o un punto iniziale.
Consenti d13jb5dapseb36.cloudfront.net, che ospita il download del programma di installazione, tramite host name. I suoi indirizzi IP sono condivisi con altri siti e cambiano spesso, quindi una regola basata sugli indirizzi IP smette di funzionare.
Per le distribuzioni multi-node, i nodi del cluster stabiliscono le connessioni di runtime del container. Se il comando di installazione multi-node da NetApp Console specifica un valore --registry diverso, consenti quell'host name del registry invece degli host name del registry nella tabella.
Vedi "Scopri di più sui proxy per AI Data Engine". Per eseguire il deployment con un proxy, vedi "Distribuisci AI Data Engine come implementazione a nodo singolo con un proxy" o "Distribuisci AI Data Engine come implementazione multi-node con un proxy".
|
Verifica che i tuoi gestori di pacchetti abbiano la configurazione proxy appropriata, se richiesta nel tuo ambiente. |
AI Data Engine si affida anche a NetApp Console per l'autenticazione centralizzata e i servizi della console. Gli endpoint come https://api.bluexp.netapp.com e https://netapp-cloud-account.auth0.com sono elencati in "requisiti di accesso alla rete per NetApp Console".
Prima di iniziare la distribuzione, verifica che la risoluzione DNS per questi endpoint funzioni correttamente dall'host di AI Data Engine.
Versioni di Kubernetes supportate
AI Data Engine supporta solo le distribuzioni e le versioni elencate in questa tabella.
| Distribuzione | Distribuzione di Kubernetes | Versione supportata | Fornito da |
|---|---|---|---|
AIDE a nodo singolo |
k3s |
v1.35 |
Il programma di installazione configura automaticamente k3s. Non devi fare nulla. |
AIDE multinodo |
RKE2 |
da v1.34 a v1.36 (v1.36.x consigliata) |
Fornisci il cluster, che può essere condiviso o dedicato. |
AIDE multinodo |
OpenShift |
OpenShift 4.22.16 (Kubernetes v1.35.8) |
Fornisci il cluster, che può essere condiviso o dedicato. |
AIDE multinodo |
Azure Kubernetes Service (AKS) |
v1.34 a v1.36 |
Fornisci il cluster, che può essere condiviso o dedicato. |
Requisiti di implementazione di AIDE a nodo singolo
Ti basta fornire una VM Linux e AI Data Engine esegue automaticamente il provisioning di tutto il resto, incluso k3s. Non devi configurare né gestire Kubernetes. Per la preparazione dell'host, lo spazio su disco e i requisiti del firewall, consulta "Prerequisiti per la distribuzione di AIDE su un singolo nodo".
Dimensionamento delle VM
Queste dimensioni rappresentano configurazioni di base consigliate, ottimizzate per una finestra di scansione iniziale di tre o quattro giorni, e non limiti rigidi. Consulta la documentazione Linee guida di dimensionamento flessibili per i fattori che determinano questi valori e per informazioni su come scalare oltre tali limiti.
| Dimensione | vCPU | RAM | Disco | IOPS di archiviazione | Throughput dello storage | Rete | Numero approssimativo di file |
|---|---|---|---|---|---|---|---|
Piccolo |
16 |
64 GB |
500 GB |
8.000 |
1.000 MB/s |
1 GbE |
200 milioni |
Medio |
32 |
128 GB |
2 TB |
12.000 |
1.500 MB/s |
1 GbE |
1 miliardo |
Grande |
96 |
192 GB |
6 TB |
16.000 |
2.000 MB/s |
10 GbE |
3 miliardi |
|
|
Per tutte le dimensioni di implementazione si consiglia l'utilizzo di SSD NVMe o di altre unità di archiviazione a stato solido. I valori dello spazio su disco in questa tabella si riferiscono esclusivamente allo spazio di archiviazione del volume dati AIDE. Se il sistema operativo, il runtime k3s e i dati AIDE condividono un singolo disco, aggiungi circa 65 GB al valore dello spazio su disco corrispondente alla dimensione scelta. Ad esempio, un'implementazione di piccole dimensioni su un singolo disco richiede circa 565 GB in totale. |
|
|
Usa storage a blocchi, non NFS, per il volume dati di AIDE in un deployment a nodo singolo. Lo storage basato su NFS può causare prestazioni insufficienti. |
Linee guida di dimensionamento flessibili
Configurazioni piccole, medie e grandiSi tratta di valori di riferimento consigliati per una finestra di scansione iniziale di tre o quattro giorni, non limiti rigidi imposti dal software.
- Che cosa determina i consigli per il dimensionamento
-
-
Numero totale di file e directory: Il numero totale di oggetti da catalogare è il fattore determinante per i requisiti di elaborazione e archiviazione. Un numero maggiore di oggetti richiede proporzionalmente più memoria, CPU e spazio di archiviazione.
-
Struttura delle directory: L'utilizzo delle risorse varia in base alla profondità di annidamento delle directory e alla distribuzione dei file tra condivisioni e volumi. Strutture profondamente annidate o altamente frammentate possono richiedere più risorse rispetto allo stesso numero di file in una gerarchia più piatta.
-
Throughput di scansione richiesto: La velocità di completamento iniziale del catalogo è direttamente correlata all'allocazione di CPU e memoria. Un dimensionamento inferiore a quello consigliato riduce il throughput e prolunga la finestra temporale della scansione iniziale.
-
Performance dello storage: è vivamente consigliato uno storage dalle performance elevate. L'indicizzazione dei metadati e l'elaborazione degli eventi richiedono IOPS e throughput costanti proporzionali alle dimensioni dell'implementazione.
-
- Cosa succede se sottodimensioni o superi la dimensione implementata
-
Ogni configurazione è ottimizzata per uno specifico numero di file e una determinata velocità di scansione. Se il tuo ambiente supera i limiti supportati dalla configurazione, potresti riscontrare quanto segue:
-
Durata estesa del catalogo iniziale: una minore potenza di calcolo riduce il numero di oggetti sottoposti a scansione al giorno. Ad esempio, un'implementazione destinata a 3 miliardi di oggetti ma con provisioning di dimensioni inferiori può richiedere molto più tempo rispetto all'obiettivo di tre o quattro giorni.
-
Throughput di acquisizione continuo ridotto: i nuovi eventi relativi ai file e gli aggiornamenti incrementali delle scansioni vengono elaborati più lentamente in caso di carico prolungato.
-
Scansione bloccata: i componenti di AI Data Engine sono configurati in base alle dimensioni del deployment. Quando l'ambiente supera significativamente tali dimensioni, la scansione potrebbe bloccarsi anziché semplicemente rallentare. Per verificare la presenza di carichi di lavoro non integri e di vincoli delle risorse, consulta "Monitora lo stato di integrità della distribuzione e analizza i problemi".
-
Rischio di capacità dello storage: una capacità dello storage insufficiente rispetto al numero totale di oggetti può spingere l'indice dei metadati verso le soglie di capacità. Contatta il Supporto NetApp per pianificare un'espansione dello storage.
-
- Supera le dimensioni consigliate
-
I componenti di AI Data Engine sono configurati per le dimensioni che implementi, quindi l'aggiunta di vCPU, memoria o storage alla VM host non aumenta automaticamente la capacità. Se il numero di file o le prestazioni di cui hai bisogno superano le dimensioni che hai implementato, contatta NetApp Support per ridimensionare la configurazione.
Una distribuzione a nodo singolo non supporta l'alta disponibilità né lo scale-out orizzontale. Se il tuo ambiente supera costantemente i 3 miliardi di file o se hai bisogno di alta disponibilità e tolleranza ai guasti, distribuisci invece "Implementazione multi-nodo di AIDE".
Sistema operativo
| Sistema operativo | Versioni supportate |
|---|---|
Ubuntu |
22.04 LTS, 24.04 LTS (24.04 LTS consigliato) |
Red Hat Enterprise Linux (RHEL) |
8.x, 9.x |
Requisiti per la distribuzione multi-node di AIDE
Usi il tuo cluster Kubernetes, che può essere condiviso con altri carichi di lavoro o dedicato ad AI Data Engine. Il programma di installazione distribuisce AI Data Engine nel tuo cluster Kubernetes esistente e non ne esegue il provisioning né la gestione. Per i requisiti del cluster, dello storage e dell'host di installazione, consulta "Prerequisiti per la distribuzione multi-node di AIDE".
|
|
Per tutte le implementazioni multi-nodo, si consiglia di utilizzare storage NVMe o storage SSD dalle performance elevate. |
Supporto del kernel Linux e di NFS nconnect
Per l'opzione di montaggio NFS nconnect, è consigliato Linux kernel 5.3 o versioni successive, che fornisce il throughput richiesto dal volume di configurazione AIDE condiviso. Le seguenti versioni di distribuzione supportano nconnect e soddisfano la raccomandazione relativa al kernel; RHEL e CentOS 8.3 usano un backport del kernel Red Hat.
| Distribuzione | Versione del kernel | nconnect supporto |
|---|---|---|
RHEL/CentOS 8.3+ |
4.18 (backport) |
Sì |
RHEL / CentOS 9.x |
5,14 |
Sì |
Ubuntu 20.04 |
5,4 |
Sì |
Ubuntu 22.04 |
5,15 |
Sì |
Dimensionamento dei nodi
Queste dimensioni sono configurazioni di base consigliate per il cluster, ottimizzate per una finestra di scansione iniziale di tre o quattro giorni, non limiti di capacità rigidi. Gli ambienti con più di 6 miliardi di file richiedono un dimensionamento personalizzato con NetApp. Per i dettagli, fai riferimento a Linee guida di dimensionamento flessibili.
| Dimensione | Nodi | vCPU per nodo | RAM per nodo | Dischi per nodo | IOPS dello storage per nodo | Throughput dello storage per nodo | Rete per nodo | Numero approssimativo di file |
|---|---|---|---|---|---|---|---|---|
Piccolo |
3 |
32 |
128 GB |
~1,3TB |
8.000 |
1.000 MB/s |
1 GbE |
1 miliardo |
Medio |
6 |
48 |
192 GB |
~2TB |
12.000 |
1.500 MB/s |
10 GbE |
3 miliardi |
Grande |
9 |
64 |
256 GB |
~2,7TB |
16.000 |
2.000 MB/s |
10 GbE |
6 miliardi |
Linee guida di dimensionamento flessibili
Configurazioni piccole, medie e grandisono configurazioni di base consigliate del cluster per una finestra di scansione iniziale di tre o quattro giorni, non limiti di capacità rigidi imposti dal software. Gli ambienti che superano i 6 miliardi di file richiedono un dimensionamento personalizzato con NetApp.
- Che cosa determina i consigli per il dimensionamento
-
-
Numero totale di file e directory: Il numero totale di oggetti è il fattore determinante per i requisiti di storage e di elaborazione. Gli ambienti più grandi richiedono nodi cluster aggiuntivi per distribuire il carico di elaborazione e mantenere le prestazioni.
-
Replica ad alta disponibilità: le implementazioni multi-nodo consentono la replica dei dati tra i nodi per impostazione predefinita, garantendo la tolleranza ai guasti. La replica aumenta i requisiti totali di storage e memoria rispetto a un'implementazione equivalente a nodo singolo.
-
Numero di nodi e distribuzione del carico di lavoro: il throughput di elaborazione e la capacità totale del catalogo scalano con il numero di nodi nel cluster. I nodi aggiuntivi distribuiscono sia il carico di lavoro di indicizzazione sia la capacità di archiviazione nell'intero cluster.
-
Throughput di scansione richiesto: l'allocazione di CPU e memoria a livello di cluster determina la velocità di scansione giornaliera e la rapidità di completamento del catalogo iniziale.
-
Performance dello storage per nodo: si consiglia vivamente di utilizzare uno storage dalle performance elevate su ciascun nodo e la capacità totale del cluster aumenta proporzionalmente al numero di nodi.
-
- Cosa succede se sottodimensioni o superi la dimensione implementata
-
Ogni configurazione è ottimizzata per uno specifico numero di file e una determinata velocità di scansione. Se il tuo ambiente supera i limiti supportati dalla configurazione, potresti riscontrare quanto segue:
-
Durata iniziale del catalogo estesa: un numero inferiore di nodi o una riduzione delle risorse per nodo comportano un throughput inferiore, estendendo proporzionalmente la finestra iniziale del catalogo.
-
Aumento della latenza di elaborazione in condizioni di carico di picco: una quantità insufficiente di memoria nel cluster può causare una latenza di elaborazione elevata durante i periodi di acquisizione di grandi volumi di dati.
-
Scansione bloccata: i componenti di AI Data Engine sono configurati in base alle dimensioni del deployment. Quando l'ambiente supera significativamente tali dimensioni, la scansione potrebbe bloccarsi anziché semplicemente rallentare. Per verificare la presenza di carichi di lavoro non integri e di vincoli delle risorse, consulta "Monitora lo stato di integrità della distribuzione e analizza i problemi".
-
Rischio relativo alla capacità di storage: una capacità di storage del cluster insufficiente per il numero di oggetti previsto può spingere l'indice dei metadati verso le soglie di capacità. Contatta NetApp Support per pianificare un'espansione dello storage.
-
- Supera le dimensioni consigliate
-
Il ridimensionamento orizzontale di un cluster multi-node esistente non è supportato. L'aggiunta di nodi worker o di nodi di storage dedicati non aumenta automaticamente la capacità di elaborazione delle scansioni, di acquisizione degli eventi o del catalogo. Se il tuo ambiente supera le dimensioni distribuite oppure hai bisogno di una maggiore capacità di elaborazione delle scansioni o di acquisizione degli eventi, contatta NetApp Support o il tuo referente NetApp per pianificare la modifica.
Per scalare oltre sei miliardi di file, contatta il tuo NetApp rappresentante per ricevere indicazioni sul dimensionamento dei nodi e una scalabilità personalizzata.
Requisiti di Kerberos e Active Directory
Esamina questi requisiti prima di eseguire la scansione delle condivisioni SMB/CIFS con autenticazione Kerberos o di mappare gli ID utente e di gruppo NFS ai nomi di Active Directory. I requisiti relativi alla sincronizzazione dell'ora, al DNS e al pacchetto host si applicano solo a Kerberos. AIDE è un client Kerberos: si autentica nel tuo Kerberos key distribution center (KDC) esistente e non funge da server Kerberos.
Sincronizzazione temporale
L'autenticazione Kerberos non riesce quando gli orologi dei nodi AIDE e del KDC differiscono di oltre la differenza di orario consentita. Per impostazione predefinita, Active Directory consente una differenza massima di cinque minuti.
Verifica quanto segue:
-
Il protocollo NTP (Network Time Protocol) è attivo su tutti i nodi AIDE.
-
I nodi AIDE utilizzano una sorgente oraria sincronizzata con i controller di dominio.
DNS
Soddisfa i seguenti requisiti DNS:
-
Ogni nodo AIDE può risolvere il file server e il KDC tramite nome di dominio completo (FQDN).
-
Se configuri i nodi per utilizzare il tuo DNS server Active Directory, tale server deve anche risolvere i nomi esterni. In caso contrario, AIDE non può raggiungere gli endpoint elencati in Accesso Internet outbound.
-
Se modifichi le impostazioni DNS in una distribuzione multi-node, configura il DNS server di Active Directory come unico name server su ogni nodo. La risoluzione dei nomi nel cluster seleziona casualmente uno dei name server elencati, quindi un name server che non riesce a risolvere i nomi di Active Directory causa errori intermittenti.
Per modificare le impostazioni DNS, consulta "Correggere la risoluzione dei nomi" in "Configurare Kerberos per le condivisioni SMB/CIFS in una distribuzione a nodo singolo" o "Configura Kerberos per le condivisioni SMB/CIFS in una distribuzione multi-node".
Pacchetti host
| Distribuzione | Pacchetti richiesti |
|---|---|
Nodo singolo |
Strumenti client Kerberos: |
Multinodo |
|
`cifs-utils` è richiesto su ogni nodo AIDE solo per la scansione SMB/CIFS basata su Kerberos. Il programma di installazione per nodo singolo lo installa. In una distribuzione multi-node, lo installi su ogni nodo. La scansione Kerberos di una CIFS share non riesce se `cifs-utils` manca su un nodo.
Attributi di Active Directory per NFS
Per risolvere gli ID utente e di gruppo NFS in nomi di Active Directory, gli attributi uidNumber e gidNumber devono essere popolati e replicati nel Global Catalog se AIDE lo interroga. Consulta "Configura la mappatura delle identità di Active Directory per NFS".
Versione attiva e contatto per l'assistenza
Per trovare la versione attiva di AI Data Engine e le informazioni di contatto del Supporto NetApp, vai su Configurazione > Informazioni su AIDE.