FAQ per NetApp AI Data Engine
Suggerisci modifiche
PDF
Questa FAQ copre le domande più comuni su NetApp AI Data Engine (AIDE), inclusa la sua architettura, distribuzione, tipologie di utenti, caratteristiche tecniche, integrazione e licenze.
Nozioni di base su AIDE
NetApp AI Data Engine (AIDE) è un servizio dati integrato nello storage che copre l'intero ciclo di vita dell'AI, dalla scoperta e preparazione dei dati raw alla fornitura di endpoint di recupero per alimentare l'AI generativa (GenAI), la Retrieval-Augmented Generation (RAG), l'AI agentica e le AI factory. AIDE automatizza la sincronizzazione e il rilevamento delle modifiche, fornendo una vista unificata e aggiornata dei dati selezionati per la scoperta e la cura dei dati.
AIDE si integra direttamente con i sistemi di storage NetApp ONTAP per creare una vista globale e strutturata dell'intero patrimonio di dati NetApp con rilevamento automatico delle modifiche e sincronizzazione. AIDE offre vettorizzazione real-time con compressione e deduplicazione, Data Guardrails basati su policy e integrazione con strumenti di AI.
Utenti e ruoli
Gli utenti principali di AIDE includono:
-
Amministratori di storage ONTAP: gestiscono l'infrastruttura, le esigenze di storage specifiche per l'AI, la sicurezza e la conformità.
-
Data engineers: gestiscono spostamento dei dati, preparazione e integrazione tra gli ambienti.
-
Data scientists: preparano e trasformano i dati rilevanti per il consumo da parte dell'AI.
Requisiti e deployment
AIDE richiede sistemi AFX per l'implementazione (inclusi un controller AFX, uno shelf di dischi e uno switch di rete), ma può utilizzare i dati dei cluster che eseguono ONTAP 9 tramite SnapMirror e peering di cluster. Per le implementazioni di AIDE sono necessari almeno quattro nodi controller AFX per garantire elevata disponibilità e prestazioni.
AIDE viene eseguito su un nodo di calcolo dati NetApp (DCN). Sono necessari tre DCN. Il DCN ospita il software AIDE, che include Metadata Engine, Data Sync, Data Curator e Data Guardrails.
No. Il DCN è un nodo hardware di elaborazione dati fornito da NetApp ed è l'unico meccanismo di distribuzione per l'AI Data Engine.
Sono necessari esattamente tre DCN.
I DCN eseguono uno stack software fornito da NetApp con AIDE.
No. AIDE richiede AFX per il deployment. AIDE utilizza Trident per consumare i volumi AFX per lo storage interno (volumi persistenti). Il cluster AFX che fornisce storage per AIDE può essere collegato in peering con un sistema o cluster ONTAP 9. Utilizza il peering tra cluster e SnapMirror per sincronizzare i dati dal cluster ONTAP remoto al sistema AFX.
Gestione e interfacce
La AIDE Console è un'interfaccia di gestione separata che viene eseguita sui DCN. Utilizzi la AIDE Console per gestire i servizi AIDE, come Data Guardrails e Data Curator. Puoi anche utilizzare ONTAP System Manager per monitorare il cluster AIDE.
Funzionalità e capacità
Ci sono quattro caratteristiche principali di AIDE:
-
Genera automaticamente una visualizzazione strutturata, aggiornata e interattiva dei tuoi dati.
-
Funziona con i dati memorizzati su ONTAP.
-
Consente ai professionisti dei dati di collaborare con gli amministratori dello storage per trovare e comprendere i dati.
-
Le API interrogano i metadati per fornire funzionalità riducendo il carico del traffico NFS sui sistemi di storage.
-
La funzionalità di estrazione e catalogazione dei metadati è stata sviluppata appositamente per AIDE e funziona in modo continuo, sfruttando le funzionalità ONTAP come gli snapshot.
-
Mantiene automaticamente l'attualità dei dati man mano che i dati di origine cambiano senza intervento manuale.
-
Gli amministratori definiscono l'intervallo di refresh in giorni o ore.
-
Fornisce mobilità incrementale dei dati e sincronizzazione tra i dati per eliminare copie ridondanti dei dati di AI.
-
Identifica e protegge automaticamente i dati sensibili durante l'intero ciclo di vita dell'AI. È accessibile tramite AI Data Engine Console.
-
Esegue continuamente la scansione, la classificazione e la categorizzazione dei dati.
-
Identifica dati sensibili (come PII) e rischi.
-
Facilita la creazione di policy per la gestione automatica dei dati sensibili in linea con gli standard aziendali e normativi.
-
Fornisce la redazione automatica delle informazioni sensibili per la protezione dei dati.
-
Limita l'accesso ai file sensibili secondo necessità.
-
Consente agli scienziati dei dati di cercare dati rilevanti attraverso lo storage.
-
Crea raccolte di dati curate con i dati esistenti sui volumi AFX.
-
Genera incorporamenti vettoriali nel layer di storage per ridurre la crescita eccessiva dei dati e aumentare le prestazioni.
-
Fornisce un endpoint di recupero per applicazioni AI con ricerca semantica vettoriale e re-ranking.
Integrazione e interoperabilità
AIDE può connettersi a più cluster ONTAP tramite SnapMirror e il cluster peering, consentendo la visibilità centralizzata dei metadati.
AIDE memorizza i metadati sul cluster AFX connesso utilizzando un volume persistente fornito da AFX. I DCN utilizzano l'archiviazione locale per le operazioni interne.
No. Il Metadata Engine cataloga i metadati del filesystem e fornisce API per interrogare questi metadati catalogati.
AIDE supporta volumi ONTAP (locali o remoti) come sorgenti di dati. I cluster ONTAP remoti devono eseguire ONTAP 9 ed essere connessi tramite cluster peering e SnapMirror.
I bucket ONTAP S3 e gli oggetti StorageGRID non sono supportati come origini dati in AIDE 9.18.1.
AIDE supporta un'ampia gamma di tipi di file, tra cui PDF, DOCX, PPTX, TXT e file immagine con funzionalità OCR.
AIDE supporta solo dati in lingua inglese.
AIDE fornisce un endpoint API RAG accessibile tramite chiamate API dirette o tramite un server Model Context Protocol (MCP). Questo supporta l'integrazione con framework e strumenti agentic AI.
Distribuzione e licenze
AIDE è distribuito on-premises sull'infrastruttura AFX con DCN. Si integra direttamente con NetApp ONTAP AFX.
AIDE richiede una licenza software per eseguire Data Guardrails e Data Curator.
Se hai bisogno solo del Metadata Engine, la licenza ONTAP One, inclusa in tutti i sistemi AFX, fornisce il diritto alle funzionalità solo del Metadata Engine.