FAQ für NetApp AI Data Engine
Diese FAQ beantwortet häufig gestellte Fragen zur NetApp AI Data Engine (AIDE), einschließlich ihrer Architektur, Bereitstellung, Benutzertypen, technischen Merkmale, Integration und Lizenzierung.
AIDE-Grundlagen
NetApp AI Data Engine (AIDE) ist ein speicherintegrierter AI Data Engine-Datendienst, der den gesamten KI-Lebenszyklus abdeckt – von der Ermittlung und Aufbereitung von Rohdaten bis hin zur Bereitstellung von Retrieval-Endpunkten, um generative KI (GenAI), Retrieval-Augmented Generation (RAG), agentic AI und AI factories zu unterstützen. AIDE automatisiert Sync und Änderungserkennung und bietet eine einheitliche, aktuelle Ansicht ausgewählter Daten für die Datenentdeckung und Kuration.
AIDE integriert sich direkt mit NetApp ONTAP-Speichersystemen, um eine globale, strukturierte Sicht auf den gesamten NetApp Datenbestand mit automatisierter Änderungserkennung und Synchronisierung zu erstellen. AIDE bietet Echtzeit-Vektorisierung mit Komprimierung und Deduplizierung, richtliniengesteuerte Data Guardrails und Integration mit KI-Tools.
Benutzer und Rollen
Zu den Hauptnutzern von AIDE gehören:
-
ONTAP Speicheradministratoren: Verwaltung der Infrastruktur, KI-spezifischer Speicheranforderungen, Sicherheit und Compliance.
-
Dateningenieure: Verwalten die Datenbewegung, -aufbereitung und -integration über verschiedene Umgebungen hinweg.
-
Data Scientists: Bereiten Sie die relevanten Daten für die Nutzung durch KI auf und transformieren Sie sie.
Anforderungen und Bereitstellung
AIDE benötigt für die Bereitstellung AFX-Systeme (einschließlich AFX-Controller, Disk Shelf und Netzwerk-Switch), kann aber Clusterdaten von Clustern mit ONTAP 9 mithilfe von SnapMirror und Cluster-Peering nutzen. Für AIDE-Bereitstellungen sind mindestens vier AFX-Controller-Knoten erforderlich, um hohe Verfügbarkeit und Leistung sicherzustellen.
AIDE läuft auf einem NetApp data compute node (DCN). Drei DCNs sind erforderlich. Der DCN hostet die AIDE Software, die die Metadata Engine, Data Sync, Data Curator und Data Guardrails umfasst.
Nein. Das DCN ist ein von NetApp bereitgestellter Datenverarbeitungshardwareknoten und der einzige Bereitstellungsmechanismus für die AI Data Engine.
Genau drei DCNs sind erforderlich.
Die DCNs führen einen von NetApp bereitgestellten Software-Stack mit AIDE aus.
Nein. AIDE benötigt AFX für die Bereitstellung. AIDE verwendet Trident, um die AFX-Volumes für den internen Speicher (persistente Volumes) zu nutzen. Der AFX-Cluster, der den Speicher für AIDE bereitstellt, kann mit einem ONTAP 9-System oder -Cluster verbunden werden. Es wird Cluster-Peering und SnapMirror verwendet, um Daten vom entfernten ONTAP-Cluster mit dem AFX-System zu synchronisieren.
Verwaltung und Schnittstellen
Die AIDE Console ist eine separate Managementoberfläche, die auf DCNs ausgeführt wird. Sie verwenden die AIDE Console, um AIDE Services wie Data Guardrails und Data Curator zu verwalten. Sie können auch ONTAP System Manager verwenden, um den AIDE Cluster zu überwachen.
Funktionen und Fähigkeiten
Es gibt vier Hauptfunktionen von AIDE:
-
Erzeugt automatisch eine strukturierte, aktuelle und interaktive Ansicht Ihrer Daten.
-
Funktioniert mit Daten, die auf ONTAP gespeichert sind.
-
Ermöglicht Datenexperten die Zusammenarbeit mit Speicheradministratoren, um Daten zu finden und zu verstehen.
-
APIs fragen Metadaten ab, um Funktionen bereitzustellen und gleichzeitig die NFS-Traffic-Last auf Speichersystemen zu reduzieren.
-
Die Funktion zur Metadatenextraktion und Katalogisierung ist speziell für AIDE entwickelt, arbeitet kontinuierlich und nutzt ONTAP-Funktionen wie Snapshots.
-
Hält die Daten automatisch auf dem neuesten Stand, wenn sich die Quelldaten ändern, ohne manuelle Eingriffe.
-
Administratoren legen das Aktualisierungsintervall in Tagen oder Stunden fest.
-
Ermöglicht inkrementelle Datenmobilität und Synchronisierung der Daten, um redundante Kopien von AI-Daten zu eliminieren.
-
Identifiziert und schützt sensible Daten automatisch während des gesamten KI-Lebenszyklus. Es ist über die AI Data Engine Console zugänglich.
-
Scannt, klassifiziert und kategorisiert kontinuierlich Daten.
-
Identifiziert sensible Daten (wie z. B. personenbezogene Daten) und Risiken.
-
Ermöglicht die Erstellung von Richtlinien für die automatische Verarbeitung von sensiblen Daten im Einklang mit den Unternehmens- und Regulierungsstandards.
-
Bietet automatische Schwärzung sensibler Informationen zum Schutz der Daten.
-
Beschränkt den Zugriff auf sensible Dateien nach Bedarf.
-
Ermöglicht Datenwissenschaftlern, den gesamten Speicher nach relevanten Daten zu durchsuchen.
-
Erstellt kuratierte Datensammlungen mit Daten, die auf AFX Volumes vorhanden sind.
-
Erzeugt Vektoreinbettungen auf der Speicherschicht, um Daten bloat zu reduzieren und die Leistung zu steigern.
-
Bietet einen Abruf-Endpunkt für KI-Anwendungen mit vektorsemantischer Suche und Re-Ranking.
Integration und Interoperabilität
AIDE kann über SnapMirror und Cluster-Peering eine Verbindung zu mehreren ONTAP-Clustern herstellen, wodurch eine zentrale Metadaten-Sichtbarkeit ermöglicht wird.
AIDE speichert Metadaten auf dem verbundenen AFX-Cluster mithilfe eines von AFX bereitgestellten persistenten Volumes. Die DCNs verwenden lokalen Speicher für interne Operationen.
Nein. Die Metadata Engine katalogisiert Dateisystem-Metadaten und stellt APIs zur Abfrage dieser katalogisierten Metadaten bereit.
AIDE unterstützt ONTAP Volumes (lokal oder remote) als Datenquellen. Remote ONTAP Cluster müssen ONTAP 9 ausführen und über Cluster-Peering und SnapMirror verbunden sein.
ONTAP S3 buckets und StorageGRID objects werden in AIDE 9.18.1 nicht als Datenquellen unterstützt.
AIDE unterstützt eine breite Palette von Dateitypen, einschließlich PDF, DOCX, PPTX, TXT und Bilddateien mit OCR-Funktionen.
AIDE unterstützt ausschließlich englischsprachige Daten.
AIDE bietet einen RAG-API-Endpunkt, der über direkte API-Aufrufe oder über einen Model Context Protocol (MCP)-Server zugänglich ist. Dies unterstützt die Integration mit agentic AI Frameworks und Tools.
Bereitstellung und Lizenzierung
AIDE wird lokal auf der AFX-Infrastruktur mit DCNs bereitgestellt. Es integriert sich direkt mit NetApp ONTAP AFX-Installationen.
AIDE erfordert eine Softwarelizenz, um Data Guardrails und Data Curator auszuführen.
Wenn Sie nur die Metadata Engine benötigen, berechtigt Sie die ONTAP One-Lizenz, die in allen AFX-Systemen enthalten ist, ausschließlich zur Nutzung der Metadata Engine-Funktionen.