FAQ für NetApp AI Data Engine
Diese FAQ beantwortet häufig gestellte Fragen zur NetApp AI Data Engine (AIDE), einschließlich ihrer Architektur, Bereitstellung, Benutzertypen, technischen Merkmale, Integration und Lizenzierung.
AIDE-Grundlagen
NetApp AI Data Engine (AIDE) ist ein speicherintegrierter AI Data Engine-Datendienst, der den gesamten KI-Lebenszyklus abdeckt – von der Ermittlung und Aufbereitung von Rohdaten bis hin zur Bereitstellung von Retrieval-Endpunkten, um generative KI (GenAI), Retrieval-Augmented Generation (RAG), agentic AI und AI factories zu unterstützen. AIDE automatisiert Sync und Änderungserkennung und bietet eine einheitliche, aktuelle Ansicht ausgewählter Daten für die Datenentdeckung und Kuration.
AIDE integriert sich direkt mit NetApp ONTAP-Speichersystemen, um eine globale, strukturierte Sicht auf den gesamten NetApp Datenbestand mit automatisierter Änderungserkennung und Synchronisierung zu erstellen. AIDE bietet Echtzeit-Vektorisierung mit Komprimierung und Deduplizierung, richtliniengesteuerte Data Guardrails und Integration mit KI-Tools.
Benutzer und Rollen
Zu den Hauptnutzern von AIDE gehören:
-
ONTAP Speicheradministratoren: Verwaltung der Infrastruktur, KI-spezifischer Speicheranforderungen, Sicherheit und Compliance.
-
Dateningenieure: Verwalten die Datenbewegung, -aufbereitung und -integration über verschiedene Umgebungen hinweg.
-
Data Scientists: Bereiten Sie die relevanten Daten für die Nutzung durch KI auf und transformieren Sie sie.
Anforderungen und Bereitstellung
AIDE bietet zwei Bereitstellungsoptionen:
-
NetApp Datenrechenknoten (DCN) Bereitstellung: AIDE läuft auf von NetApp bereitgestellten Datenrechenknoten mit integrierten GPU-Ressourcen und bietet den vollständigen Funktionsumfang von AIDE, einschließlich Metadaten, Vektorisierung und RAG-Endpunkten.
-
AIDE-Software auf Servern von Drittanbietern: AIDE-Software läuft auf vom Kunden bereitgestellten RHEL 9.7-Servern mit unterstützter Hardware von Drittanbietern. Eine Metadata Engine Basisbereitstellung bietet Katalogisierung und Erkennungsfunktionen für Metadaten, beinhaltet jedoch keine GPU-abhängigen Funktionen.
NetApp DCN-Implementierungen erfordern AFX-Systeme (einschließlich AFX-Controller, Disk Shelf und Netzwerk-Switch) sowie drei NetApp Datenrechenknoten. Mindestens vier AFX-Controller-Knoten sind erforderlich, um hohe Verfügbarkeit und Leistung zu gewährleisten.
Für die Bereitstellung der AIDE Software mit grundlegender Metadata Engine Funktionalität auf Servern von Drittanbietern sind folgende Anforderungen erforderlich:
-
Drei vom Kunden beschaffte Server von unterstützten Anbietern
-
RHEL 9.7 LTS auf allen Servern installiert
-
AFX-Speichersystem mit ONTAP 9.18.1 oder höher für persistente Speicherung
AIDE Version 1.0.0 unterstützt die grundlegende Metadata Engine auf Servern von Drittanbietern auf kundenseitig beschaffter Hardware. Für den vollen Funktionsumfang von AIDE mit GPU-Funktionen ist NetApp DCN Hardware erforderlich.
Genau drei NetApp DCNs sind erforderlich.
Das Betriebssystem hängt von Ihrem Bereitstellungstyp ab:
-
NetApp DCN: NetApp-bereitgestellter und verwalteter Software-Stack
-
AIDE-Software mit Metadata Engine Grundfunktionalität auf Servern von Drittanbietern: Red Hat Enterprise Linux (RHEL) 9.7 LTS, installiert und verwaltet vom Kunden
Nein. AIDE benötigt AFX für die Bereitstellung. AIDE verwendet "Trident"die AFX-Volumes als internen Speicher (persistente Volumes). Der AFX-Cluster, der den Speicher für AIDE bereitstellt, kann mit einem ONTAP 9-System oder -Cluster verbunden werden. Dabei werden Cluster-Peering und SnapMirror verwendet, um Daten vom entfernten ONTAP-Cluster mit dem AFX-System zu synchronisieren.
Verwaltung und Schnittstellen
AIDE Console ist eine separate Managementoberfläche, die auf NetApp DCNs ausgeführt wird. Sie verwenden die AIDE Console, um AIDE-Services wie Data Guardrails und Data Curator zu verwalten. Sie können auch den ONTAP System Manager verwenden, um den AIDE-Cluster zu überwachen.
Funktionen und Fähigkeiten
AIDE bietet vier Hauptfunktionen, deren Verfügbarkeit von Ihrem Bereitstellungstyp abhängt:
-
Erzeugt automatisch eine strukturierte, aktuelle und interaktive Ansicht Ihrer Daten.
-
Funktioniert mit Daten, die auf ONTAP gespeichert sind.
-
Ermöglicht Datenexperten die Zusammenarbeit mit Speicheradministratoren, um Daten zu finden und zu verstehen.
-
APIs fragen Metadaten ab, um Funktionen bereitzustellen und gleichzeitig die NFS-Traffic-Last auf Speichersystemen zu reduzieren.
-
Die Funktion zur Metadatenextraktion und Katalogisierung ist speziell für AIDE entwickelt, arbeitet kontinuierlich und nutzt ONTAP-Funktionen wie Snapshots.
-
Hält die Daten automatisch auf dem neuesten Stand, wenn sich die Quelldaten ändern, ohne manuelle Eingriffe.
-
Administratoren legen das Aktualisierungsintervall in Tagen oder Stunden fest.
-
Ermöglicht inkrementelle Datenmobilität und Synchronisierung der Daten, um redundante Kopien von AI-Daten zu eliminieren.
-
Identifiziert und schützt automatisch sensible Daten während des gesamten KI-Lebenszyklus. Ist über die AIDE Console zugänglich.
-
Scannt, klassifiziert und kategorisiert kontinuierlich Daten.
-
Identifiziert sensible Daten (wie z. B. personenbezogene Daten) und Risiken.
-
Ermöglicht die Erstellung von Richtlinien für die automatische Verarbeitung von sensiblen Daten im Einklang mit den Unternehmens- und Regulierungsstandards.
-
Die vollständige Durchsetzung der Richtlinien (automatische Schwärzung und Zugriffsbeschränkung) erfordert Vektorisierungsfunktionen, die nur in NetApp DCN-Implementierungen verfügbar sind.
-
AIDE-Software mit grundlegender Metadata Engine-Funktionalität auf Servern von Drittanbietern unterstützt die klassifikatorbasierte Metadaten-Kennzeichnung, jedoch nicht die Durchsetzung von Data Guardrails.
-
Ermöglicht Datenwissenschaftlern, den gesamten Speicher nach relevanten Daten zu durchsuchen.
-
Erstellt kuratierte Datensammlungen mit Daten, die auf AFX Volumes vorhanden sind.
-
Erzeugt Vektoreinbettungen auf der Speicherschicht, um Daten bloat zu reduzieren und die Leistung zu steigern.
-
Bietet einen Abruf-Endpunkt für KI-Anwendungen mit vektorsemantischer Suche und Re-Ranking.
|
|
AIDE-Software mit Metadata Engine Grundfunktionalität auf Servern von Drittanbietern umfasst Metadata Engine und Data Sync-Funktionen. Data Guardrails und Data Curator benötigen GPU-Ressourcen, die in NetApp DCN Deployments verfügbar sind. |
AIDE Software auf Servern von Drittanbietern bietet Funktionen mit Fokus auf Metadaten:
Verfügbar mit AIDE-Software mit grundlegender Metadata Engine-Funktionalität auf Servern von Drittanbietern:
-
Arbeitsbereichserstellung und -verwaltung
-
Automatisierte Metadatenextraktion und Katalogisierung
-
Metadatensuche und -filterung über REST-APIs
-
Data Sync für automatisierte Datenaktualität
-
Metadatenexportfunktion
Nicht verfügbar mit AIDE-Software mit Metadata Engine Grundfunktionalität auf Servern von Drittanbietern:
-
GPU-abhängige Dienste (Vektorisierung, OCR, Anreicherung)
-
Datensammlungen und Vektoreinbettungen
-
RAG-Endpunkte für die semantische Suche
-
Durchsetzung der Data Guardrails-Richtlinien zum Abrufzeitpunkt
Integration und Interoperabilität
AIDE kann über SnapMirror und Cluster-Peering eine Verbindung zu mehreren ONTAP-Clustern herstellen, wodurch eine zentrale Metadaten-Sichtbarkeit ermöglicht wird.
AIDE speichert Metadaten auf dem verbundenen AFX-Cluster mithilfe eines von AFX bereitgestellten persistenten Volumes. Die Datenrechenknoten verwenden lokalen Speicher für interne Operationen.
Nein. AIDE Metadata Engine katalogisiert Dateisystem-Metadaten und stellt APIs zur Abfrage dieser katalogisierten Metadaten bereit.
AIDE unterstützt ONTAP Volumes (lokal oder remote) als Datenquellen. Remote ONTAP Cluster müssen ONTAP 9 ausführen und über Cluster-Peering und SnapMirror verbunden sein.
ONTAP S3 buckets und StorageGRID objects werden in AIDE 9.18.1 nicht als Datenquellen unterstützt.
AIDE unterstützt eine breite Palette von Dateitypen, einschließlich PDF, DOCX, PPTX, TXT und Bilddateien mit OCR-Funktionen.
AIDE unterstützt ausschließlich englischsprachige Daten.
AIDE bietet einen RAG-API-Endpunkt, der über direkte API-Aufrufe oder über einen Model Context Protocol (MCP)-Server zugänglich ist. Dies unterstützt die Integration mit agentic AI Frameworks und Tools.
Lizenzierung
AIDE-Lizenzierung hängt von Ihrem Bereitstellungstyp und den benötigten Funktionen ab:
NetApp DCN-Bereitstellungen:
-
Data Guardrails und Data Curator erfordern die AIDE Premium Services-Lizenz
-
Metadata Engine und Data Sync-Funktionen sind in der ONTAP One-Lizenz enthalten (bei allen AFX-Systemen enthalten)
AIDE software mit Metadata Engine Grundfunktionalität auf Servern von Drittanbietern:
-
ONTAP One-Lizenz berechtigt zur Nutzung von Metadata Engine und Data Sync-Funktionen
-
Data Guardrails und Data Curator sind für Metadata Engine Bereitstellungen der grundlegenden Funktionalität auf Servern von Drittanbietern nicht verfügbar.