Karthikeyan Nagalingam, NetApp

[[1-1-purpose-of-this-document]]
== 1.1 Zweck dieses Dokuments

Diese NetApp Validated Architecture (NVA) dokumentiert eine produktionsreife KI-Datenpipeline, die Rohdaten erfasst, sie für maschinelles Lernen vorbereitet, sie mit hoher Geschwindigkeit mithilfe von NetApp XCP zwischen Storage Tiers verschiebt, Modelle trainiert und inkrementell optimiert, Vorhersagen generiert und die Ergebnisse für Governance und Reproduzierbarkeit archiviert. Sie dient als Leitfaden für Architekten und Infrastrukturteams in Bezug auf Designbegründung, Bereitstellung, Konfiguration und Betrieb.

[[1-2-audience]]
== 1.2 Zielgruppe

Lösungsarchitekten, Speicher-/Infrastrukturingenieure, Datenplattformingenieure, ML-Ingenieure und IT-Entscheidungsträger, die NetApp Speicher- und Datenmobilitätstechnologie für KI/ML-Workloads evaluieren.

[[1-3-business-challenge-overview]]
== 1.3 Überblick über die geschäftlichen Herausforderungen

KI-Teams benötigen Daten, die im Objektspeicher landen, um zuverlässig transformiert und anschließend an die Rechen- und Speicherebene übertragen zu werden, die das Training am besten unterstützt, beispielsweise an elastisches S3 für allgemeine Workloads oder an leistungsstarke parallele Dateisysteme (LustreFS) für E/A-intensive Trainings. Ohne eine kontrollierte Datenmobilität und Orchestrierungsschicht sind Teams auf fehleranfällige, spezialisierte Skripte angewiesen, denen Wiederholungsversuche, Checkpointing, Speicherflexibilität und Audit-Trails fehlen.

KI-Programme in Unternehmen stagnieren, nicht aufgrund von Modell- oder Rechenleistungsbeschränkungen, sondern weil herkömmliche Speichersysteme nicht für KI ausgelegt sind. Das Verschieben massiver Datensätze, die kontinuierliche Auslastung der GPUs während des Trainings, die Verwaltung des Checkpoint-Overheads und die Kontrolle der Speicherkosten erfordern mehr Aufwand als die eigentliche KI-Arbeit. Einstufige Architekturen erzwingen einen Kompromiss zwischen Leistung und Kosten, der sich mit zunehmender Größe von Modellen und Datensätzen noch verstärkt.

[[1-4-netapp-solution-summary]]
== 1.4 NetApp Lösungsübersicht

Die Lösung orchestriert Datenerfassung, -aufbereitung, Datenmobilität, Training, Feinabstimmung, Inferenz und Archivierung als Apache Airflow DAG (Directed Acyclic Graph). StorageGRID bildet die Basis für die Rohdaten- und Langzeitarchivierungs-Objekt-Tiers. Die Datenaufbereitung schreibt mit einem Laufzeitstempel versehene Datensätze und Manifeste in einen ONTAP NAS Bucket, der über NFS als XCP Quelle bereitgestellt wird. NetApp XCP verschiebt die aufbereiteten Daten dann in ein zur Laufzeit auswählbares Trainingsziel, NetApp ONTAP S3 oder LustreFS, ohne dass zum Wechseln der Tiers Codeänderungen erforderlich sind.

Diese Pipeline ist eine konkrete Implementierung der umfassenderen NetApp AI Storage Architecture , eines speziell entwickelten, dreistufigen Speicherframeworks, das Leistung und Kosten auf jede Phase der KI-Workload abstimmt:

Die Datenverschiebung zwischen den Ebenen wird vollständig über Apache Airflow und NetApp XCP automatisiert, sodass manuelle Vorgänge vollständig aus dem kritischen Pfad entfallen.

Die NetApp Speicherarchitektur unterstützt Unternehmen bei der verteilten Datenaufbereitung, dem Modelltraining, der Feinabstimmung, der Inferenz und der Lebenszyklusverwaltung, ohne alle Daten in einem einzigen zentralen Data Lake zusammenführen zu müssen. Durch die Reduzierung unnötiger Datenbewegungen eignet sie sich ideal für hybride KI-Workflows.

[[1-5-why-netapp]]
== 1.5 Warum NetApp

[[1-6-the-business-case]]
== 1.6 Der Business Case

GPU-Rechenleistung ist typischerweise der größte Kostenfaktor im Budget einer KI-Infrastruktur. Jede Stunde, die ein Cluster im Leerlauf auf Daten wartet, bedeutet einen direkten, messbaren finanziellen Verlust. NetApp stellt sicher, dass die richtigen Daten zur richtigen Zeit auf der richtigen Ebene verfügbar sind, automatisch, und ermöglicht so einen höheren KI-Durchsatz, niedrigere Gesamtbetriebskosten und eine Architektur, die sich ohne Neugestaltung vom Proof of Concept bis zur produktiven Unternehmensumgebung skalieren lässt.

[[1-7-key-benefits-at-a-glance]]
== 1.7 Die wichtigsten Vorteile auf einen Blick