Skip to main content
NetApp artificial intelligence solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

4. NetApp, Technologiekomponenten von Drittanbietern und Open Source

Beitragende nkarthik
Änderungen vorschlagen
PDFs

Karthikeyan Nagalingam, NetApp

Komponente Rolle in der Lösung

NetApp StorageGRID

S3-kompatible Ebenen für Rohdatenerfassung und Archivierung von Objektspeicher

NetApp ONTAP NAS Bucket / NFS

Ebene der vorbereiteten Daten; NFS-Quellexport wird vor der Datenübertragung durch XCP Preflight validiert

NetApp ONTAP S3

Optionales Ziel für XCP Trainingsdaten und Modellartefakte

NetApp XCP

Datenmobilitäts-Engine mit hohem Durchsatz; kopiert nach S3 oder LustreFS

NetApp FabricPool

Optionales Tiering für ONTAP NAS aufbereitete Daten und archivnahe Daten zur Kostenoptimierung

LustreFS (NetApp integriert)

Paralleles Hochleistungs-Dateisystem für die Trainingsschicht

NetApp Console (optional)

Erweiterte Überwachung/Beobachtbarkeit für ONTAP und XCP Ressourcen

ONTAP Snapshot/Backup

Zeitpunktbezogener Schutz für vorbereitete Daten in der ONTAP NAS-Ebene, unabhängig von der Pipeline

[[4-1-netapp-xcp-core-value]]
== 4.1 NetApp XCP - Kernwert

XCP ist die Mobilitätsschicht, die den Datenspeicherort vom Rechenstandort entkoppelt. Ein einziger Konfigurationsschalter (xcp_copy_destination) legt fest, ob aufbereitete Daten und Modellartefakte in NetApp ONTAP S3 oder in einer LustreFS Hochleistungsebene landen, wobei model_training, fine_tuning, und inferencing automatisch aus demselben Ziel lesen und in dasselbe Ziel schreiben.

[[4-2-third-party-and-open-source-technology-components]]
== 4.2 Technologiekomponenten von Drittanbietern und Open Source

Komponente Zweck

Apache Airflow

DAG Orchestrierung, Wiederholungsversuche, XCom Task-Kommunikation, Terminplanung

Apache Spark

Optionale verteilte Transformations-Engine für data_prep

Delta Lake / Apache Iceberg

Optionale Lakehouse-Tabellenformate für vorbereitete tabellarische Daten

scikit-learn

LinearRegression (tabellarisch) und SGDClassifier (textlich, inkrementell)

Airbyte/Apache NiFi

Optionale Erfassungs-Connectors vor data_prep

boto3

AWS S3-kompatibles SDK für StorageGRID, ONTAP NAS Bucket und ONTAP S3 Interaktionen