Karthikeyan Nagalingam, NetApp

Die Konfigurationsreferenz beschreibt die Laufzeitparameter, die die Datenerfassung, Datenaufbereitung, XCP Datenmobilität, das Training, Checkpointing und die Archivierung steuern. Der ONTAP NAS Bucket wird in erster Linie als Staging-Schicht für aufbereitete Daten und XCP verwendet, um Supportfähigkeit und Portabilität zu gewährleisten. Im Echtzeit-Produktionsbetrieb können dieselben aufbereiteten Daten auch über direkte RDMA-fähige Zugriffspfade genutzt werden, wenn dies besser den Anforderungen an Workload und Latenz entspricht.

Das gesamte Laufzeitverhalten wird über dag_run.conf bereitgestellt, sodass derselbe DAG verschiedene Quellsysteme, Transformations-Engines, Speicherziele, Wiederherstellungsrichtlinien und Archivierungsbereiche bedienen kann. Es sollten nur die für den ausgewählten Workflow erforderlichen Parametergruppen konfiguriert, Anmeldeinformationen in Airflow Connections oder einem Secrets-Backend gespeichert und die Beispiele als Vorlagen für Nicht-Produktionsumgebungen statt als Anmeldeinformationswerte verwendet werden.

[[8-1-ingestion-parameters]]
== 8.1 Aufnahmeparameter

Diese Einstellungen dienen zur Auswahl und Konfiguration des vorgelagerten Datenerfassungsmechanismus. s3_direct Dabei werden die in der Datenaufbereitungsgruppe konfigurierten StorageGRID Rohdatenobjekte verwendet; Airbyte und NiFi Einstellungen sind nur erforderlich, wenn die jeweiligen Erfassungstools ausgewählt sind.

[[8-2-data-preparation-parameters]]
== 8.2 Parameter zur Datenaufbereitung

Diese Einstellungen steuern den Zugriff auf Rohdaten, die Ausgabe aufbereiteter Daten, die Eingabeerkennung und das Transformationsverhalten. Die s3_raw_* Parameter beziehen sich auf StorageGRID, während die code-compatible s3_formatted_* Parameter den ONTAP NAS Bucket identifizieren, in den aufbereitete, mit einem Laufzeitstempel versehene Daten und Manifeste geschrieben werden.

Unformatierter StorageGRID / Prepared-Data ONTAP NAS-Bucket:

Separate Endpunkte und Anmeldeinformationen werden konfiguriert, wenn StorageGRID und der ONTAP NAS Bucket unterschiedliche S3-kompatible Dienste oder Zugriffsrichtlinien verwenden. Die generischen Fallback-Schlüssel gelten nur, wenn keine spezifischere Einstellung für Rohdaten oder aufbereitete Daten vorhanden ist.

Allgemeiner Ausweichweg: s3_endpoint_url, s3_access_key_id, s3_secret_access_key, s3_session_token, s3_verify, aws_region, aws_access_key_id, aws_secret_access_key, aws_session_token.

Eingabeauswahl:

Für die Verarbeitung bekannter CSV-Eingaben werden explizite Objektschlüsseleinstellungen verwendet, andernfalls ermittelt die Aufgabe geeignete tabellarische Objekte unter dem konfigurierten StorageGRID Rohpräfix.

Transformation:

Wählen Sie den Python-Pfad für eine ressourcenschonende lokale Vorbereitung oder Spark für eine verteilte Vorbereitung. Sampling und der Seed gelten reproduzierbar für die generierten Trainings-, Validierungs- und Inferenzaufteilungen.

Spark:

Diese Einstellungen gelten nur für transformation_engine=spark. Sie steuern die Platzierung von Spark-Prozessen, die Ressourcenzuweisung, Zeitlimits und optionale Laufzeitabhängigkeiten von Delta Lake oder Iceberg.

[[8-3-xcp-and-training-destination-parameters]]
== 8.3 XCP und Trainingszielparameter

Diese Gruppe dient, `enable_xcp=true`wenn die ONTAP NAS NFS-Quelle validiert, der XCP Host aufgerufen und die aktive Trainingsebene ausgewählt werden sollen. `xcp_copy_destination`Sie ist der steuernde Schalter: Er wählt entweder die ONTAP S3-spezifischen oder die LustreFS-spezifischen Einstellungen aus, und nachgelagerte Modellstufen verwenden dieselbe ausgewählte Ebene.

S3 Ziel (erforderlich, wenn xcp_copy_destination=s3):

Diese Einstellungen sind nur für den ONTAP S3 Trainingspfad erforderlich. Die Profil- oder direkten Anmeldeinformationen ermöglichen XCP und der Modellartefakt-Synchronisierungslogik den Zugriff auf den ausgewählten ONTAP S3 Bucket und das Präfix.

LustreFS Ziel (erforderlich, wenn xcp_copy_destination=lustrefs):

Diese Einstellungen gelten nur für den LustreFS Trainingspfad. Quelle und Ziel müssen auf dem XCP Host eingebunden und erreichbar sein; das Ziel muss außerdem für den Airflow Worker erreichbar sein, der die Modellphasen ausführt.

Verhalten der Textquelle:

Diese Optionen steuern, wie die drei Textdatensätze nach der XCP Mobilität gefunden werden. Explizite Schlüssel überschreiben die Erkennung; der lokale Fallback kann deaktiviert werden, damit die Texteingaben vom ausgewählten XCP-Ziel stammen.

[[8-4-model-training-parameters]]
== 8.4 Parameter für das Modelltraining

Diese Einstellungen wählen die lokale oder über XCP bereitgestellte Quelle aus, begrenzen das Trainingsvolumen und bewahren eine reproduzierbare Datenreihenfolge. Wenn XCP aktiviert ist, liest das Training die ausgewählte ONTAP S3 oder LustreFS Ebene und veröffentlicht die Basisartefakte wieder an demselben Zielort.

Produziert: regression_model.bin, text_vectorizer.bin, text_classifier.bin, train_metrics.json.

[[8-5-fine-tuning-parameters]]
== 8.5 Feinabstimmungsparameter

Die Feinabstimmung materialisiert die Basistextartefakte aus dem ausgewählten XCP-Ziel, wendet inkrementelles Lernen auf den Feinabstimmungsdatensatz an und veröffentlicht den optimierten Klassifikator und seine Metriken erneut. Die XCP-Einstellungen sollten mit dem Modelltraining konsistent bleiben, um die Herkunft der Artefakte zu gewährleisten.

Verbraucht: text_vectorizer.bin, text_classifier.bin, text_finetune.json. Produziert: text_classifier_tuned.bin, fine_tune_metrics.json.

[[8-6-inference-parameters]]
== 8.6 Inferenzparameter

Diese Flags steuern den Umfang der Bewertung, nachdem das optimierte Modell aus der ausgewählten Trainingsstufe generiert wurde. Eine der Optionen ist zu aktivieren, wenn Validierungs- oder Geschäftsanforderungen Ausgaben erfordern, die über die standardmäßige Inferenzaufteilung und die Inferenztexteingabe hinausgehen.

Verbraucht: regression_model.bin, text_vectorizer.bin, text_classifier_tuned.bin. Erzeugt: tabular_predictions.csv, text_predictions.json.

[[8-7-checkpoint-parameters]]
== 8.7 Checkpoint-Parameter

Checkpointing ist auf model_training beschränkt. Diese Einstellungen legen fest, ob ein Datensatz zum Trainingsabschluss erstellt wird, wo dieser gespeichert wird, wie mit Upload-Fehlern umgegangen wird und ob ein späterer Durchlauf ein gültiges abgeschlossenes Trainingsergebnis überprüft oder wiederverwendet.

[[8-8-manual-archive-parameters]]
== 8.8 Manuelle Archivparameter

Diese Gruppe dient zum Aktivieren der StorageGRID Archivierung, zum Angeben des Ziel-Bucket und der Zugangsdaten sowie zum Auswählen des Archivierungspunkts. Der ausgewählte manual_archive_stage steuert sowohl den Zeitpunkt der Archivierung als auch, ob das Archiv nur Trainingsartefakte der Baseline oder den vollständigen Ergebnissatz der Inferenz enthält.

Aliase: fabricpool_archive_* für alle manual_archive_* Parameter.

[[8-8-1-manual-archive-stage-decision]]
=== 8.8.1 Entscheidung über die manuelle Archivstufe

Die route_manual_archive_stage Branch Task liest manual_archive_stage einmal pro DAG Lauf. Der ausgewählte Wert bestimmt sowohl, wann die Archivierung ausgeführt wird, als auch, welche Artefakte in den StorageGRID Archivierungs Bucket hochgeladen werden. Archivobjekte werden unter s3://<manual_archive_bucket>/<manual_archive_prefix>/<stage>/<run_stamp>/ gespeichert.

Für beide Auswahlmöglichkeiten wird manual_archive_include_xcp_inputs=true festgelegt, dass lokal materialisierte XCP-Trainingseingaben hinzugefügt werden, sofern vorhanden. manual_archive_enabled=false wird so festgelegt, dass die Archivierungsaufgabe übersprungen wird, ohne den Trainings- und Inferenz-Workflow zu ändern.

[[8-9-complete-sample-configuration]]
== 8.9 Vollständige Beispielkonfiguration

Dieser Katalog enthält Startkonfigurationen für die wichtigsten Bereitstellungs- und Testpfade. Allen Beispielen liegt zugrunde, dass sich Rohdaten in StorageGRID befinden und aufbereitete Daten in den ONTAP NAS Bucket geschrieben werden. Bucket-Namen, Endpunktadressen, Dateisystempfade und Profilnamen sind durch Werte aus der Zielumgebung zu ersetzen. Produktionszugriffsschlüssel oder Geheimnisse dürfen nicht in CONF_JSON abgelegt werden; die Konfiguration erfolgt stattdessen über Airflow Connections, Variables oder ein Secrets Backend.

[[8-9-1-xcp-to-lustrefs-with-spark-and-delta-lake]]
=== 8.9.1 XCP zu LustreFS mit Spark und Delta Lake

Dieses Beispiel mit vollem Durchsatz wird für die verteilte Vorbereitung und die Hochleistungsmodell-E/A von LustreFS verwendet. Es verarbeitet alle geeigneten tabellarischen Dateien unter s3_raw_prefix, schreibt Delta-Tabellen während der Vorbereitung, speichert den Trainings-Checkpoint im ONTAP NAS prepared-data bucket und archiviert die vollständige Inferenz-Ergebnismenge.

[[8-9-2-no-xcp-with-python-preparation]]
=== 8.9.2 Keine XCP Vorbereitung mit Python

Diese Basiskonfiguration wird für einen ressourcenschonenden Funktionslauf verwendet. Die Vorbereitung nutzt die lokale Python Engine, und die nachfolgenden Phasen verwenden die lokalen Pfade der Pipeline für vorbereitete Daten und Artefakte; XCP, Spark, Tabellenformate, Checkpoint-Wiederverwendung und Archivierung sind deaktiviert.

[[8-9-3-python-preparation-with-two-explicit-input-files]]
=== 8.9.3 Python Vorbereitung mit zwei expliziten Eingabedateien

Dieser gezielte Test dient zur Validierung der Pipeline anhand von zwei bekannten StorageGRID CSV-Objekten. s3_tabular_object_keys Die automatische Erkennung tabellarischer Dateien wird deaktiviert; die Texteingaben verwenden weiterhin ihre erwarteten Speicherorte unter dem Rohdaten-Präfix.

[[8-9-4-python-preparation-with-automatic-all-file-discovery]]
=== 8.9.4 Python Vorbereitung mit automatischer Erkennung aller Dateien

Wenn s3_tabular_object_keys und s3_tabular_object_key weggelassen werden, werden alle geeigneten tabellarischen Objekte unter dem StorageGRID Rohdaten-Präfix verarbeitet. Dieses Beispiel eignet sich für einen Funktions- oder Skalierungstest für alle Dateien mithilfe der Python Vorbereitung Engine.

sample_count: 0 bedeutet, dass bei der Datenaufbereitung alle verfügbaren Zeilen verwendet werden. Für einen begrenzten Testlauf ist ein positiver Wert festzulegen.

[[8-9-5-xcp-to-ontap-s3-with-python-preparation]]
=== 8.9.5 XCP zu ONTAP S3 mit Python Vorbereitung

Diese Konfiguration wird verwendet, wenn vorbereitete Daten vom ONTAP NAS NFS-Export in einen ONTAP S3 Training Bucket kopiert werden müssen. Modelltraining, Feinabstimmung und Inferenz erzeugen und veröffentlichen Artefakte über dasselbe ONTAP S3-Ziel.

[[8-9-6-xcp-to-ontap-s3-with-spark-and-iceberg]]
=== 8.9.6 XCP zu ONTAP S3 mit Spark und Iceberg

Diese Konfiguration wird für die verteilte Vorbereitung mit Iceberg-Tabellenausgabe und ONTAP S3 als aktivem Trainingsziel verwendet. Dabei werden spark_required und table_format_required auf true gesetzt, wenn ein Lauf fehlschlagen muss, anstatt auf eine Alternative zurückzugreifen, falls Spark oder Iceberg nicht verfügbar sind.

[[8-9-7-scenario-selection-summary]]
=== 8.9.7 Zusammenfassung der Szenarioauswahl

[[8-9-8-execution-walkthroughs]]
=== 8.9.8 Walkthroughs zur Ausführung

Die Beispiele werden aus dem Airflow workspace ausgeführt. Das trigger script generiert eine eindeutige manual__<UTC timestamp> run ID, wartet auf den Abschluss und gibt bei einem fehlgeschlagenen oder mit Zeitüberschreitung beendeten Lauf einen Exit-Code ungleich null zurück. Die folgenden vollständigen Konfigurationen verwenden dasselbe CONF_JSON="$(python3 - <<'PY' …​)" Muster wie die Betriebsbeispiele. Die referenzierten Airflow-managed connections, XCP profiles und archive profiles werden vor der Ausführung in Ihrem secrets backend konfiguriert, und CONF_JSON dies bleibt auf Bucket-, Endpunkt-, Pfad- und Profilkennungen ohne Secrets beschränkt.

Der gültige Tabellenformatname lautet iceberg. icerberg ist kein unterstützter Wert.

Alle Dateien, Spark, Iceberg, XCP zu ONTAP S3, Checkpoint zu prepared-data S3, Archiv nach der Inferenz:

Alle Dateien, Spark, Iceberg, XCP nach LustreFS, Checkpoint in prepared-data S3, Archiv nach Inferenz:

Für den ONTAP S3 Modus wird nur der nicht geheime xcp_s3_profile`Name in `CONF_JSON übergeben, und die entsprechenden Anmeldeinformationen werden vor dem Lauf auf dem XCP Host oder über den von Airflow verwalteten Secret Storage definiert. Für den LustreFS Modus wird die xcp_s3_profiles Zuordnung absichtlich ausgelassen, da die Trainingsroute ONTAP S3 Anmeldeinformationen nicht auflöst. In beiden Beispielen werden die Anmeldeinformationen für StorageGRID Rohdaten, ONTAP NAS vorbereitete Daten und das Archiv über den von Airflow verwalteten Secret Storage und nicht als Inline JSON definiert. Das Weglassen von s3_tabular_object_keys und das Festlegen von sample_count auf 0 fordert die automatische Erkennung aller geeigneten Tabellendateien sowie die Verwendung aller verfügbaren Zeilen an.

Python, kein XCP, Test mit zwei Dateien:

Spark, Delta Lake, XCP zu LustreFS:

Spark, Iceberg, XCP zu ONTAP S3:

Vor einem XCP Lauf ist zu prüfen, ob der konfigurierte ONTAP NAS NFS Pfad und die Erreichbarkeit des Ziels vom XCP Host aus gegeben sind. Nach einem erfolgreichen Lauf sind die Aufgabenprotokolle für [data_prep] effective_config, [xcp_copy] effective_config, [model_training] effective_config und [manual_archive] zu prüfen, um die ausgewählte Engine, den Eingabebereich, das Ziel und die Archivierungsphase zu bestätigen.