取り込み

ingestion_tool`は `s3_direct、 none、 airbyte、または `nifi`を選択し、正規化されたメタデータを返します

データ準備

生の StorageGRID 表形式キーを検出/受け入れ、Airbyte/プレーン CSV を正規化し、決定論的な train/val/infer 分割を生成して、実行スタンプ付きの prepared-data プレフィックスとマニフェストを ONTAP NAS バケットに書き込みます。

データモビリティ（XCP）

ONTAP NAS NFSエクスポートから準備されたデータをコピーし、 `xcp_copy_destination`XCPターゲットとトレーニング読み取りパスを駆動します

モデルトレーニング

ローカルまたはXCP宛先（S3/LustreFS）からトレーニング；マルチフォーマット（CSV/Parquet/JSON）検出

微調整

XCP宛先から基本モデルをマテリアライズし、 `partial_fit`拡張されたクラスセットで調整済みモデルを再公開します。

推論

同じ XCP 宛先から調整済みのアーティファクトを具体化します。設定可能な分割/テキスト スコープ

チェックポイント/再開

`write_stage_checkpoint`完了レコードを保持します。 `_small_resume_guard`後続の実行時に検証/再利用します

アーカイブ

`model_training`コアとなる学習済みモデルを即座にアーカイブします。 `inferencing`予測結果を待機し、結果セット全体をアーカイブします。オプションでXCP入力の組み込みと生データフォルダのクリーンアップが可能です。

StorageGRID 生データ層

s3://raw_bucket/raw_prefix/

表形式のCSVパーツ(tabular_part_*.csv）、テキスト入力(text_base.json、 text_finetune.json、 text_infer.json）

ONTAP NAS 準備済みティア

s3://prepared_bucket/prepared_prefix/run_stamp/

フォーマットされた分割(data/tabular_*.csv）、テキストファイル、 data_prep_manifest.json、Lakehouse テーブル(tables/ Delta/Iceberg）

アクティブトレーニングティア（XCP Dest）

<xcp_prefix>/formatted/run_stamp/

コピーされたデータ分割、トレーニング済みモデルバイナリ(artifacts/*.bin）、評価指標(artifacts/*_metrics.json）

StorageGRID アーカイブティア

s3://archive_bucket/archive_prefix/stage/run_stamp/

段階的ベースラインまたはフルモデルの成果物、予測の証拠(tabular_predictions.csv、 text_predictions.json）

階層間の系譜と流れ

生データ → 準備済みデータ → アクティブティア → アーカイブデータ

エンドツーエンドのデータ移動とアーティファクトの系統は、共有された `run_stamp`を介してすべてのストレージ階層にわたってリンクされています。

StorageGRID 生データバケット

取り込み量×保持期間

ONTAP NAS 準備済みデータバケット

準備済みデータセットのサイズ × 保持された実行回数

XCPの宛先（S3またはLustre）

同時トレーニングデータセットのピークサイズ+モデルアーティファクトのオーバーヘッド

アーカイブバケット

保持ポリシー × アーカイブ段階の選択（model_training = smaller；inferencing = larger）