수집

ingestion_tool s3_direct, none, airbyte 또는 `nifi`를 선택하고 정규화된 메타데이터를 반환합니다

데이터 준비

원시 StorageGRID 테이블 형식 키를 검색/수락하고, Airbyte/일반 CSV를 정규화하며, 결정론적 학습/검증/추론 분할을 생성하고, 실행 스탬프가 찍힌 준비된 데이터 접두사와 매니페스트를 ONTAP NAS 버킷에 기록합니다.

데이터 이동성(XCP)

ONTAP NAS NFS 내보내기에서 준비된 데이터를 복사하고, xcp_copy_destination XCP 대상 및 학습 읽기 경로를 구동합니다.

모델 학습

로컬 또는 XCP 대상(S3/LustreFS)에서 학습하며, 다양한 형식(CSV/Parquet/JSON) 검색을 지원합니다.

미세 조정

XCP 대상에서 기본 모델을 구체화하고, partial_fit 확장된 클래스 세트로 조정된 모델을 다시 게시합니다.

추론

동일한 XCP 대상에서 조정된 아티팩트를 구체화합니다. 분할/텍스트 범위를 구성할 수 있습니다.

체크포인트/재개

write_stage_checkpoint 완료 기록을 유지하고, _small_resume_guard 후속 실행 시 유효성을 검사하고 재사용합니다.

보관용

model_training 핵심 학습된 모델을 즉시 아카이브하며, inferencing 예측을 기다린 후 전체 결과 세트를 아카이브합니다. 선택적 XCP 입력 포함 및 원시 폴더 정리 기능을 지원합니다.

StorageGRID 원시 계층

s3://raw_bucket/raw_prefix/

표 형식 CSV 부분 (tabular_part_*.csv), 텍스트 입력 (text_base.json, text_finetune.json, text_infer.json)

ONTAP NAS Prepared Tier

s3://prepared_bucket/prepared_prefix/run_stamp/

형식화된 분할 (data/tabular_*.csv), 텍스트 파일, data_prep_manifest.json, Lakehouse 테이블 (tables/ Delta/Iceberg)

활성 훈련 단계(XCP Dest)

<xcp_prefix>/formatted/run_stamp/

복사된 데이터 분할, 학습된 모델 바이너리 (artifacts/*.bin), 평가 지표 (artifacts/*_metrics.json)

StorageGRID 아카이빙 티어

s3://archive_bucket/archive_prefix/stage/run_stamp/

단계별 기준선 또는 전체 모델 아티팩트, 예측 증거 (tabular_predictions.csv, text_predictions.json)

계층 간 계보 및 흐름

원시 데이터 → 준비됨 → 활성 단계 → 보관됨

공유 `run_stamp`를 통해 모든 스토리지 계층에 걸쳐 엔드투엔드 데이터 이동 및 아티팩트 계보가 연결됩니다.

StorageGRID 원시 버킷

수집 볼륨 × 보존 기간

ONTAP NAS 준비된 데이터 버킷

준비된 데이터셋 크기 × 유지된 실행 횟수

XCP 대상(S3 또는 Lustre)

최대 동시 학습 데이터셋 크기 + 모델 아티팩트 오버헤드

보관용 버킷

보존 정책 × 아카이브 단계 선택 (model_training = 더 작음; inferencing = 더 큼)