Karthikeyan Nagalingam， NetApp

本节介绍经过验证的人工智能管道的逻辑工作流程、组件交互、物理部署和数据沿袭。这些图表共同显示了 Apache Airflow 如何协调从 StorageGRID 到 ONTAP NAS 的数据移动，可选地使用 NetApp XCP 将数据放置在 ONTAP S3 或 LustreFS 上进行模型执行，并将受管控的结果返回到 StorageGRID 归档存储。

[[3-1-high-level-three-tier-ai-storage-architecture]]
== 3.1 高层三层 AI 存储架构

NetApp AI 存储架构将数据放置在与每个生命周期阶段最匹配的存储层上。StorageGRID 用于可扩展、成本优化的原始数据摄取和受管归档。ONTAP NAS 和 ONTAP S3 用作主动准备、数据移动暂存和基于对象的训练工作流。当需要高吞吐量、并行训练 I/O 时，将使用配备 LustreFS 的 E-Series。Apache Airflow 负责编排生命周期，而 NetApp XCP 将准备好的数据从 ONTAP NAS 层移动到所选的活动训练层。

[[3-2-high-level-solution-architecture]]
== 3.2 高级解决方案架构

此工作流程图显示了由 Airflow 控制的生命周期，从原始 StorageGRID 数据经过准备、可选 XCP 移动性、模型执行、检查点和归档。 `enable_xcp`确定在训练前是否将准备好的数据从 ONTAP NAS 存储桶复制到 ONTAP S3 或 LustreFS。归档分支是独立的： `manual_archive_stage=model_training`在训练后立即归档基线，而 `manual_archive_stage=inferencing`在生成预测后归档完整结果。

[[3-3-component-interaction-diagram]]
== 3.3 组件交互图

此序列图标识执行每个交换的平台组件。Airflow 从 StorageGRID 读取原始对象，并将准备好的数据写入 ONTAP NAS 存储桶；然后通过 SSH 调用 XCP。XCP 读取 ONTAP NAS NFS 导出并写入配置的训练层。最终条件块显示 StorageGRID 归档内容取决于所选的手动归档阶段。

[[3-4-physical-deployment-architecture]]
== 3.4 物理/部署架构

此部署图显示所需的主机、存储端点和网络接口。Airflow 主机对 StorageGRID、ONTAP NAS 存储桶和所选的 ONTAP S3 目标使用 S3 API，并使用 SSH 控制 XCP 主机。XCP 主机通过 NFS 访问准备好的数据源，并写入 ONTAP S3 或 LustreFS 挂载；选择 LustreFS 时，Airflow 主机还必须挂载它以读取训练数据并实现工件。

[[3-5-data-flow-overview]]
== 3.5 数据流概述

此精简流程总结了数据和制品溯源信息。每次运行都会收到一个唯一的 run_stamp，使已准备好的数据、XCP 输出、模型工件、预测结果和存档对象均可追溯至同一次执行。XCP 目标选择控制训练数据和模型工件层，而 `manual_archive_stage`则控制 StorageGRID 接收基线训练包还是完整推理包。