カーティケヤン ナガリンガム、NetApp

この検証済みのアーキテクチャは、Apache Airflow によってオーケストレーションされる、統制されたストレージ階層対応の AI データパイプラインを提供します。このソリューションは、NetApp StorageGRID から生の表形式データとテキストデータを取り込み、ONTAP NAS バケット上に決定論的なデータセットとマニフェストを準備し、NetApp XCP を使用して、実行時の設定に応じて準備済みデータを NetApp ONTAP S3 または LustreFS に移動します。次に、scikit-learn モデルをトレーニングして段階的にファインチューニングし、予測を生成し、トレーニングの成功した出力をチェックポイントし、モデル、メトリクス、マニフェスト、および予測の証拠を StorageGRID にアーカイブします。このアーキテクチャは、再現可能な実行、構成可能なストレージ配置、障害ガードレール、チェックポイントベースのリカバリ、および AI ライフサイクル全体にわたる監査可能なリネージを提供します。これは、NetApp ストレージ階層全体にわたる AI パイプラインの再現可能なデプロイと検証パターンを必要とするアーキテクト、データエンジニア、ML エンジニア、およびインフラストラクチャチームを対象としています。