Karthikeyan Nagalingam, NetApp

Esta arquitetura validada apresenta um pipeline de dados de IA governado, com reconhecimento de camadas de storage, orquestrado pelo Apache Airflow. A solução ingere dados brutos tabulares e de texto do NetApp StorageGRID, prepara conjuntos de dados determinísticos e manifestos em um bucket NAS do ONTAP e usa o NetApp XCP para mover os dados preparados para o NetApp ONTAP S3 ou o LustreFS, de acordo com a configuração de tempo de execução. Em seguida, ela treina e ajusta incrementalmente modelos scikit-learn, gera previsões, cria checkpoints das saídas de treinamento bem-sucedidas e arquiva modelos, métricas, manifestos e evidências de previsão no StorageGRID. A arquitetura oferece execução reproduzível, posicionamento de storage configurável, proteções contra falhas, recuperação baseada em checkpoints e linhagem auditável em todo o ciclo de vida da IA. Ela se destina a arquitetos, engenheiros de dados, engenheiros de ML e equipes de infraestrutura que precisam de um padrão repetível de implantação e validação para pipelines de IA em diferentes camadas de storage do NetApp.