MLOps de código aberto com NetApp
Sugerir alterações
PDFs
, NetApp, NetApp, NetApp, NetApp
Empresas e organizações de todos os tamanhos e de vários setores estão recorrendo à inteligência artificial (AI) para resolver problemas do mundo real, fornecer produtos e serviços inovadores e obter vantagem em um mercado cada vez mais competitivo. Muitas organizações estão recorrendo a ferramentas de MLOps de código aberto para acompanhar o ritmo acelerado da inovação no setor. Essas ferramentas de código aberto oferecem recursos avançados e recursos de ponta, mas muitas vezes não são responsáveis pela disponibilidade de dados e segurança de dados. Infelizmente, isso significa que cientistas de dados altamente qualificados são forçados a gastar uma quantidade significativa de tempo esperando para obter acesso aos dados ou esperar que operações relacionadas a dados rudimentares sejam concluídas. Ao emparelhar ferramentas de MLOps de código aberto populares com uma infraestrutura de dados inteligente da NetApp, as organizações podem acelerar seus pipelines de dados. Por sua vez, acelera suas iniciativas de AI. Eles podem extrair valor de seus dados, ao mesmo tempo em que garantem a proteção e a segurança. Essa solução demonstra o emparelhamento dos recursos de gerenciamento de dados do NetApp com várias ferramentas e estruturas de código aberto populares para lidar com esses desafios.
A lista a seguir destaca alguns recursos principais que são habilitados por esta solução:
-
Os usuários podem provisionar rapidamente novos volumes de dados de alta capacidade e espaços de trabalho de desenvolvimento com respaldo de storage NetApp de alta performance com escalabilidade horizontal.
-
Os usuários podem clonar quase instantaneamente volumes de dados de alta capacidade e espaços de trabalho de desenvolvimento para permitir experimentação ou iteração rápida.
-
Os usuários podem salvar snapshots de volumes de dados de alta capacidade e espaços de trabalho de desenvolvimento quase instantaneamente para backup e/ou rastreabilidade/linha de base.
Um fluxo de trabalho típico MLOps incorpora espaços de trabalho de desenvolvimento, geralmente tomando a forma "Computadores portáteis Jupyter"de ; acompanhamento de experimentos; pipelines de treinamento automatizado; pipelines de dados e inferência/implantação. Esta solução destaca várias ferramentas e estruturas diferentes que podem ser usadas de forma independente ou em conjunto para abordar os diferentes aspetos do fluxo de trabalho. Também demonstramos o emparelhamento dos recursos de gerenciamento de dados do NetApp com cada uma dessas ferramentas. Esta solução destina-se a oferecer blocos de construção a partir dos quais uma organização pode construir um fluxo de trabalho personalizado MLOps que é específico para seus casos de uso e requisitos.
As seguintes ferramentas/frameworks são abordadas nesta solução:
A lista a seguir descreve padrões comuns para implantar essas ferramentas de forma independente ou em conjunto.
-
Implante JupyterHub, MLflow e Apache Airflow em conjunto - JupyterHub para "Computadores portáteis Jupyter", MLflow para rastreamento de experimentos e Apache Airflow para treinamento automatizado e pipelines de dados.
-
Implante Kubeflow e Apache Airflow em conjunto - Kubeflow para "Computadores portáteis Jupyter", acompanhamento de experimentos, pipelines de treinamento automatizado e inferência; e Apache Airflow para pipelines de dados.
-
Implante o Kubeflow como uma solução completa de plataforma MLOps para "Computadores portáteis Jupyter", rastreamento de experimentos, treinamento automatizado, pipelines de dados e inferência.