Tudo o que você precisa para construir um pipeline DE ML está incluído na plataforma Iguazio. O desenvolvedor pode definir as especificações das imagens do Docker necessárias para executar o pipeline e executar a criação de imagens a partir do Jupyter notebook. Abra o notebook create- images.ipynb e execute todas as células.

Este caderno cria duas imagens que usamos no pipeline.

A tabela a seguir lista as bibliotecas e frameworks que usamos para construir essa tarefa. Todos esses componentes foram totalmente integrados com os controles de acesso e segurança baseados em função do Iguazio.

Usamos vários cadernos para construir o pipeline DE ML. Cada notebook pode ser testado individualmente antes de ser reunido no pipeline. Nós cobrimos cada notebook individualmente após o fluxo de implantação deste aplicativo de demonstração.

O resultado desejado é um pipeline que treina um modelo com base em uma cópia Snapshot dos dados e implanta o modelo para inferência. Um diagrama de blocos de um pipeline MLRun concluído é mostrado na imagem a seguir.

Esta seção descreve como usamos funções sem servidor do Nuclio para gerar dados de dispositivos de rede. O caso de uso é adaptado de um cliente Iguazio que implantou o pipeline e usou serviços Iguazio para monitorar e prever falhas de dispositivos de rede.

Simulamos dados provenientes de dispositivos de rede. A execução do notebook Jupyter data- generator.ipynb cria uma função sem servidor que é executada a cada 10 minutos e gera um arquivo Parquet com novos dados. Para implantar a função, execute todas as células neste notebook. Consulte o "Nuclio website" para rever todos os componentes desconhecidos neste notebook.

Uma célula com o seguinte comentário é ignorada ao gerar a função. Presume-se que cada célula do caderno faça parte da função. Importe o módulo Nuclio para ativar `%nuclio magic`o .

Na especificação para a função, definimos o ambiente em que a função é executada, como ela é acionada e os recursos que ela consome.

A init_context função é invocada pelo framework Nuclio após a inicialização da função.

Qualquer código que não esteja em uma função é invocado quando a função é inicializada. Quando você invocá-lo, uma função handler é executada. Você pode alterar o nome do manipulador e especificá-lo na especificação da função.

Você pode testar a função do notebook antes da implantação.

A função pode ser implantada a partir do notebook ou pode ser implantada a partir de um pipeline de CI/CD (adaptando esse código).

A combinação de executar todos os notebooks em um pipeline permite a execução contínua de experimentos para reavaliar a precisão do modelo em relação a novas métricas. Primeiro, abra o pipeline.ipynb notebook. Nós levamos você através de detalhes que mostram como o NetApp e o Iguazio simplificam a implantação deste pipeline DE ML.

Usamos MLRun para fornecer contexto e lidar com alocação de recursos para cada etapa do pipeline. O serviço da API MLRun é executado na plataforma Iguazio e é o ponto de interação com os recursos do Kubernetes. Cada desenvolvedor não pode solicitar recursos diretamente; a API lida com as solicitações e habilita controles de acesso.

O pipeline funciona com o NetApp Cloud volumes e volumes no local. Criamos essa demonstração para usar o Cloud volumes, mas você pode ver no código a opção de executar no local.

A primeira ação necessária para transformar um notebook Jupyter em uma etapa do Kubeflow é transformar o código em uma função. Uma função tem todas as especificações necessárias para executar esse notebook. À medida que você percorre o notebook, você pode ver que definimos uma função para cada etapa do pipeline.

Também definimos parâmetros para as etapas.

Depois de ter a definição de função para todas as etapas, você pode construir o pipeline. Usamos o kfp módulo para fazer essa definição. A diferença entre usar MLRun e construir por conta própria é a simplificação e encurtamento da codificação.

As funções que definimos são transformadas em componentes de etapa usando a as_step função de MLRun.