Neste relatório técnico, o treinamento distribuído é realizado no conjunto de dados TuSimple para deteção de faixa. O Horovod é usado no código de treinamento para conduzir treinamento distribuído de dados em vários nós de GPU simultaneamente no cluster do Kubernetes por meio do AKS. O código é empacotado como imagens de contentor para download e processamento de dados TuSimple. Os dados processados são armazenados em volumes persistentes alocados pelo plug-in NetApp Trident. Para o treinamento, mais uma imagem de contêiner é criada e usa os dados armazenados em volumes persistentes criados durante o download dos dados.

Para enviar o trabalho de treinamento e dados, use RUN: AI para orquestrar a alocação e o gerenciamento de recursos. RUN: Ai permite que você execute operações de Message passing Interface (MPI) que são necessárias para Horovod. Esse layout permite que vários nós de GPU comuniquem uns com os outros para atualizar os pesos de treinamento após cada mini lote de treinamento. Ele também permite o monitoramento do treinamento por meio da interface do usuário e CLI, facilitando o monitoramento do andamento dos experimentos.

O NetApp Snapshot é integrado ao código de treinamento e captura o estado dos dados e o modelo treinado para cada experimento. Essa funcionalidade permite rastrear a versão dos dados e do código usados, bem como o modelo treinado associado gerado.

Para configurar e instalar o cluster AKS, vá para "Crie um cluster AKS". Em seguida, siga estas séries de passos:

Para criar uma sub-rede delegada para o Azure NetApp Files, siga esta série de passos:

Os volumes do Azure NetApp Files são alocados ao cluster de aplicações e consumidos como reivindicações de volume persistente (PVCs) no Kubernetes. Por sua vez, essa alocação nos fornece a flexibilidade de mapear volumes para diferentes serviços, sejam eles notebooks Jupyter, funções sem servidor e assim por diante

Usuários de serviços podem consumir o storage da plataforma de várias maneiras. Os principais benefícios do Azure NetApp Files são:

Para concluir a configuração do Azure NetApp Files, você deve primeiro configurá-lo como descrito em "Início rápido: Configurar o Azure NetApp Files e criar um volume NFS".

No entanto, você pode omitir as etapas para criar um volume NFS para o Azure NetApp Files, pois criará volumes por meio do Trident. Antes de continuar, certifique-se de que você tem:

Em seguida, faça um peer na rede virtual AKS (VNet) com o Azure NetApp Files VNet seguindo estes passos:

Para obter mais informações, visite "Criar, alterar ou excluir um peering de rede virtual".

O Trident é um projeto de código aberto que o NetApp mantém para o storage persistente em contêineres de aplicações. O Trident foi implementado como uma controladora de provisionador externo que é executada como um pod. Ele monitora volumes e automatiza completamente o processo de provisionamento.

O NetApp Trident permite a integração contínua com o K8s ao criar e anexar volumes persistentes para armazenar conjuntos de dados de treinamento e modelos treinados. Essa funcionalidade facilita o uso do K8s por cientistas de dados e engenheiros, sem o incômodo de armazenar e gerenciar conjuntos de dados manualmente. O Trident também elimina a necessidade de os cientistas de dados aprenderem a gerenciar novas plataformas de dados à medida que integra as tarefas relacionadas ao gerenciamento de dados por meio da integração da API lógica.

Para configurar a classe de back-end e armazenamento do Azure NetApp Files, execute as seguintes etapas:

Se o cluster não vir pré-instalado com os componentes corretos do instantâneo de volume, você pode instalar manualmente esses componentes executando as seguintes etapas:

Para instalar O run:AI, execute as seguintes etapas:

O processo para baixar e processar o conjunto de dados TuSimple como uma tarefa RUN: AI é opcional. Envolve os seguintes passos:

Realizar treinamento de deteção de faixa distribuída usando o Horovod é um processo opcional. No entanto, aqui estão os passos envolvidos:

Para restaurar dados da cópia Snapshot do NetApp, execute as seguintes etapas:

Para mostrar a escalabilidade linear da solução, testes de desempenho foram feitos para dois cenários: Uma GPU e três GPUs. Alocação de GPU, utilização de GPU e memória, diferentes métricas de um e três nós foram capturadas durante o treinamento no conjunto de dados de deteção de faixa do TuSimple. Os dados são aumentados cinco vezes apenas para analisar a utilização dos recursos durante os processos de treinamento.

A solução permite que os clientes comecem com um pequeno conjunto de dados e algumas GPUs. Quando a quantidade de dados e a demanda de GPUs aumentam, os clientes podem dimensionar dinamicamente os terabytes no nível padrão e dimensionar rapidamente para o nível Premium para obter quatro vezes a taxa de transferência por terabyte sem mover dados. Este processo é explicado mais detalhadamente na seção "Níveis de serviço do Azure NetApp Files".

O tempo de processamento em uma GPU foi de 12 horas e 45 minutos. O tempo de processamento em três GPUs em três nós foi de aproximadamente 4 horas e 30 minutos.

Os números mostrados ao longo do restante deste documento ilustram exemplos de desempenho e escalabilidade com base nas necessidades individuais de negócios.

A figura abaixo ilustra a alocação de 1 GPU e a utilização de memória.

A figura abaixo ilustra a utilização de GPU de nó único.

A figura abaixo ilustra o tamanho da memória de nó único (16GB).

A figura abaixo ilustra a contagem de GPU de nó único (1).

A figura abaixo ilustra a alocação de GPU de nó único (%).

A figura abaixo ilustra três GPUs em três nós – alocação de GPUs e memória.

A figura abaixo ilustra três GPUs em três nós de utilização (%).

A figura abaixo ilustra três GPUs em três nós de utilização de memória (%).

Você pode alterar o nível de serviço de um volume existente movendo o volume para outro pool de capacidade que usa o "nível de serviço" que deseja para o volume. Essa alteração de nível de serviço existente para o volume não exige a migração de dados. Também não afeta o acesso ao volume.