Helm est le moyen le plus simple de déployer rapidement cnvrg dans n'importe quel cluster, sur site, Minikube ou dans n'importe quel cluster cloud (AKS, EKS et GKE, par exemple). Cette section décrit comment cnvrg a été installé sur une instance locale (DGX-1) avec Kubernetes installé.

Le système d'exploitation cesnvrg.io ai a été déployé sur une configuration Kubernetes sur une architecture NetApp ONTAP ai optimisée par le système NVIDIA DGX. Pour la validation, nous avons utilisé le jeu de données de radiographie du thorax NIH composé d'images déidentifiées des radiographies pulmonaires. Les images étaient au format PNG. Les données ont été fournies par le Centre clinique des NIH et sont disponibles par l'intermédiaire du "Site de téléchargement NIH". Nous avons utilisé un échantillon de 250 Go de données comportant 627, 615 images dans 15 classes.

Le dataset a été téléchargé sur la plateforme cnvrg et a été mis en cache sur une exportation NFS depuis le système de stockage NetApp AFF A800.

L'architecture cnvrg et la fonctionnalité de méta-planification permettent aux ingénieurs et aux professionnels DE L'IT d'associer différentes ressources de calcul à une seule plateforme. Dans notre configuration, nous avons utilisé le même cluster cnvrg qui a été déployé pour exécuter les workloads d'apprentissage profond. Si vous devez ajouter des clusters, utilisez l'interface graphique, comme illustré ci-dessous.

Pour charger des données sur la plateforme cnvrg, vous pouvez utiliser l'interface graphique ou l'interface de ligne de commande cnvrg. Pour les jeux de données volumineux, NetApp recommande l'utilisation de l'interface de ligne de commande, car il s'agit d'un outil robuste, évolutif et fiable capable de gérer un grand nombre de fichiers.

Pour télécharger des données, procédez comme suit :

Pour accélérer l'entraînement et éviter de télécharger plus de 600 000 fichiers pour chaque essai et entraînement du modèle, nous avons utilisé la fonctionnalité de mise en cache des données après la première mise en ligne des données dans le magasin d'objets central du data Lake.

Lorsque les utilisateurs cliquent sur cache, cnvrg télécharge les données de leur validation spécifique depuis le magasin d'objets distant et les met en cache sur le volume NFS ONTAP. Les données sont ensuite disponibles pour un entraînement instantané. De plus, si les données ne sont pas utilisées pendant quelques jours (pour l'entraînement ou l'exploration des modèles, par exemple), cnvrg efface automatiquement le cache.

Les flux cnvrg vous permettent de construire facilement des pipelines DE ML de production. Les flux sont flexibles, peuvent fonctionner pour tous types d'utilisation DU ML et peuvent être créés via l'interface utilisateur graphique ou le code. Chaque composant d'un flux peut s'exécuter sur une ressource de calcul différente avec une image Docker différente, ce qui permet de créer un cloud hybride et des pipelines DE ML optimisés.

Chaque algorithme ou composant des flux cnvrg peut être exécuté sur une instance de calcul différente, avec une image Docker différente. Dans notre configuration, nous voulions exécuter l'algorithme d'entraînement sur les systèmes NVIDIA DGX avec l'architecture NetApp ONTAP ai. Dans la figure suivante, nous avons sélectionné gpu-real, qui est un modèle de calcul et une spécification pour notre cluster sur site. Nous avons également créé une file d'attente de modèles et sélectionné plusieurs modèles. De cette façon, si le gpu-real les ressources ne peuvent pas être allouées (si, par exemple, d'autres data scientists l'utilisent), vous pouvez activer la bursting en ajoutant un modèle de fournisseur de cloud. La capture d'écran suivante montre l'utilisation de gpu-Real comme nœud de calcul pour ResNet50.