Présentation de la technologie
Cette section présente les différents composants techniques nécessaires pour compléter cette solution.
Protopia
Protopia ai offre une solution logicielle unique et discrète pour l'inférence confidentielle sur le marché actuel. La solution Protopia offre une protection sans précédent pour les services d'inférence en minimisant l'exposition des informations sensibles. L'IA n'est alimentée que les informations qui figurent dans les enregistrements de données. Il est primordial de mener à bien la tâche à bien et rien de plus. La plupart des tâches d'inférence n'utilisent pas toutes les informations qui existent dans chaque enregistrement de données. Que votre IA consomme des images, de la voix, des vidéos ou même des données tabulaires structurées, Protopia fournit uniquement ce dont le service d'inférence a besoin. La technologie de base brevetée fait appel à un bruit mathématiquement choisi pour transformer les données avec beaucoup de place et pour brouiller les informations qui ne sont pas nécessaires à un service DE ML donné. Cette solution ne masque pas les données ; elle modifie plutôt la représentation des données en utilisant un bruit aléatoire adapté.
La solution Protopia formule le problème de la modification de la représentation en tant que méthode d'optimisation des perturbations à base de gradient qui conserve toujours les informations pertinentes dans l'espace de la fonction d'entrée par rapport à la fonctionnalité du modèle. Ce processus de détection s'exécute comme un pass d'ajustement à la fin de l'entraînement du modèle DE ML. Une fois que le pass génère automatiquement un ensemble de distributions de probabilité, une transformation des données à faible surcharge applique des échantillons de bruit de ces distributions aux données, l'obfusant avant de les transmettre au modèle pour l'inférence.
NetApp ONTAP ai
L'architecture de référence NetApp ONTAP ai, optimisée par les systèmes DGX A100 et les systèmes de stockage connectés au cloud de NetApp, a été développée et vérifiée par NetApp et NVIDIA. Et présente plusieurs avantages pour les services IT :
-
Simplifie la conception
-
Offre une évolutivité indépendante des ressources de calcul et de stockage
-
Possibilité de faire évoluer de manière fluide une infrastructure initiale de petite taille
-
Propose plusieurs options de stockage pour répondre à des exigences variées de coûts et de performance
ONTAP ai intègre étroitement les systèmes DGX A100 et de stockage NetApp AFF A800 avec une connectivité réseau optimale. ONTAP ai simplifie les déploiements d'IA en éliminant la complexité et les approximations. Les clients peuvent commencer avec une petite infrastructure, puis évoluer sans interrompre l'activité, tout en gérant intelligemment leurs données de la périphérie au cœur, et jusqu'au cloud, et inversement.
La figure suivante montre plusieurs variations de la gamme de solutions ONTAP ai avec les systèmes DGX A100. Les performances du système AFF A800 sont vérifiées avec un maximum de huit systèmes DGX A100. En ajoutant des paires de contrôleurs de stockage au cluster ONTAP, l'architecture peut évoluer vers plusieurs racks pour prendre en charge de nombreux systèmes DGX A100 et des pétaoctets de capacité de stockage avec des performances linéaires. Cette approche flexible permet d'ajuster les ratios de calcul/stockage de manière indépendante, en fonction de la taille des modèles d'apprentissage profond utilisés et des metrics de performance requis.
Pour plus d'informations sur ONTAP ai, rendez-vous sur "NVA-1153 : NetApp ONTAP ai avec des systèmes NVIDIA DGX A100 et des switchs Ethernet Mellanox Spectrum."
NetApp ONTAP
ONTAP 9.11, la dernière génération de logiciel de gestion du stockage de NetApp, permet aux entreprises de moderniser l'infrastructure et de passer à un data Center prêt pour le cloud. Avec des capacités de gestion des données à la pointe du secteur, ONTAP permet de gérer et de protéger les données avec un seul ensemble d'outils, quel que soit leur emplacement. Vous pouvez aussi déplacer vos données librement partout où elles sont nécessaires : la périphérie, le cœur ou le cloud. ONTAP 9.11 comprend de nombreuses fonctionnalités qui simplifient la gestion des données, accélèrent et protègent les données stratégiques, et permettent d'utiliser des fonctionnalités d'infrastructure nouvelle génération dans toutes les architectures de cloud hybride.
Kit NetApp DataOps
Le kit NetApp DataOps est une bibliothèque Python qui facilite le clonage quasi instantané d'un volume de données ou d'un espace de travail JupyterLab par exemple, des développeurs, des data Scientists, et des ingénieurs DevOps, Et de réaliser quasi-instantanément des snapshots d'un volume de données ou d'un espace de travail JupyterLab pour la traçabilité ou l'établissement de base. Cette bibliothèque Python peut fonctionner comme un utilitaire de ligne de commande ou une bibliothèque de fonctions que vous pouvez importer dans n'importe quel programme Python ou ordinateur portable Jupyter.
Serveur d'inférence NVIDIA Triton
NVIDIA Triton Inférence Server est un logiciel d'inférence open source qui permet de standardiser le déploiement et l'exécution des modèles afin d'assurer l'IA rapide et évolutive en production. Triton Inférence Server rationalise l'inférence d'IA en permettant aux équipes de déployer, d'exécuter et de faire évoluer les modèles d'IA entraînés à partir de n'importe quelle infrastructure basée sur le processeur ou le processeur graphique. Triton Inférence Server prend en charge toutes les structures majeures, telles que TensorFlow, NVIDIA TensorRT, PyTorch, MXNet, OpenVINO, etc. Triton s'intègre à Kubernetes pour l'orchestration et l'évolutivité que vous pouvez utiliser dans toutes les principales plateformes d'IA et Kubernetes de cloud public. Il est également intégré à de nombreuses solutions logicielles MLOps.
PyTorch
"PyTorch" Est un framework DE ML open source. Il s'agit d'une bibliothèque Tensor optimisée pour le deep learning, qui utilise les GPU et les processeurs. Le paquet PyTorch contient des structures de données pour les tenseurs multidimensionnels qui fournissent de nombreux utilitaires pour la sérialisation efficace des tenseurs entre autres utilitaires utiles. Il dispose également d'un homologue CUDA qui vous permet d'exécuter vos calculs Tensor sur un GPU NVIDIA offrant des capacités de calcul. Dans cette validation, nous utilisons la bibliothèque OpenCV-Python (cv2) pour valider notre modèle tout en tirant parti des concepts de vision informatique les plus intuitifs de Python.
Gestion simplifiée
La gestion des données est cruciale pour les opérations IT et les data Scientists, de sorte que les ressources appropriées sont utilisées pour les applications d'IA et pour l'entraînement des datasets d'IA/DE ML. Les informations supplémentaires suivantes sur les technologies NetApp ne sont pas incluses dans cette validation, mais elles peuvent être pertinentes en fonction de votre déploiement.
Le logiciel de gestion des données ONTAP comprend les fonctionnalités suivantes pour rationaliser et simplifier les opérations et réduire le coût total d'exploitation :
-
Compaction des données à la volée et déduplication étendue La compaction des données réduit le gaspillage d'espace à l'intérieur des blocs de stockage, et la déduplication augmente considérablement la capacité effective. Cela s'applique aux données stockées localement et à leur placement dans le cloud.
-
Qualité de service (AQoS) minimale, maximale et adaptative. Les contrôles granulaires de la qualité de service (QoS) permettent de maintenir les niveaux de performance des applications stratégiques dans des environnements hautement partagés.
-
NetApp FabricPool Tiering automatique des données inactives vers des options de stockage de cloud public et privé, notamment Amazon Web Services (AWS), Azure et la solution de stockage NetApp StorageGRID. Pour plus d'informations sur FabricPool, voir "Tr-4598 : meilleures pratiques de FabricPool".
Accélération et protection des données
ONTAP offre des niveaux supérieurs de performances et de protection des données et étend ces fonctionnalités aux méthodes suivantes :
-
Des performances élevées et une faible latence. ONTAP offre le débit le plus élevé possible à la latence la plus faible possible.
-
Protection des données. ONTAP fournit des fonctionnalités de protection des données intégrées avec une gestion commune sur toutes les plateformes.
-
NetApp Volume Encryption (NVE). ONTAP offre un chiffrement natif au niveau du volume avec un support de gestion des clés interne et externe.
-
Colocation et authentification multifacteur. ONTAP permet le partage des ressources d'infrastructure avec les plus hauts niveaux de sécurité.
Une infrastructure pérenne
ONTAP permet de répondre aux besoins métier en constante évolution grâce aux fonctionnalités suivantes :
-
Évolutivité transparente et opérations non disruptives. ONTAP prend en charge l'ajout non disruptif de capacité aux contrôleurs et l'évolution scale-out des clusters. Les clients peuvent effectuer la mise à niveau vers les technologies les plus récentes, telles que NVMe et FC 32 Gb, sans migration des données ni panne coûteuse.
-
Connexion cloud. ONTAP est le logiciel de gestion de stockage le plus connecté au cloud, avec des options de stockage Software-defined (ONTAP Select) et des instances natives de cloud (Google Cloud NetApp volumes) dans tous les clouds publics.
-
Intégration avec les applications émergentes ONTAP propose des services de données d'entreprise pour les plateformes et applications nouvelle génération, telles que les véhicules autonomes, les Smart cities et Industry 4.0, en utilisant la même infrastructure prenant en charge les applications d'entreprise existantes.
NetApp Astra Control
La gamme NetApp Astra propose des services de stockage et de gestion des données respectueuse des applications pour les applications Kubernetes sur site et dans le cloud public, optimisés par les technologies NetApp de stockage et de gestion des données. Il vous permet de sauvegarder facilement les applications Kubernetes, de migrer des données vers un autre cluster et de créer instantanément des clones d'applications de travail. Si vous devez gérer les applications Kubernetes s'exécutant dans un cloud public, consultez la documentation de "Service Astra Control". Astra Control Service est un service géré par NetApp qui permet la gestion des données intégrant la cohérence applicative des clusters Kubernetes dans Google Kubernetes Engine (GKE) et Azure Kubernetes Service (AKS).
NetApp Trident
Astra "Trident" À partir de NetApp, est un orchestrateur de stockage dynamique open source pour Docker et Kubernetes qui simplifie la création, la gestion et la consommation du stockage persistant. Trident, une application Kubernetes native, s'exécute directement dans un cluster Kubernetes. Trident permet de déployer de manière transparente des images de conteneur d'apprentissage profond sur un système de stockage NetApp et offre une expérience haute performance pour les déploiements de conteneurs d'IA. Les utilisateurs de Kubernetes (développeurs DE ML, data Scientists, etc.) peuvent créer, gérer et automatiser l'orchestration et le clonage pour exploiter des fonctionnalités avancées de gestion des données optimisées par la technologie NetApp.
Copie et synchronisation NetApp BlueXP
"Copie et synchronisation BlueXP" Est un service NetApp permettant une synchronisation sûre et rapide des données. Qu'il s'agisse de transférer des fichiers entre des partages de fichiers NFS ou SMB sur site, NetApp StorageGRID, NetApp ONTAP S3, Google Cloud NetApp volumes, Azure NetApp Files, Amazon simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS), Azure Blob, Google Cloud Storage ou IBM Cloud Object Storage, BlueXP Copy and Sync déplace les fichiers où vous en avez besoin rapidement et en toute sécurité. Une fois vos données transférées, elles peuvent être utilisées à la source et à la cible. BlueXP Copy et Syncc synchronisent en continu les données en fonction de votre planification prédéfinie, en déplaçant uniquement les données modifiées. Le temps et l'argent consacrés à la réplication des données sont ainsi réduits. BlueXP Copy and Sync est un outil SaaS extrêmement simple à configurer et à utiliser. Les transferts de données déclenchés par la copie et la synchronisation BlueXP sont effectués par les courtiers de données. Vous pouvez déployer des courtiers de données BlueXP Copy and Sync dans AWS, Azure, Google Cloud Platform ou sur site.
Classification de NetApp BlueXP
Reposant sur de puissants algorithmes d'IA, "Classification de NetApp BlueXP" permet d'automatiser le contrôle et la gouvernance des données dans l'ensemble de votre environnement de données. Vous pouvez facilement identifier les économies réalisables, identifier les problèmes de conformité et de confidentialité, et trouver des opportunités d'optimisation. Le tableau de bord de classification BlueXP vous donne les informations nécessaires pour identifier les données en double afin d'éliminer la redondance, mapper les données personnelles, non personnelles et sensibles, et activer les alertes pour les données sensibles et les anomalies.