Grâce aux performances informatiques éprouvées de NVIDIA DGX SuperPOD combinées aux capacités de sécurité des données, de gouvernance des données et de multi-location de pointe de NetApp, les clients peuvent déployer l'infrastructure la plus efficace et la plus agile pour les charges de travail de nouvelle génération. Ce document décrit l'architecture de haut niveau et les fonctionnalités clés qui aident les clients à accélérer la mise sur le marché et le retour sur investissement des initiatives d'IA/ML.

NVIDIA DGX SuperPOD offre une solution de centre de données IA clé en main pour les organisations, offrant de manière transparente des outils informatiques, des outils logiciels, une expertise et une innovation continue de classe mondiale. DGX SuperPOD fournit tout ce dont les clients ont besoin pour déployer des charges de travail AI/ML et HPC avec un temps de configuration minimal et une productivité maximale. La figure 1 montre les composants de haut niveau du DGX SuperPOD.

Figure 1) NVIDIA DGX SuperPOD avec systèmes de stockage NetApp AFF A90 .

DGX SuperPOD offre les avantages suivants :

Alors que les organisations adoptent des initiatives d’intelligence artificielle (IA) et d’apprentissage automatique (ML), la demande de solutions d’infrastructure robustes, évolutives et efficaces n’a jamais été aussi grande. Au cœur de ces initiatives se trouve le défi de gérer et de former des modèles d’IA de plus en plus complexes tout en garantissant la sécurité des données, l’accessibilité et l’optimisation des ressources.  L’évolution de l’IA agentique et les exigences sophistiquées en matière de formation de modèles ont créé des demandes sans précédent en matière d’infrastructures de calcul et de stockage. Les organisations doivent désormais gérer des ensembles de données massifs, prendre en charge plusieurs charges de travail de formation simultanées et maintenir des environnements informatiques hautes performances tout en garantissant la protection des données et la conformité réglementaire. Les solutions d’infrastructure traditionnelles ont souvent du mal à répondre à ces demandes, ce qui entraîne des inefficacités opérationnelles et des retards dans la rentabilisation des projets d’IA.  Cette solution offre les principaux avantages suivants :

DGX SuperPOD est basé sur le concept d'une unité évolutive (SU) qui comprend 32 systèmes DGX B200 et tous les autres composants nécessaires pour fournir la connectivité requise et éliminer tout goulot d'étranglement des performances dans l'infrastructure. Les clients peuvent commencer avec un ou plusieurs SU et ajouter des SU supplémentaires selon leurs besoins pour répondre à leurs besoins. Ce document décrit la configuration de stockage pour un seul SU et le tableau 1 montre les composants nécessaires pour des configurations plus grandes.

L'architecture de référence DGX SuperPOD comprend plusieurs réseaux et le système de stockage AFF A90 est connecté à plusieurs d'entre eux. Pour plus d'informations sur la mise en réseau DGX SuperPOD, veuillez vous référer auhttps://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-b200/latest/abstract.html[" Architecture de référence NVIDIA DGX SuperPOD "] .

Pour cette solution, la structure de stockage haute performance est un réseau Ethernet basé sur le commutateur NVIDIA Spectrum SN5600 avec 64 ports 800 Go dans une configuration Spine/Leaf. Le réseau In-band fournit un accès utilisateur à d'autres fonctions telles que les répertoires personnels et les partages de fichiers généraux et est également basé sur les commutateurs SN5600, et le réseau hors bande (OOB) est destiné à l'accès administrateur système au niveau du périphérique à l'aide des commutateurs SN2201.

La structure de stockage est une architecture feuille-épine où les systèmes DGX se connectent à une paire de commutateurs feuille et le système de stockage se connecte à une autre paire de commutateurs feuille. Plusieurs ports 800 Gb sont utilisés pour connecter chaque commutateur feuille à une paire de commutateurs spine, créant ainsi plusieurs chemins à large bande passante à travers le réseau pour des performances globales et une redondance. Pour la connectivité au système de stockage AFF A90 , chaque port 800 Go est divisé en quatre ports 200 Go à l'aide des câbles de dérivation en cuivre ou optiques appropriés. Pour prendre en charge les clients montant le système de stockage avec NFS sur RDMA, la structure de stockage est configurée pour RDMA sur Ethernet convergé (RoCE), ce qui garantit une livraison de paquets sans perte sur le réseau. La figure 3 montre la topologie du réseau de stockage de cette solution.

Figure 3) Topologie de la structure de stockage.

Le système de stockage NetApp AFF A90 est un châssis 4RU contenant 2 contrôleurs qui fonctionnent comme partenaires haute disponibilité (paire HA) l'un pour l'autre, avec jusqu'à 48 disques SSD au format 2,5 pouces. Chaque contrôleur est connecté aux deux commutateurs de stockage SN5600 à l'aide de quatre connexions Ethernet 200 Gb, et il existe 2 interfaces IP logiques sur chaque port physique. Le cluster de stockage prend en charge NFS v4.1 avec Parallel NFS (pNFS) qui permet aux clients d'établir des connexions directement à chaque contrôleur du cluster. De plus, la jonction de session combine les performances de plusieurs interfaces physiques en une seule session, permettant même aux charges de travail à thread unique d'accéder à plus de bande passante réseau que ce qui est possible avec la liaison Ethernet traditionnelle. La combinaison de toutes ces fonctionnalités avec RDMA permet au système de stockage AFF A90 de fournir une faible latence et un débit élevé qui évolue de manière linéaire pour les charges de travail exploitant NVIDIA GPUDirect Storage™.

Pour la connectivité au réseau en bande, les contrôleurs AFF A90 disposent d'interfaces Ethernet 200 Gb supplémentaires configurées dans un groupe d'interfaces LACP fournissant des services NFS v3 et v4 généraux ainsi qu'un accès S3 aux systèmes de fichiers partagés si vous le souhaitez. Tous les contrôleurs et commutateurs de cluster de stockage sont connectés au réseau OOB pour un accès administratif à distance.

Pour permettre des performances et une évolutivité élevées, les contrôleurs de stockage forment un cluster de stockage qui permet de combiner l'ensemble des performances et de la capacité des nœuds du cluster dans un seul espace de noms appelé FlexGroup avec des données réparties sur les disques de chaque nœud du cluster. Avec la nouvelle fonctionnalité de distribution de données granulaires publiée dans ONTAP 9.16.1, les fichiers individuels sont séparés et distribués dans le FlexGroup pour permettre les niveaux de performances les plus élevés pour les charges de travail à fichier unique. La figure 4 ci-dessous montre comment pNFS et la jonction de session NFS fonctionnent avec FlexGroups et GDD pour permettre un accès parallèle aux fichiers volumineux en exploitant chaque interface réseau et chaque disque du système de stockage.

Figure 4) pNFS, jonction de session, FlexGroups et GDD.

Cette solution exploite plusieurs machines virtuelles de stockage (SVM) pour héberger des volumes pour un accès au stockage hautes performances ainsi que des répertoires personnels des utilisateurs et d'autres artefacts de cluster sur une SVM de gestion. Chaque SVM est configuré avec des interfaces réseau et des volumes FlexGroup et une politique QoS est mise en œuvre pour garantir les performances du SVM de données. Pour plus d'informations sur les FlexGroups, les machines virtuelles de stockage et les fonctionnalités ONTAP QoS, veuillez vous référer au " Documentation ONTAP " .

Cette solution de stockage a été validée en plusieurs étapes par NetApp et NVIDIA pour garantir que les performances et l'évolutivité répondent aux exigences de NVIDIA DGX SuperPOD. La configuration a été validée à l’aide d’une combinaison de charges de travail synthétiques et de charges de travail ML/DL réelles pour vérifier à la fois les performances maximales et l’interopérabilité des applications. Le tableau 3 ci-dessous fournit des exemples de charges de travail typiques et de leurs exigences en matière de données qui sont couramment observées dans les déploiements DGX SuperPOD.

Tableau 3) Exemples de charge de travail SuperPOD.

Le tableau 4 présente les directives de performances pour les exemples de charges de travail ci-dessus. Ces valeurs représentent le débit de stockage qui peut être généré par ces charges de travail dans des conditions idéales.

Tableau 4) Directives de performance du DGX SuperPOD.

Le NVIDIA DGX SuperPOD avec les systèmes de stockage NetApp * AFF A90 * représente une avancée significative dans les solutions d'infrastructure d'IA. En répondant aux principaux défis liés à la sécurité, à la gestion des données, à l’utilisation des ressources et à l’évolutivité, il permet aux organisations d’accélérer leurs initiatives d’IA tout en maintenant l’efficacité opérationnelle, la protection des données et la collaboration. L'approche intégrée de la solution élimine les goulots d'étranglement courants dans les pipelines de développement de l'IA, permettant aux scientifiques et aux ingénieurs des données de se concentrer sur l'innovation plutôt que sur la gestion de l'infrastructure.

Pour en savoir plus sur les informations décrites dans ce document, consultez les documents et/ou sites Web suivants :