NVIDIA DGX SuperPODの実証済みのコンピューティング パフォーマンスと、NetApp の業界をリードするデータ セキュリティ、データ ガバナンス、マルチテナント機能を組み合わせることで、お客様は次世代のワークロード向けに最も効率的で俊敏なインフラストラクチャを導入できます。このドキュメントでは、顧客が AI/ML イニシアチブの市場投入までの時間を短縮し、投資収益率を向上させるのに役立つ高レベルのアーキテクチャと主要な機能について説明します。

NVIDIA DGX SuperPOD は、組織向けのターンキー AI データ センター ソリューションを提供し、世界クラスのコンピューティング、ソフトウェア ツール、専門知識、継続的なイノベーションをシームレスに提供します。 DGX SuperPOD は、最小限のセットアップ時間と最大限の生産性で AI/ML および HPC ワークロードを展開するために必要なすべてを提供します。図 1 は、DGX SuperPOD の高レベル コンポーネントを示しています。

図 1) NVIDIA DGX SuperPODとNetApp AFF A90ストレージ システム。

DGX SuperPOD には次のような利点があります。

組織が人工知能 (AI) と機械学習 (ML) の取り組みを採用するにつれて、堅牢でスケーラブルかつ効率的なインフラストラクチャ ソリューションに対する需要はかつてないほど高まっています。こうした取り組みの中心にあるのは、データのセキュリティ、アクセシビリティ、リソースの最適化を確保しながら、ますます複雑化する AI モデルを管理およびトレーニングするという課題です。エージェント AI の進化と高度なモデル トレーニング要件により、コンピューティングおよびストレージ インフラストラクチャに対する前例のない需要が生じています。組織は現在、膨大なデータセットを処理し、複数の同時トレーニング ワークロードをサポートし、データ保護と規制コンプライアンスを確保しながら高性能コンピューティング環境を維持する必要があります。従来のインフラストラクチャ ソリューションでは、こうした要求を満たすのに苦労することが多く、運用の非効率性や AI プロジェクトの価値実現までの時間の遅延につながります。このソリューションには、次の主な利点があります。

DGX SuperPOD は、32 台の DGX B200 システムと、必要な接続を提供し、インフラストラクチャのパフォーマンスのボトルネックを解消するために必要なその他のすべてのコンポーネントを含むスケーラブル ユニット (SU) の概念に基づいています。お客様は 1 つまたは複数の SU から開始し、要件を満たすために必要に応じて SU を追加できます。このドキュメントでは、単一の SU のストレージ構成について説明し、表 1 に大規模な構成に必要なコンポーネントを示します。

DGX SuperPOD リファレンス アーキテクチャには複数のネットワークが含まれており、 AFF A90ストレージ システムはそれらのネットワークのいくつかに接続されています。 DGX SuperPODネットワークの詳細については、https://docs.nvidia.com/dgx-superpod/reference-architecture-scalable-infrastructure-b200/latest/abstract.html[" NVIDIA DGX SuperPODリファレンス アーキテクチャ"] 。

このソリューションでは、高性能ストレージ ファブリックは、スパイン/リーフ構成の 64 個の 800Gb ポートを備えたNVIDIA Spectrum SN5600 スイッチに基づくイーサネット ネットワークです。インバンド ネットワークは、ホーム ディレクトリや一般的なファイル共有などの他の機能へのユーザー アクセスを提供し、SN5600 スイッチに基づいています。また、アウト オブ バンド (OOB) ネットワークは、SN2201 スイッチを使用したデバイス レベルのシステム管理者アクセス用です。

ストレージ ファブリックはリーフ スパイン アーキテクチャであり、DGX システムが 1 組のリーフ スイッチに接続し、ストレージ システムが別の 1 組のリーフ スイッチに接続します。複数の 800Gb ポートを使用して各リーフ スイッチをスパイン スイッチのペアに接続し、ネットワーク全体に複数の高帯域幅パスを作成して総合的なパフォーマンスと冗長性を実現します。 AFF A90ストレージ システムへの接続では、適切な銅線または光ブレークアウト ケーブルを使用して、各 800 Gb ポートが 4 つの 200 Gb ポートに分割されます。 NFS over RDMA を使用してストレージ システムをマウントするクライアントをサポートするために、ストレージ ファブリックは RDMA over Converged Ethernet (RoCE) 用に構成され、ネットワーク内でロスレス パケット配信を保証します。図 3 は、このソリューションのストレージ ネットワーク トポロジを示しています。

図 3) ストレージ ファブリック トポロジ。

NetApp AFF A90ストレージ システムは、互いに高可用性パートナー (HA ペア) として動作する 2 つのコントローラと、最大 48 個の 2.5 インチ フォーム ファクタのソリッド ステート ディスク (SSD) を搭載した 4RU シャーシです。各コントローラは、4 つの 200Gb イーサネット接続を使用して両方の SN5600 ストレージ リーフ スイッチに接続され、各物理ポートには 2 つの論理 IP インターフェイスがあります。ストレージ クラスターは、クライアントがクラスター内のすべてのコントローラーに直接接続を確立できるようにする Parallel NFS (pNFS) を備えた NFS v4.1 をサポートしています。さらに、セッション トランキングにより、複数の物理インターフェイスのパフォーマンスが 1 つのセッションに結合され、シングル スレッドのワークロードでも、従来のイーサネット ボンディングよりも広いネットワーク帯域幅にアクセスできるようになります。これらすべての機能を RDMA と組み合わせることで、 AFF A90ストレージ システムは、 NVIDIA GPUDirect Storage™ を活用したワークロードに対して、低レイテンシと高スループットを直線的に拡張できるようになります。

インバンド ネットワークへの接続のために、 AFF A90コントローラには、LACP インターフェイス グループに構成された追加の 200 Gb イーサネット インターフェイスがあり、一般的な NFS v3 および v4 サービスと、必要に応じて共有ファイルシステムへの S3 アクセスを提供します。すべてのコントローラとストレージ クラスタ スイッチは、リモート管理アクセスのために OOB ネットワークに接続されています。

高いパフォーマンスとスケーラビリティを実現するために、ストレージ コントローラはストレージ クラスタを形成します。これにより、クラスタ ノードの全体的なパフォーマンスと容量がFlexGroupと呼ばれる単一の名前空間に統合され、データはクラスタ内のすべてのノードのディスクに分散されます。 ONTAP 9.16.1 でリリースされた新しい Granular Data Distribution 機能により、個々のファイルが分離され、 FlexGroup全体に分散されるため、単一ファイルのワークロードで最高レベルのパフォーマンスが実現します。下の図 4 は、pNFS と NFS セッション トランキングが FlexGroups および GDD と連携して、ストレージ システム内のすべてのネットワーク インターフェイスとディスクを活用して大容量ファイルへの並列アクセスを可能にする様子を示しています。

図 4) pNFS、セッション トランキング、FlexGroups、GDD。

このソリューションは、複数のストレージ仮想マシン (SVM) を活用して、高パフォーマンスのストレージ アクセスと、管理 SVM 上のユーザー ホーム ディレクトリおよびその他のクラスター アーティファクトの両方のボリュームをホストします。各 SVM はネットワーク インターフェイスとFlexGroupボリュームで構成され、データ SVM のパフォーマンスを確保するために QoS ポリシーが実装されています。 FlexGroup、Storage Virtual Machines、 ONTAP QoS機能の詳細については、 " ONTAPドキュメント" 。

このストレージ ソリューションは、パフォーマンスとスケーラビリティがNVIDIA DGX SuperPODの要件を満たしていることを確認するために、 NetAppとNVIDIAによって複数の段階で検証されました。構成は、合成ワークロードと実際の ML/DL ワークロードの組み合わせを使用して検証され、最大のパフォーマンスとアプリケーションの相互運用性の両方が検証されました。以下の表 3 は、DGX SuperPOD の展開でよく見られる典型的なワークロードとそのデータ要件の例を示しています。

表 3) SuperPOD ワークロードの例。

表 4 は、上記のサンプル ワークロードのパフォーマンス ガイドラインを示しています。これらの値は、理想的な条件下でこれらのワークロードによって生成できるストレージ スループットを表します。

表 4) DGX SuperPOD のパフォーマンス ガイドライン。

NetApp * AFF A90ストレージ システム* を搭載したNVIDIA DGX SuperPOD は、 AI インフラストラクチャ ソリューションの大きな進歩を表しています。セキュリティ、データ管理、リソース利用、スケーラビリティに関する主要な課題に対処することで、組織は運用効率、データ保護、コラボレーションを維持しながら AI イニシアチブを加速できます。このソリューションの統合アプローチにより、AI 開発パイプラインの一般的なボトルネックが解消され、データ サイエンティストやエンジニアはインフラストラクチャ管理ではなくイノベーションに集中できるようになります。

このドキュメントに記載されている情報の詳細については、次のドキュメントや Web サイトを参照してください。