이 참조 아키텍처는 컴퓨팅 노드 간의 400GB/s InfiniBand(IB) 연결을 통해 컴퓨팅 클러스터 인터커넥트 및 스토리지 액세스를 위해 별도의 패브릭을 활용합니다. 아래의 그림은 DGX H100 시스템이 장착된 NetApp AIPod의 전반적인 솔루션 토폴로지를 보여줍니다.

_NetApp AIPOD 솔루션 토폴로지 _

이 구성에서 컴퓨팅 클러스터 패브릭은 고가용성을 위해 함께 연결된 한 쌍의 QM9700 400GB/s IB 스위치를 사용합니다. 각 DGX H100 시스템은 8개의 연결을 사용하여 스위치에 연결되며, 짝수 번호 포트는 하나의 스위치에 연결되고 홀수 번호 포트는 다른 스위치에 연결됩니다.

스토리지 시스템 액세스, 대역 내 관리 및 클라이언트 액세스의 경우 한 쌍의 SN4600 이더넷 스위치가 사용됩니다. 스위치는 스위치 간 링크로 연결되고 여러 VLAN으로 구성되어 다양한 트래픽 유형을 격리합니다. 기본 L3 라우팅은 특정 VLAN 간에 활성화되어 고가용성을 위해 동일한 스위치에서 클라이언트와 스토리지 인터페이스 간의 다중 경로를 지원할 수 있습니다. 대규모 구축의 경우 필요에 따라 스파인 스위치 및 리프(leaf)를 위한 추가 스위치 쌍을 추가하여 이더넷 네트워크를 리프-스파인 구성으로 확장할 수 있습니다.

컴퓨팅 상호 연결 및 고속 이더넷 네트워크 외에도 모든 물리적 장치가 대역 외 관리를 위해 하나 이상의 SN2201 이더넷 스위치에 연결됩니다. "배포 세부 정보"네트워크 구성에 대한 자세한 내용은 페이지를 참조하십시오.

각 DGX H100 시스템은 관리 및 스토리지 트래픽을 위해 2개의 이중 포트 ConnectX-7 어댑터를 사용하여 프로비저닝됩니다. 이 솔루션의 경우 각 카드의 두 포트가 같은 스위치에 연결됩니다. 그런 다음, 각 카드에서 하나의 포트를 각 스위치에 연결하고 있는 LACP MLAG 결합으로 구성하고, 대역 내 관리, 클라이언트 액세스 및 사용자 레벨 스토리지 액세스를 위한 VLAN이 이 결합에서 호스팅됩니다.

각 카드의 다른 포트는 AFF A90 스토리지 시스템에 대한 연결에 사용되며 워크로드 요구사항에 따라 여러 구성으로 사용할 수 있습니다. NVIDIA Magnum IO GPUDirect 스토리지를 지원하기 위해 NFS over RDMA를 사용하는 구성의 경우 포트가 별도의 VLAN에서 IP 주소와 함께 개별적으로 사용됩니다. RDMA가 필요하지 않은 배포의 경우 LACP 본딩을 사용하여 스토리지 인터페이스를 구성하여 고가용성 및 추가 대역폭을 제공할 수도 있습니다. RDMA 사용 여부에 관계없이 클라이언트는 NFS v4.1 pNFS 및 세션 트렁킹을 사용하여 스토리지 시스템을 마운트하여 클러스터의 모든 스토리지 노드에 대한 병렬 액세스를 지원할 수 있습니다. "배포 세부 정보"클라이언트 구성에 대한 자세한 내용은 페이지를 참조하십시오.

DGX H100 시스템 연결에 대한 자세한 내용은 를 "NVIDIA BasePOD 설명서"참조하십시오.

각 AFF A90 스토리지 시스템은 각 컨트롤러의 200GbE 포트 6개를 사용하여 연결됩니다. 각 컨트롤러의 포트 4개는 DGX 시스템에서 워크로드 데이터에 액세스하는 데 사용되며, 각 컨트롤러의 포트 2개는 클러스터 관리 아티팩트 및 사용자 홈 디렉토리에 대한 관리 플레인 서버의 액세스를 지원하기 위해 LACP 인터페이스 그룹으로 구성됩니다. 스토리지 시스템에서 수행하는 데이터 액세스는 모두 NFS를 통해 제공되며, AI 워크로드 액세스 전용 SVM(Storage Virtual Machine) 및 클러스터 관리 전용 SVM은 별도로 제공됩니다.

관리 SVM에는 단일 LIF만 필요하며, 각 컨트롤러에 구성된 2포트 인터페이스 그룹에 호스팅됩니다. 다른 FlexGroup 볼륨은 관리 SVM에 프로비저닝되어 클러스터 노드 이미지, 시스템 모니터링 내역 데이터, 최종 사용자 홈 디렉토리 같은 클러스터 관리 아티팩트를 저장합니다. 아래 그림은 스토리지 시스템의 논리적 구성을 보여 줍니다.

_NetApp A90 스토리지 클러스터 논리적 구성 _

이 레퍼런스 아키텍처에는 관리 플레인을 위한 5개의 CPU 기반 서버도 포함되어 있습니다. 이러한 시스템 중 2개가 클러스터 구축 및 관리를 위한 NVIDIA Base Command Manager의 헤드 노드로 사용됩니다. 다른 3개의 시스템은 작업 예약을 위해 Slurm을 활용하는 구축에 Kubernetes 마스터 노드 또는 로그인 노드와 같은 추가 클러스터 서비스를 제공하는 데 사용됩니다. Kubernetes를 활용하는 구축에서는 NetApp Trident CSI 드라이버를 활용하여 AFF A900 스토리지 시스템의 관리 및 AI 워크로드를 위한 영구 스토리지와 함께 자동화된 프로비저닝 및 데이터 서비스를 제공할 수 있습니다.

각 서버는 IB 스위치와 이더넷 스위치 모두에 물리적으로 연결되어 클러스터 배포 및 관리를 지원하며, 앞서 설명한 대로 클러스터 관리 아티팩트를 저장하기 위해 관리 SVM을 통해 스토리지 시스템에 NFS 마운트로 구성됩니다.