Skip to main content
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

Novus 스토리지 시스템에 대해 알아보세요

기여자 dmp-netapp

NetApp Novus는 대규모 AI의 요구 사항을 충족하도록 구축된 강력한 스토리지 시스템입니다. 이는 엔터프라이즈 스토리지에 대한 NetApp의 경험을 학습 및 추론에 필요한 초고성능 인프라로 확장합니다. 효과적인 관리와 최적의 성능을 위해서는 관리 구조 및 구성 옵션을 이해하는 것이 매우 중요합니다.

개요

NetApp Novus는 최신 AI 워크로드에 필요한 처리량과 확장성을 위해 설계된 스케일아웃 파일 스토리지 시스템 솔루션입니다. 이 솔루션은 여러 개의 독립적인 ONTAP 스토리지 클러스터를 클라이언트가 하나의 파일 시스템으로 인식하는 단일 네임스페이스로 결합합니다. Novus는 메타데이터와 파일 데이터를 분리하는 병렬 NFS(pNFS)를 기반으로 구축되었습니다. 전용 메타데이터 서비스가 네임스페이스를 관리하는 동안 스토리지 클러스터는 파일 데이터를 클라이언트에 병렬로 직접 제공합니다. 이를 통해 단일 스토리지 클러스터의 처리량 한계를 제거하여 시스템의 데이터 전송 속도를 더 이상 제한하지 않습니다.

Novus 배포는 스토리지 클러스터를 추가하는 것만으로 간단하게 확장할 수 있습니다. 각각의 새 클러스터는 전체 대역폭과 용량을 네임스페이스에 추가하므로, 클라이언트 리마운트나 운영 중단 리밸런싱 없이 시스템이 확장됨에 따라 전체 처리량이 증가합니다. 메타데이터 서비스는 데이터 서버와 별도로 확장되므로 워크로드에 맞춰 네임스페이스 크기와 메타데이터 성능을 확장할 수 있습니다. Novus는 각 스토리지 노드를 최대 속도로 실행하고 대규모 환경에서도 구성 요소 장애를 일상적이고 중단 없는 방식으로 처리하도록 설계되었습니다. 주요 목표는 시스템 규모가 매우 커지더라도 컴퓨팅으로의 데이터 흐름을 유지하는 것입니다.

클라이언트는 표준 NFS 클라이언트를 사용하므로 Novus를 대규모 GPU 및 컴퓨팅 클러스터에 쉽게 적용할 수 있습니다. 또한 Novus는 멀티 테넌트이므로 하나의 배포로 여러 격리된 고객이나 워크로드를 호스팅할 수 있으며, 각각 고유한 개별 네임스페이스를 가집니다. 또한 검증된 ONTAP의 데이터 관리 및 보호 기능을 기반으로 구축되었습니다. 고객에게 이는 GPU를 계속 가동하고, 각 노드에서 더 많은 성능을 얻어 인프라 비용을 낮추며, 단일 네임스페이스에서 매우 큰 데이터 세트를 지원할 수 있는 스토리지를 의미합니다.

Novus는 대규모로 AI 및 기타 데이터 집약적인 워크로드를 실행하는 조직에 도움을 줄 수 있습니다. 여기에는 일반적으로 네오클라우드, GPU-as-a-service 제공업체, 소버린 클라우드, 하이퍼스케일러는 물론 AI 학습 및 추론을 실행하는 대기업 및 연구 기관이 포함됩니다. Novus는 초당 수 테라바이트의 처리량이 필요하고 컴퓨팅과 함께 스토리지를 확장하고자 하는 고성능 컴퓨팅 또는 미디어 처리를 사용하는 모든 고객에게 유용할 수 있습니다.

시스템 설계 원칙

Novus는 몇 가지 핵심 원칙을 기반으로 설계 및 구축되었습니다. 이러한 기본 아키텍처 선택은 성능, 확장성 및 복원력을 향상시킵니다. 이는 GPU 활용도를 높이는 고성능 스토리지가 필요하면서도 인프라 비용을 절감하고자 하는 고객에게 도움이 됩니다.

엑사스케일 지원 스토리지

Novus는 엑사스케일급 소프트웨어 정의 스토리지 기반 스택으로 설계되었습니다. 수평 확장이 가능한 pNFS 메타데이터 서버와 분리되고 분산된 데이터 서버를 결합합니다.

기존 ONTAP 클러스터 한계를 뛰어넘는 처리량

기존에는 단일 ONTAP 클러스터의 경우 컨트롤러 수와 상호 연결 대역폭에 따라 고정된 처리량 한계에 도달합니다. AI 학습 및 추론에는 단일 ONTAP 클러스터로는 도달할 수 없는 처리량이 필요합니다.

클러스터를 추가하여 확장

Novus는 각각 하나의 HA 쌍만큼 작은 여러 개의 독립적인 ONTAP 클러스터를 단일 네임스페이스로 결합합니다. 각각의 새로운 클러스터는 전체 대역폭을 제공하므로 전체 처리량이 선형적으로 증가합니다. 클라이언트는 리마운트할 필요가 없으며 플릿은 재조정할 필요가 없습니다.

별도로 확장되는 메타데이터

메타데이터 서비스 계층과 샤딩된 메타데이터 저장소는 각각 1개에서 1,000개 이상의 인스턴스로 확장될 수 있습니다. 메타데이터 용량과 요청 속도는 사용되는 데이터 노드 수에 따라 달라지지 않습니다.

회선 속도 데이터 노드

각 데이터 노드는 읽기 시에는 NIC 최대 속도로, 쓰기 시에는 NVMe 최대 속도로 작동해야 합니다. 노드별로 사용되지 않는 처리량은 불필요한 하드웨어 및 비용 낭비로 이어집니다.

복원력을 주요 설계 제약 조건으로

1,000개 이상의 스토리지 노드가 있는 규모에서는 장애가 드물지 않습니다. 복원력은 설계 시 우선적으로 고려해야 할 사항이며, 운영상의 부가적인 고려 사항이 아닙니다.

네트워크 파일 시스템(NFS) 구현

Novus는 네트워크 파일 시스템(NFS) 프로토콜의 소프트웨어 정의 구현입니다. 메타데이터와 데이터 경로를 분리하기 위해 NFSv4, 특히 병렬 NFS(pNFS) 확장을 사용합니다. 클라이언트는 표준 NFS 클라이언트를 사용하여 NFSv4로 Novus Data Director(NDD)에 액세스하는 동시에, NFSv3를 사용하여 ONTAP 데이터 서버에서 데이터에 직접 액세스할 수 있습니다.

병렬 네트워크 파일 시스템(pNFS)

병렬 NFS(pNFS)는 NFSv4.1에서 도입된 기능으로, 파일 메타데이터 관리와 파일 데이터 접근을 분리합니다. NFS 서버는 메타데이터 작업을 처리하고 클라이언트에게 파일 데이터가 저장된 위치에 대한 정보를 제공합니다. 따라서 클라이언트는 모든 읽기 및 쓰기 작업을 단일 서버를 통해 전송하는 대신, 전용 스토리지 장치와 데이터 서버에서 데이터에 직접 접근할 수 있습니다.

NFS 서버는 각 파일의 데이터가 어떻게 구성되고 클라이언트가 어떻게 접근할 수 있는지를 설명하는 레이아웃을 제공합니다. 레이아웃 및 스토리지 구성에 따라 클라이언트는 하나 이상의 데이터 서버와 병렬로 통신할 수 있습니다. 이는 데이터 전송 성능을 향상시키고 메타데이터 서버의 데이터 처리 부하를 줄입니다.

pNFS는 파일, 블록, 오브젝트 및 플렉서블 파일 등 여러 레이아웃 유형을 지원합니다. 각 유형은 파일 데이터를 기본 스토리지에 매핑하는 방식과 클라이언트가 해당 데이터에 액세스하는 방식을 다르게 정의합니다. Novus는 플렉서블 파일 레이아웃을 사용합니다.

pNFS의 유연한 파일 레이아웃은 최근 레이아웃 옵션에 추가된 기능입니다. 이 기능은 여러 데이터 서버에 분산 저장된 데이터를 설명할 수 있는 유연한 파일 기반 레이아웃을 제공하며, 미러링된 복사본도 지원합니다. 클라이언트는 레이아웃 정보를 사용하여 액세스에 적합한 데이터 서버 경로를 선택합니다. 이를 통해 배포 환경에서 스토리지 구성 및 워크로드 요구 사항에 맞춰 데이터 배치 및 액세스 동작을 조정할 수 있습니다.

주요 구성 요소

pNFS 표준과 NetApp의 엔터프라이즈 스토리지 전문 기술을 기반으로 구축된 두 가지 주요 Novus 구성 요소가 있습니다.

ONTAP 데이터 서버

ONTAP 데이터 서버는 Novus 데이터 플레인을 구현합니다. 파일 데이터를 저장하고 NFS 클라이언트에 제공합니다. Novus 네임스페이스는 파일 데이터를 여러 ONTAP 클러스터에 분산할 수 있으며, 하나의 ONTAP 클러스터는 여러 네임스페이스를 지원할 수 있습니다.

Novus Data Director (NDD)

Novus Data Director는 Novus 메타데이터 플레인을 제공합니다. 이 디렉터는 네임스페이스 메타데이터를 관리하고, 메타데이터 작업에 대한 클라이언트 요청을 처리하며, ONTAP 클러스터 전체에 파일 데이터가 저장되는 위치를 설명하는 레이아웃을 클라이언트에 제공합니다. 클라이언트는 pNFS와 함께 NFSv4.2를 사용하여 NDD와 상호 작용하며, 실제 파일 데이터는 ONTAP에서 직접 액세스됩니다.

이러한 구성 요소와 이들이 함께 작동하는 방식에 대한 자세한 내용은 "Novus 아키텍처"을(를) 참조하십시오.

추가 기술 및 개념

Novus와 그 기반 기술과 관련된 몇 가지 추가적인 개념이 있습니다.

네임스페이스

네임스페이스는 리소스를 구성하고 식별하는 논리적 구조로, 정의된 범위 내에서 일관되게 참조할 수 있도록 합니다. NFSv4에서 네임스페이스는 클라이언트에 제공되는 파일 및 디렉터리의 계층 구조이며, 클라이언트가 경로를 사용하여 탐색할 수 있는 내보낸 파일 시스템에 대한 통합된 보기를 제공합니다. 각 NDD 네임스페이스에는 자체 메타데이터 서버 인스턴스가 있습니다.

연합

페더레이션은 독립적인 시스템들을 연결하여 서로 협력하면서도 개별적으로 관리될 수 있도록 하는 기술입니다. 이는 ID, 애플리케이션 서비스, 네트워크, 데이터베이스 및 기타 리소스에 적용될 수 있습니다. 데이터 공급자와 함께 사용될 경우, 페더레이션을 통해 사용자 또는 애플리케이션은 통합된 인터페이스를 통해 여러 소스의 데이터에 접근할 수 있으며, 공급자는 데이터에 대한 제어권을 유지하면서 상호 운용성을 지원하고 정보의 중앙 집중화 또는 중복 필요성을 줄일 수 있습니다.

샤딩

샤딩은 데이터베이스의 데이터를 여러 서버에 분산시키는 기술로, 각 서버는 데이터의 일부를 저장하고 제공합니다. 이를 통해 스토리지와 쿼리 부하를 분산시켜 용량과 성능을 향상시킬 수 있습니다.

보더 게이트웨이 프로토콜

BGP(Border Gateway Protocol)는 인터넷을 구성하는 네트워크인 자율 시스템 간에 도달 가능성 정보를 교환하고 라우팅 정책 및 속성을 사용하여 경로를 선택하는 라우팅 프로토콜입니다. Novus는 멀티테넌트 아키텍처를 지원하기 위해 BGP를 사용합니다.

확장 가능한 분산 메타데이터 저장소

확장 가능한 분산 메타데이터 저장소는 여러 노드에 걸쳐 메타데이터를 관리하여 고가용성, 내결함성 및 효율적인 액세스를 보장하는 시스템입니다. Novus에서 Novus Data Director(NDD)는 네임스페이스 메타데이터를 처리하고 클라이언트에게 파일 데이터에 액세스하기 위한 레이아웃을 제공하기 위해 확장 가능한 분산 메타데이터 저장소(또는 간단히 메타데이터 저장소)를 구현합니다.