Novus 스토리지 시스템 아키텍처
Novus 아키텍처는 Novus Data Director(NDD) 인스턴스와 ONTAP 데이터 서버로 구성됩니다. ONTAP 데이터 서버는 데이터 경로를 지원하고, NDD는 Parallel NFS(pNFS)를 통해 메타데이터와 클라이언트 액세스를 관리합니다.
ONTAP 데이터 서버
데이터 서버는 Novus를 위해 특별히 구축된 ONTAP 클러스터입니다. 이들은 Novus 데이터 플레인을 구현하고 파일 데이터를 저장하며 NFS 클라이언트에 제공합니다. Novus 네임스페이스는 파일 데이터를 여러 ONTAP 클러스터에 분산할 수 있으며, 하나의 클러스터는 여러 다른 네임스페이스를 지원할 수 있습니다. 이러한 유연성을 통해 필요에 따라 데이터 서버를 추가하여 용량과 성능을 확장할 수 있습니다.
클라이언트는 맞춤형 NetApp 소프트웨어 없이 표준 NFS 클라이언트를 사용하여 ONTAP 데이터 서버에 액세스합니다. 클라이언트는 Novus Data Director에서 파일 레이아웃을 받은 후 NFSv3 및 선택적으로 RDMA를 통해 ONTAP 데이터 서버에서 파일 데이터를 직접 읽고 쓸 수 있습니다. 대용량 데이터는 Novus Data Director를 거치지 않으므로 데이터 트래픽은 데이터 서버 전체에서 병렬로 전송됩니다.
데이터 서버는 네임스페이스 관리에 참여하지 않습니다. 각 파일의 데이터를 ONTAP 볼륨에 백업 파일로 저장합니다. ONTAP 데이터 서버는 디렉터리 트리나 파일이 데이터 서버 전체에 스트라이프되는 방식 등 Novus 네임스페이스 메타데이터를 유지 관리하지 않습니다.
NetApp Novus용 AFF A90은 ONTAP을 실행하는 Novus를 위해 구축된 AFF A90의 한 버전입니다. 특징은 다음과 같습니다.
-
추가 듀얼 NVRAM 카드
-
고대역폭 네트워크 어댑터
-
표준 ONTAP HA 쌍으로 구성됨
-
RAID-DP 또는 RAID-TEC로 데이터를 보호합니다.
표준 ONTAP 클러스터는 Novus 데이터 서버로 사용할 수 없으며, Novus 전용으로 구축된 플랫폼만 지원됩니다.
Novus Data Director
Novus Data Director(NDD)는 pNFS 아키텍처에서 메타데이터 서버(MDS) 역할을 구현한 것으로, Novus 메타데이터 플레인을 제공합니다. _MDS 호스트_는 Linux를 실행하는 하나의 물리적 서버와 MDS 프로토콜 서비스 및 메타데이터 저장소로 구성됩니다.
NDD는 각 네임스페이스를 클라이언트에게 단일 파일 시스템으로 제공합니다. NDD는 파일 및 디렉터리, 파일 속성, 각 파일의 데이터가 저장된 위치의 매핑, 클라이언트 액세스를 조정하는 데 필요한 프로토콜 상태 등 네임스페이스 메타데이터를 소유합니다. 클라이언트는 가상 IP 주소를 통해 네임스페이스를 마운트하고 병렬 NFS(pNFS)와 함께 NFSv4.2를 사용하여 NDD와 통신합니다. NDD는 조회, 파일 생성, 속성 변경 등 모든 메타데이터 작업을 처리합니다. 클라이언트가 파일을 열면 NDD는 클라이언트에게 파일 데이터가 저장된 데이터 서버를 알려주는 pNFS Flexible File 레이아웃을 제공합니다. 그런 다음 클라이언트는 ONTAP 데이터 서버와 직접 읽기 및 쓰기 작업을 수행할 수 있으며, NDD는 메타데이터 경로에는 있지만 데이터 경로에는 없습니다.
NDD는 최소 3대 이상의 전용 서버 클러스터에서 실행되는 소프트웨어로 구현됩니다. 이는 메타데이터 서버 프로세스를 암호화된 로컬 스토리지에 네임스페이스 메타데이터를 저장하는 복제된 분산 데이터베이스와 결합합니다. 각 네임스페이스는 이러한 서버 중 여러 대에서 자체 메타데이터 서버 프로세스를 실행합니다. 모든 정상 서버는 네임스페이스의 가상 IP 주소를 알리며, 이는 클라이언트 부하를 분산시키고 클라이언트가 재마운트 없이 장애 조치를 수행할 수 있게 해줍니다. 권위 있는 메타데이터가 복제된 데이터베이스에 존재하므로, 서버에 장애가 발생하여 다시 시작하더라도 네임스페이스 상태를 잃지 않습니다.
ONTAP 클러스터의 데이터 배치는 NDD가 제어합니다. NDD는 데이터 서버의 레지스트리를 유지하고, 경량 NFS 프로브를 사용하여 각 데이터 서버가 사용 가능한지 확인하며, 각 서버의 여유 용량을 추적합니다. 파일이 생성되면 NDD는 데이터 서버를 선택하고, NFS를 통해 배킹 파일을 생성하며, 해당 위치를 기록합니다. 데이터 서버를 사용할 수 없게 되면 NDD는 해당 서버에 새 데이터를 배치하는 것을 중지하고 해당 서버를 가리키는 클라이언트 레이아웃을 회수합니다.
Novus 배포
다음 그림은 일반적인 Novus 배포를 개략적으로 보여줍니다. 주요 특징으로는 여러 개의 Novus Data Director와 ONTAP 데이터 서버 노드가 있는 단일 네임스페이스를 들 수 있습니다. 이 아키텍처는 백엔드 GPU 서버를 지원하여 높은 가용성과 낮은 지연 시간을 제공합니다.
