AI Data Engine 아키텍처
변경 제안
PDF
AI Data Engine(AIDE)은 Metadata Engine과 정책 프레임워크로 구성됩니다. 이러한 기능은 함께 작동하여 스토리지 시스템에서 메타데이터를 추출하고, 검색 가능한 인덱스에 카탈로그화하며, 특정 기준과 일치하는 파일을 식별하고 처리하는 저장된 쿼리를 정의할 수 있도록 합니다.
구성 요소
AI Data Engine과의 상호 작용은 주로 대시보드, 조사, 정책 및 구성의 네 가지 기능 영역을 통해 이루어집니다. 이러한 기능 영역은 다음과 같은 기본 구성 요소로 구동됩니다.
Metadata Engine
Metadata Engine은 AI Data Engine의 핵심 기능입니다. 연결된 스토리지 시스템을 스캔하여 파일 시스템 메타데이터를 추출하고 해당 메타데이터를 검색 가능한 카탈로그에 저장합니다. Metadata Engine은 각 스캔 주기마다 카탈로그를 업데이트하여 스토리지 시스템 전체의 추가, 변경 및 삭제 사항을 감지합니다.
NetApp Console 에이전트
AI Data Engine을 사용하려면 환경에 NetApp Console Agent가 배포되어 있어야 합니다. Console Agent는 온프레미스 환경과 NetApp Console 간의 연결을 유지하는 범용 NetApp 플랫폼 구성 요소입니다. 사이트와 AIDE 서비스 간의 인증 및 통신을 처리합니다.
|
콘솔 에이전트는 AI Data Engine에만 해당되지 않습니다. 다른 NetApp 서비스용으로 이미 콘솔 에이전트가 배포된 경우 동일한 에이전트를 사용할 수 있습니다. 콘솔 에이전트 배포 지침은 "NetApp Console Agent 설명서"을 참조하십시오. |
배포 모델
AI Data Engine은 두 가지 배포 모델을 지원합니다.
- AIDE Lite
-
소규모 환경에 적합한 단일 VM 배포 방식입니다. 카탈로그에 등록할 파일 수에 따라 소형, 중형, 대형 구성으로 제공됩니다.
- AIDE Enterprise
-
고가용성이 필요한 대규모 환경을 위한 Kubernetes 기반 멀티노드 클러스터 배포.
AIDE Enterprise는 최대 약 10억 개의 파일과 하루 2억 5천만 개의 파일을 지원하는 3노드 구성부터 최대 약 60억 개의 파일과 하루 20억 개의 파일을 지원하는 9노드 구성까지 확장 가능합니다. 노드 크기 관련 자세한 내용은 "AIDE 요구 사항"을 참조하십시오. 노드를 추가하면 60억 개 이상의 파일로 용량을 확장할 수 있습니다. 스케일 아웃 관련 자세한 내용은 "유연한 사이즈 가이드라인"을 참조하십시오.
데이터 흐름
-
AI Data Engine은 온프레미스 환경에 배포됩니다.
-
AIDE가 카탈로그에 추가할 스토리지 시스템은 *구성 > 시스템*에서 추가할 수 있습니다. 지원되는 시스템에는 NetApp ONTAP, StorageGRID, 데이터베이스 시스템, 그리고 NFS, SMB/CIFS 또는 S3 프로토콜을 지원하는 모든 NAS 또는 오브젝트 스토리지 시스템이 포함됩니다.
-
Metadata Engine은 NFS 및 SMB/CIFS 프로토콜을 사용하여 공유를 마운트하고 파일 시스템을 스캔하여 파일 메타데이터를 추출합니다.
-
메타데이터는 카탈로그에 인덱싱됩니다.
-
대시보드는 카탈로그에서 스토리지 인사이트를 표시합니다.
-
조사 기능을 사용하면 메타데이터 필터를 통해 카탈로그를 직접 조회할 수 있습니다.
-
검색 조건을 정책으로 저장하고 다시 실행하여 일치하는 파일을 식별하고 조치를 취할 수 있습니다.
|
|
Metadata Engine이 구성된 모든 볼륨에 대한 스캔을 완료하면 즉시 새로운 스캔 라운드를 시작하여 파일 시스템을 다시 스캔하고 추가, 변경 및 삭제 사항을 감지합니다. |