AI Data Engine 요구 사항
변경 제안
PDF
AI Data Engine을 배포하기 전에 환경에 필요한 네트워킹, VM 크기 조정 및 운영 체제 요구 사항을 검토하십시오.
네트워킹 요구 사항
다음 네트워크 연결이 열려 있어야 합니다.
| 연결 | 포트 | 프로토콜 | 방향 | 목적 |
|---|---|---|---|---|
Console Agent에서 NetApp Console로 |
443 |
TCP |
아웃바운드 |
HTTPS: NetApp Console 연결 |
콘솔 에이전트에서 ONTAP |
443 |
TCP |
아웃바운드 |
HTTPS: ONTAP 클러스터 검색 |
콘솔 에이전트에서 AI Data Engine으로 |
80, 443, 8080, 9000 |
TCP |
양방향 |
콘솔 에이전트와 AI Data Engine 간의 통신 |
AI Data Engine에서 ONTAP(NFS)으로 |
111, 2049 |
TCP/UDP |
저장 |
NFS 데이터 소스 액세스 |
AI Data Engine에서 ONTAP(SMB/CIFS)으로 |
139, 445 |
TCP/UDP |
저장 |
SMB/CIFS 데이터 소스 액세스 |
AI Data Engine에서 Active Directory까지 |
389, 636, 3268, 3269 |
TCP/UDP |
아웃바운드 |
사용자 인증 및 SMB/CIFS 스캔을 위한 LDAP(389), LDAPS(636) 및 Global Catalog(3268, 3269). 포트 389는 TCP와 UDP를 모두 사용하며, 다른 모든 포트는 TCP만 사용합니다. |
AI Data Engine 에서 NetApp 서비스/컨테이너 레지스트리 까지 |
443 |
TCP |
아웃바운드 |
HTTPS: 아티팩트 다운로드 및 컨테이너 이미지 가져오기(AWS S3 및 ECR) |
아웃바운드 인터넷 액세스
온라인 설치의 경우, AI Data Engine 호스트에서 다음 엔드포인트에 접근할 수 있어야 합니다.
| 엔드포인트 | 목적 | 범위 |
|---|---|---|
|
NetApp Console 통신 |
둘 다 |
|
중앙 집중식 사용자 인증 |
둘 다 |
|
인증 서비스 |
둘 다 |
|
NetApp 컨테이너 레지스트리(AIDE 컨테이너 이미지) |
둘 다 |
|
NetApp 컨테이너 레지스트리(듀얼스택/가상 프라이빗 클라우드(VPC) 엔드포인트 액세스) |
둘 다 |
|
AWS ECR API (인증 및 이미지 매니페스트 검색) |
둘 다 |
|
AWS S3(ECR 컨테이너 이미지 레이어 스토리지) |
둘 다 |
|
AWS S3(ECR 컨테이너 이미지 레이어 스토리지) |
둘 다 |
|
AWS S3 (설치 프로그램 래퍼 스크립트, Helm 차트 및 구성 요소 버전 카탈로그) |
둘 다 |
|
AWS S3 (설치 프로그램 래퍼 스크립트, Helm 차트 및 구성 요소 버전 카탈로그) |
둘 다 |
|
AWS STS(레지스트리 및 S3 액세스를 위한 임시 자격 증명 교환) |
둘 다 |
|
소프트웨어 이미지, 매니페스트 및 템플릿; 로그 및 메트릭 스트리밍 |
둘 다 |
|
CloudFront 소프트웨어 배포를 위한 CDN |
둘 다 |
|
Ubuntu 필수 패키지 |
Lite 전용(Ubuntu) |
|
우분투 패키지 아카이브 |
Lite 전용(Ubuntu) |
|
우분투 보안 패키지 아카이브 |
Lite 전용(Ubuntu) |
|
k3s 런타임 다운로드(설치 프로그램 시작) |
라이트 전용 |
|
Helm 다운로드(설치 프로그램 시작) |
라이트 전용 |
AI Data Engine은 중앙 집중식 인증 및 콘솔 서비스를 위해 NetApp Console을 사용합니다. Console 및 Console 에이전트 연결에 필요한 엔드포인트는 "NetApp Console에 대한 네트워크 액세스 요구사항"을 참조하십시오.
배포를 시작하기 전에 AI Data Engine 호스트에서 이러한 엔드포인트에 대한 DNS 확인이 제대로 작동하는지 확인하십시오.
AIDE Lite 요구 사항
VM 크기 조정
이러한 크기는 3~4일의 초기 스캔 기간을 기준으로 최적화된 권장 기본 구성이며, 절대적인 한계치는 아닙니다. 유연한 사이즈 가이드라인을 참조하여 이러한 수치를 결정하는 요인과 이를 넘어서 확장하는 방법을 확인하십시오.
| 크기 | vCPU | RAM | 디스크 | 스토리지 IOPS | 스토리지 처리량 | 네트워크 | 대략적인 파일 |
|---|---|---|---|---|---|---|---|
소형 |
16 |
64 GB |
500 GB |
8,000 |
1,000 MB/s |
1 GbE |
2억 |
중간 |
32 |
128 GB |
2 TB |
12,000 |
1,500 MB/s |
1 GbE |
10억 |
대형 |
96 |
192 GB |
6 TB |
16,000 |
2,000 MB/s |
10 GbE |
30억 |
|
모든 배포 규모에 대해 NVMe SSD 또는 기타 솔리드 스테이트 스토리지를 권장합니다. 이 표의 디스크 값은 AIDE 데이터 볼륨 스토리지만을 나타냅니다. 운영 체제, k3s 런타임 및 AIDE 데이터가 단일 디스크를 공유하는 경우, 선택한 배포 규모의 디스크 값에 약 65GB를 추가해야 합니다. 예를 들어, 단일 디스크에 소규모 배포를 하려면 총 약 565GB가 필요합니다. |
유연한 사이즈 가이드라인
소형, 중형 및 대형 구성 이는 소프트웨어에서 강제하는 엄격한 제한이 아니라, 초기 스캔 기간인 3~4일에 대한 권장 기준선입니다.
- 사이징 권장 사항을 결정하는 요소는 무엇입니까?
-
-
총 파일 및 디렉터리 수: 카탈로그할 오브젝트의 총 수가 컴퓨팅 및 스토리지 요구 사항을 결정하는 주요 요인입니다. 오브젝트 수가 많을수록 메모리, CPU 및 스토리지가 비례적으로 더 많이 필요합니다.
-
디렉터리 구조: 리소스 사용량은 디렉터리 중첩 깊이와 파일이 공유 폴더 및 볼륨에 분산되는 방식에 따라 달라집니다. 중첩이 깊거나 조각난 구조는 동일한 파일 수를 가진 평면 계층 구조보다 더 많은 리소스를 필요로 할 수 있습니다.
-
필수 스캔 처리량: 초기 카탈로그 완료 속도는 CPU 및 메모리 할당량과 직접적인 관련이 있습니다. 권장 크기보다 작게 프로비저닝하면 처리량이 감소하고 초기 스캔 시간이 길어집니다.
-
스토리지 성능: 고성능 스토리지 사용을 적극 권장합니다. 메타데이터 인덱싱 및 이벤트 처리는 배포 규모에 비례하는 지속적인 IOPS 및 처리량을 요구합니다.
-
- 사이즈가 너무 작으면 어떻게 됩니까?
-
권장 크기보다 작게 프로비저닝하더라도 설치가 중단되거나 서비스 오류가 발생하지는 않습니다. 시스템은 계속 작동하며 스캔도 지속되지만 다음과 같은 현상이 발생할 수 있습니다.
-
초기 카탈로그 기간 연장: 컴퓨팅 리소스 감소로 인해 하루에 스캔하는 오브젝트 수가 줄어듭니다. 예를 들어, 30억 개의 오브젝트를 대상으로 하는 배포이지만 더 작은 크기로 프로비저닝된 경우, 예상 소요 시간인 3~4일보다 훨씬 더 오래 걸릴 수 있습니다.
-
지속적인 데이터 수집 처리량 감소: 지속적인 부하 상태에서 새로운 파일 이벤트 및 증분 스캔 업데이트 처리 속도가 느려집니다.
-
스토리지 용량 위험: 전체 오브젝트 수에 비해 스토리지 용량이 부족하면 메타데이터 인덱스가 용량 한계에 근접할 수 있습니다. 일반적으로 전체 재배포 없이 스토리지 용량을 확장하여 이 문제를 해결할 수 있습니다.
-
- 용량이 더 필요할 때 확장
-
AIDE Lite는 단일 VM에서 실행되므로 확장이 수직적으로 이루어집니다.
-
호스트 VM의 vCPU, 메모리 또는 스토리지를 늘리십시오.
-
클러스터 재구성이나 재설치는 필요하지 않습니다.
AIDE Lite는 고가용성 또는 수평 확장을 지원하지 않습니다. 환경 파일이 지속적으로 30억 개를 초과하거나 고가용성 및 내결함성이 필요한 경우 대신 "AIDE Enterprise"을 배포하십시오.
-
운영 체제
| OS | 지원되는 버전 |
|---|---|
Ubuntu |
22.04 LTS, 24.04 LTS (24.04 LTS 권장) |
Red Hat Enterprise Linux(RHEL) |
8.x, 9.x |
추가 필수 조건
-
설치 프로그램을 실행하려면 대상 가상 머신에 루트 또는 sudo 권한이 있어야 합니다.
-
최소 1 GbE 네트워크 연결(대규모 구축의 경우 10 GbE)이 필요합니다.
-
대상 호스트에는 bash 4.0 이상, curl 및 tar가 설치되어 있어야 합니다.
-
설치 프로그램은
k3s,helm,kubectl및 `jq`을(를) 자동으로 다운로드하고 부트스트랩합니다. 대상 VM에 이러한 툴을 미리 설치할 필요는 없습니다. -
설치 프로그램이 시작되기 전에 호스트에서 6443(TCP), 10250(TCP) 및 8472(UDP) 포트가 사용 가능해야 합니다. 호스트 방화벽(
firewalld(RHEL) 또는ufw(Ubuntu)이 활성화된 경우, 설치 프로그램을 실행하기 전에 이러한 포트와 k3s pod CIDR(10.44.0.0/16) 및 서비스 CIDR(10.45.0.0/16)을 허용하십시오. 필요한 명령은 운영 체제 방화벽 설명서를 참조하십시오. -
SELinux가 Enforcing 모드로 실행되는 RHEL 시스템에서는 설치 프로그램이 필요한 SELinux 정책 패키지를 자동으로 구성합니다. 수동으로 SELinux를 구성할 필요가 없습니다.
AIDE 엔터프라이즈 요구사항
-
설치 프로그램을 실행하는 머신에서 클러스터 관리자 권한으로 kubectl에 접근할 수 있어야 합니다.
-
설치 명령을 실행하는 컴퓨터에 Sudo(또는 루트) 권한이 있어야 합니다.
-
대상 클러스터에 RKE2 v1.34 이상(v1.36.x 권장)이 설치되어 있어야 합니다.
-
설치 호스트는
helm,kubectl및 `jq`를 `--tools-dir`를 통해 자동으로 다운로드하고 부트스트랩합니다. 관리 시스템에 이러한 툴을 미리 설치할 필요는 없습니다. -
구성된 StorageClass(기본 이름
aide-sc)는 클러스터에서 사용할 수 있으며 AIDE의 상태 저장 백엔드 서비스에 사용됩니다. -
하나 이상의 내보낸 경로가 있는 NFS 서버를 사용할 수 있으며, AIDE 구성 데이터 볼륨 및 공유 인덱스 스냅샷에 사용됩니다.
-
대상 Kubernetes 네임스페이스(기본값
aide)가 클러스터에 이미 존재합니다. 설치 프로그램은 해당 네임스페이스를 생성하지 않습니다.
|
|
모든 엔터프라이즈 노드 배포에는 NVMe 또는 고성능 SSD 스토리지를 권장합니다. |
노드 크기 조정
이러한 크기는 약 3일간의 초기 검사 기간을 기준으로 최적화된 권장 기본 클러스터 구성이며, 실제 용량 제한은 아닙니다. AIDE Enterprise는 수평 확장을 통해 60억 개 이상의 파일 환경을 지원합니다. 자세한 내용은 유연한 사이즈 가이드라인을 참조하십시오.
| 크기 | 노드 | 노드당 vCPU | 노드당 RAM | 노드당 디스크 | 노드당 스토리지 IOPS | 노드별 스토리지 처리량 | 노드별 네트워크 | 대략적인 파일 |
|---|---|---|---|---|---|---|---|---|
소형 |
3 |
32 |
128 GB |
~1.3TB |
8,000 |
1,000 MB/s |
1 GbE |
10억 |
중간 |
6 |
48 |
192 GB |
~2TB |
12,000 |
1,500 MB/s |
10 GbE |
30억 |
대형 |
9 |
64 |
256 GB |
~2.7TB |
16,000 |
2,000 MB/s |
10 GbE |
60억 |
유연한 사이즈 가이드라인
소형, 중형 및 대형 구성 이는 소프트웨어에서 강제하는 엄격한 용량 제한이 아니라, 약 3일간의 초기 스캔 기간을 기준으로 권장되는 기본 클러스터 구성입니다. AIDE Enterprise는 클러스터 노드 간 수평 확장을 통해 30억 개 이상의 파일을 처리하는 환경을 지원합니다.
- 사이징 권장 사항을 결정하는 요소는 무엇입니까?
-
-
총 파일 및 디렉터리 수: 총 오브젝트 수는 스토리지 및 컴퓨팅 요구 사항을 결정하는 주요 요인입니다. 규모가 큰 환경에서는 처리 부하를 분산하고 성능을 유지하기 위해 추가 클러스터 노드가 필요합니다.
-
고가용성 복제: 엔터프라이즈 배포는 내결함성을 위해 기본적으로 노드 간 데이터 복제를 활성화합니다. 복제는 동일한 단일 노드 배포에 비해 전체 스토리지 및 메모리 요구 사항을 증가시킵니다.
-
노드 수 및 작업 부하 분산: 처리량과 전체 카탈로그 용량은 클러스터의 노드 수에 따라 확장됩니다. 노드가 추가되면 인덱싱 작업 부하와 스토리지 용량이 클러스터 전체에 분산됩니다.
-
필요한 스캔 처리량: 클러스터 전체의 CPU 및 메모리 할당량은 일일 스캔 속도와 초기 카탈로그 완료 속도를 결정합니다.
-
노드별 스토리지 성능: 각 노드에 고성능 스토리지를 사용하는 것이 강력히 권장되며, 전체 클러스터 스토리지 용량은 노드 수에 비례하여 확장됩니다.
-
- 사이즈가 너무 작으면 어떻게 됩니까?
-
권장 크기보다 작게 프로비저닝해도 설치가 불가능하거나 심각한 오류가 발생하지는 않습니다. 실질적인 영향은 다음과 같습니다.
-
초기 카탈로그 기간 연장: 노드 수가 적거나 노드당 리소스가 감소하면 처리량이 낮아져 초기 카탈로그 기간이 비례적으로 연장됩니다.
-
최대 부하 시 처리 지연 시간 증가: 클러스터 전체의 메모리가 부족하면 대용량 데이터 수집 기간 동안 처리 지연 시간이 증가할 수 있습니다. 진행 중인 작업은 중단되지 않지만 지속적인 처리량은 감소합니다.
-
스토리지 용량 위험: 목표 오브젝트 수에 비해 클러스터 스토리지 용량이 부족하면 메타데이터 인덱스가 용량 임계값에 근접할 수 있습니다. 기존 노드의 스토리지를 확장(중단 없이)하거나 전용 스토리지 노드를 추가하여 이 문제를 해결할 수 있습니다.
-
- 용량이 더 필요할 때 확장
-
AIDE Enterprise는 재배포 없이 수평적 확장을 지원합니다.
-
워커 노드를 추가하여 스캔 처리 및 이벤트 수집에 사용할 수 있는 CPU 및 메모리 용량을 늘리십시오.
-
전체 카탈로그 용량을 늘리려면 전용 스토리지 노드를 추가하십시오. 이는 미리 정의된 최대 배포 규모를 초과하여 환경을 확장하는 주요 방법입니다.
-
클러스터에 노드를 추가하여 60억 개 이상의 파일을 처리할 수 있도록 확장하십시오. NetApp 담당자에게 사용자 지정 규모의 노드 크기 조정 지침을 문의하십시오.
기존 엔터프라이즈 클러스터에 노드를 추가하는 것은 진행 중인 스캔 작업에 영향을 미치지 않지만, 작업량이 적은 시간대에 변경 작업을 조율하십시오.
-