프록시를 사용하여 다중 노드 배포로 AI Data Engine 배포
Kubernetes 클러스터 및 설치 호스트가 아웃바운드 프록시를 통해서만 인터넷에 연결되는 경우 NetApp Console에서 AI Data Engine(AIDE)을 멀티 노드 배포로 배포합니다. 이 절차에는 프록시 단계와 함께 멀티 노드 배포의 모든 단계가 포함되어 있습니다. 클러스터와 설치 호스트가 인터넷에 직접 액세스할 수 있는 경우 대신 "AI Data Engine을 멀티 노드 배포 방식으로 배포하십시오."을(를) 사용하십시오.
지원되는 프록시 유형 및 전체 매개변수 참조에 대해서는 "AI Data Engine용 프록시에 대해 알아보기"을(를) 참조하십시오. 프록시에서 허용할 엔드포인트에 대해서는 "아웃바운드 인터넷 액세스"을(를) 참조하십시오.
시작하기 전에
-
NetApp Console에서 조직 관리자 이상의 권한이 있습니다.
-
대상 클러스터에 대한 cluster-admin 액세스 권한이 있는 kubeconfig가 있습니다. `kubectl`이(가) `PATH`에 없는 경우 설치 프로그램이 이를 툴 디렉토리에 다운로드합니다.
-
귀하의 Kubernetes 클러스터는 "AIDE 다중 노드 배포 필수 조건" 및 "AIDE 요구 사항"에 설명된 다중 노드 필수 조건을 충족합니다.
-
설치 명령을 실행하기 전에 클러스터에
aide네임스페이스가 존재합니다. -
AI Data Engine 워크로드를 스케줄링하는 노드에는 "노드 레이블"에 설명된 노드 레이블이 있습니다.
-
구성된 StorageClass(기본 이름:
aide-sc)는 클러스터에서 사용할 수 있으며 AIDE의 상태 저장 백엔드 서비스에 사용됩니다.
-
내보낸 경로가 있는 NFS 서버를 AIDE 구성 볼륨에 대해 클러스터에서 사용할 수 있고 접근할 수 있습니다.
-
NetApp Console 에이전트 "배포됩니다" 및 클러스터 노드에서 접근 가능해야 합니다. 설치 명령을 실행하려면 Console 에이전트 IP가 필요합니다.
-
"아웃바운드 인터넷 액세스"에 있는 엔드포인트를 허용하도록 프록시를 구성했습니다.
-
프록시 호스트, 포트 및 스키마 (
http또는https)를 알고 있습니다. 프록시 인증이 필요한 경우 사용자 이름과 비밀번호도 알고 있습니다. -
개인적으로 서명된 인증서가 있는 HTTPS 프록시를 사용하는 경우, 설치 호스트에 CA 인증서가 PEM 파일 또는
.crt및.pem파일의 플랫 디렉터리로 있습니다.
|
|
AIDE의 첫 번째 설치에만 설치 관리자를 사용하십시오. AIDE를 업그레이드하는 데 사용하지 마십시오. 설치 후에는 AIDE 운영자가 업그레이드를 관리합니다. 업그레이드에 대한 자세한 내용은 NetApp 지원팀에 문의하십시오. |
프록시가 다중 노드 배포에 적용되는 방식
멀티 노드 배포에서는 사용자가 Kubernetes 클러스터를 소유합니다. 설치 프로그램은 프록시에 대한 AI Data Engine 워크로드를 구성하며 노드를 변경하지 않습니다. 설치 프로그램을 실행하기 전에 모든 노드에서 컨테이너 런타임 및 인증서 신뢰를 구성해야 합니다.
설치 프로그램은 설치 호스트에서만 프록시를 확인합니다. 노드는 확인하지 않습니다. 노드의 컨테이너 런타임이 구성되지 않은 경우 설치가 완료되며 나중에 해당 노드의 Pod에 `ImagePullBackOff`이(가) 표시됩니다.
또한 설치 프로그램은 노드에 운영 체제 패키지를 설치하지 않습니다. 노드에 환경에 필요한 패키지가 있는지, 그리고 환경에서 필요한 경우 패키지 관리자에 적절한 프록시 구성이 있는지 확인하십시오.
프록시용 노드를 구성합니다.
설치 프로그램을 실행하기 전에 모든 노드(컨트롤 플레인 및 워커)에서 프록시를 통해 이미지를 가져오도록 컨테이너 런타임을 구성하십시오. 설치 프로그램에 지정한 것과 동일한 프록시 호스트, 포트 및 스키마를 사용하십시오.
-
노드는 프록시를 통해 "아웃바운드 인터넷 액세스"에 나열된 NetApp 컨테이너 레지스트리 호스트 및 이미지 계층 버킷에 도달해야 합니다.
-
클러스터 내부 및 노드 주소를 프록시에서 제외하십시오.
-
개인적으로 서명된 인증서를 사용하는 HTTPS 프록시를 사용하는 경우, 노드 또한 프록시 CA 인증서를 신뢰해야 합니다.
단계는 사용하는 Kubernetes 배포판에 따라 다릅니다. 해당 배포판의 설명서를 참조하십시오.
설치 명령을 복사하십시오
-
NetApp Console에서 AI 데이터 허브 > *AI Data Engine*으로 이동합니다.
AI Data Engine 랜딩 페이지가 나타납니다.
-
*AI Data Engine 배포*를 선택합니다.
-
다중 노드 배포 옵션을 선택하고 *다음*을 선택합니다.
-
구성 크기를 선택하십시오:
-
소형: 최대 약 10억 개의 파일이 있는 환경에 권장됩니다.
-
중간(기본값): 최대 약 30억 개의 파일이 있는 환경에 권장됩니다.
-
대용량: 최대 약 60억 개의 파일이 있는 환경에 권장됩니다.
이러한 크기는 권장 기준치이며, 엄격한 제한 사항은 아닙니다. 60억 개 이상의 파일이 있는 환경에서 AIDE 멀티노드 배포를 수행하려면 NetApp과의 맞춤형 크기 조정이 필요합니다. 자세한 내용은 "유연한 사이즈 가이드라인"을(를) 참조하십시오.
마법사는 사용자가 선택한 구성 크기로 설치 명령을 생성합니다. 크기를 설정하기 위해 명령을 편집할 필요가 없습니다.
-
-
마법사에 표시된 설치 명령을 편집기에 복사합니다.
설치 명령은 `d13jb5dapseb36.cloudfront.net`에서 설치 프로그램을 다운로드하고 한 번에 실행합니다. 해당 다운로드는 프록시를 사용하지 않습니다.
-
설치 호스트가 `d13jb5dapseb36.cloudfront.net`에 직접 연결할 수 있는 경우 다음 섹션을 건너뛰고 프록시 암호 파일을 생성합니다(으)로 계속 진행하십시오. 복사한 대로 설치 명령을 실행하십시오. 설치 프로그램에서 프록시 설정을 입력하라는 메시지가 표시됩니다. 대신 명령줄에서 제공하려면 명령줄 플래그를 사용한 비대화형 설치을(를) 참조하십시오.
-
설치 호스트가 프록시를 통해서만 인터넷에 연결되는 경우 명령은 다운로드에서 중지됩니다. 다음 섹션을 먼저 완료하십시오. 설치 호스트에만 이것이 필요합니다. 노드는 설치 프로그램을 다운로드하지 않습니다.
프록시를 통해 설치 프로그램을 다운로드합니다.
설치 프로그램을 직접 다운로드한 후, ./install-enterprise.sh 이후부터 설치 명령을 실행하십시오.
-
설치 프로그램을 설치 호스트로 가져오십시오. 환경에서 허용하는 방법을 사용하여 파일을 설치 호스트에 배치하십시오.
프록시를 통해 설치 프로그램 호스트에서 설치 프로그램을 다운로드하려면:
mkdir -p ~/aide && cd ~/aide curl -fsSL -x http://PROXY_HOST:PROXY_PORT \ https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz -o aide-installer.tar.gz프록시에 사용자 이름이 필요한 경우
--proxy-user USER`을 `curl명령에 추가하십시오. 암호를 생략하면 `curl`에서 암호를 묻는 메시지가 표시되므로 셸 기록에 저장되지 않습니다.-
프록시가 HTTPS에서 수신 대기하는 경우
-x주소에 `https://`을(를) 사용하십시오. -
프록시가 개인적으로 서명된 인증서를 사용하는 경우, `--proxy-cacert CA_FILE`를 추가하거나 먼저 설치 프로그램 호스트 신뢰 저장소에 CA 인증서를 추가하십시오.
-
HTTPS 프록시 및
curl8.3 이전 버전을 사용하는 경우 다운로드가 약 1분간 일시 중지될 수 있습니다. Ubuntu 22.04에는 이러한 버전이 포함되어 있습니다. 완료될 때까지 기다려 주십시오.또는 다른 컴퓨터에서
https://d13jb5dapseb36.cloudfront.net/aide/latest/aide-installer.tar.gz`을(를) 다운로드한 다음, `scp또는 평소 사용하는 파일 전송 방법을 사용하여 설치 프로그램 호스트로 복사하십시오.
-
-
설치 프로그램의 압축을 풀고 설치 프로그램 폴더로 이동하십시오:
tar -xzf aide-installer.tar.gz cd installer이 설치 프로그램 폴더 안에서 다음의 모든 명령을 실행하십시오. 폴더 안의
version.txt파일에는 설치 프로그램 빌드 버전이 표시됩니다. -
NetApp Console에서 복사한 설치 명령을 준비합니다. 이 명령은 설치 프로그램을 다운로드한 다음 매개변수와 함께 실행됩니다
./install-enterprise.sh. 설치 프로그램을 이미 다운로드했으므로:-
./install-enterprise.sh이전의 모든 내용을 삭제하여 명령어가 `./install-enterprise.sh`로 시작하도록 합니다. -
명령어가 따옴표로 묶여 있는 경우(예:
bash -c '…‘), 맨 끝에 있는 작은따옴표 (')를 삭제하십시오. -
명령어에 `--no-proxy`가 포함되어 있으면 삭제하십시오.
나머지 명령어는 다음과 같습니다:
./install-enterprise.sh --flavor <small|medium|large> --kubeconfig <kubeconfig-path> --nfs-server <nfs-server> --nfs-data-share <export-path> --registry <registry> --account-id <account-id> --organization-id <organization-id> --agent-id <agent-id> --cm-host <console-agent-ip>+
./install-enterprise.sh다음에 나오는 모든 매개변수를 복사한 명령에 나타난 그대로 유지하십시오. 설치 프로그램에서 프록시 설정을 입력하라는 메시지가 표시됩니다. 대화형 안내 설정을(를) 참조하십시오. -
프록시 암호 파일을 생성합니다
프록시에 인증이 필요하고 자동 배포 등에서 암호를 입력하라는 메시지 없이 암호를 제공하려면 설치 프로그램을 실행하기 전에 암호 파일을 생성하십시오. 그렇지 않으면 이 섹션을 건너뛰십시오. 설치 프로그램은 숨겨진 입력으로 암호를 입력하라는 메시지를 표시합니다.
파일에는 비밀번호만 들어 있습니다. 특수 문자를 퍼센트 인코딩하지 말고 비밀번호를 그대로 입력하십시오.
설치 프로그램이 해당 사용자로 파일을 읽기 때문에 `./install-enterprise.sh`을(를) 실행하는 동일한 사용자로 파일을 생성하십시오.
umask 077
read -rs -p 'Proxy password: ' P && printf '%s' "$P" > $HOME/.aide-proxy-password; unset P; echo
chmod 600 $HOME/.aide-proxy-password
설치가 완료되면 해당 파일을 삭제하십시오.
프록시 설정을 제공하십시오
설치 프로그램이 프록시 설정을 입력하라는 메시지를 표시합니다. NetApp Console에서 복사한 설치 명령을 실행하고 메시지에 응답하십시오. 메시지 없이 실행해야 하는 자동화된 배포의 경우 명령줄 플래그를 사용한 비대화형 설치를 참조하십시오.
노드에 구성한 것과 동일한 프록시 호스트, 포트, 체계 및 CA 인증서를 사용하십시오.
대화형 안내 설정 기능을 사용하세요
터미널에서 --proxy-host 또는 --no-proxy 없이 설치 명령을 실행하면 설치 프로그램이 다음과 같은 질문을 합니다. 매개변수로 값을 전달하면 설치 프로그램은 해당 값을 다시 묻지 않습니다.
| 프롬프트 | 입력할 내용 |
|---|---|
|
입력 |
프록시 호스트 또는 IP |
프록시 호스트 이름 또는 IPv4 주소를 입력하십시오(선택적으로 포트 포함 ( |
프록시 방식 ( |
프록시가 수신 대기하는 프로토콜을 입력하십시오. 기본값은 `https`입니다. |
프록시 포트 |
프록시 포트를 입력하십시오. 기본값은 HTTPS의 경우 `443`이고 HTTP의 경우 `80`입니다. |
프록시 유형 |
Enter 키를 눌러 기본값을 수락하십시오. |
프록시 자체 인증서용 CA 인증서(HTTPS만 해당, 선택 사항) |
CA 파일 또는 디렉터리의 경로를 입력하십시오. 공용 CA가 프록시 인증서에 서명한 경우 Enter 키를 누르십시오. |
프록시에 사용자 이름과 암호가 필요합니까? (y/N) |
예라면 사용자 이름을 입력한 다음 비밀번호를 두 번 입력하십시오. 설치 프로그램은 비밀번호를 화면에 표시하지 않습니다. |
터미널이 없으면 설치 프로그램은 아무런 메시지를 표시하지 않습니다. 프록시를 사용하려면 `--proxy-host`을(를) 전달하고, 프록시에 암호가 필요한 경우 `--proxy-password-file`을(를) 전달하십시오.
설정 시 명령줄 플래그를 사용하십시오
프롬프트 없이 실행해야 하는 자동 또는 기타 비대화형 배포에는 명령줄 플래그를 사용하십시오. 플래그는 선택 사항입니다. 설치 프로그램은 사용자가 제공하지 않은 프록시 정보에 대해 프롬프트를 표시합니다.
설치 명령의 맨 끝, 마지막 기존 매개변수 뒤에 프록시 매개변수를 추가하십시오.
-
NetApp Console에서 복사한 설치 명령을 실행하는 경우, 닫는 따옴표 앞의 따옴표 안에 매개변수를 추가하십시오.
-
설치 프로그램을 다운로드하고 명령을 단축한 경우 단축된 명령 끝에 매개변수를 추가하십시오.
명령에 `--no-proxy`이(가) 포함되어 있으면 제거하십시오. 설치 명령의 다른 모든 매개변수는 그대로 유지하십시오. 각 매개변수에 대한 설명과 기본값은 "프록시 구성 매개변수"을(를) 참조하십시오. 다음 예에서는 프록시 매개변수만 보여줍니다.
--proxy-host proxy.example.com \
--proxy-port 3128 \
--proxy-scheme http \
--proxy-user svc-aide \
--proxy-password-file $HOME/.aide-proxy-password
--proxy-host proxy.example.com \
--proxy-port 8443 \
--proxy-scheme https \
--proxy-ca-cert $HOME/proxy-ca.pem
-
프록시에 인증이 필요하지 않은 경우
--proxy-user및 `--proxy-password-file`를 생략하십시오. -
`--proxy-user`을(를) 지정하고 `--proxy-password-file`을(를) 지정하지 않으면 터미널에서 실행할 때 설치 프로그램이 암호를 묻는 메시지를 표시합니다.
|
|
HTTP 프록시를 사용하면 프록시 사용자 이름과 비밀번호가 일반 텍스트로 전송됩니다. 프록시에 인증이 필요한 경우 HTTPS 프록시를 사용하십시오. |
설치를 실행합니다
-
Kubernetes 클러스터에 접속할 수 있는 호스트에서 설치 명령을 실행하십시오. 설치 프로그램을 다운로드한 경우, 설치 프로그램 폴더에서 명령을 실행하십시오.
설치 프로그램은 다운로드를 시작하기 전에 설치 호스트에서 프록시가 응답하는지, 프록시가 자격 증명을 수락하는지, 프록시 인증서가 선택한 체계에 유효한지 확인합니다. 검사에 실패하면 설치 프로그램이 중지되고 원인을 표시합니다. 이 검사는 클러스터 노드가 프록시에 도달할 수 있는지 여부는 테스트하지 않습니다.
설치는 약 30분 정도 소요됩니다. 시간 초과 및 재시도가 발생할 수 있으며, 이는 정상적인 현상입니다. -
프록시 매개변수를 모두 전달하지 않은 경우 프록시 프롬프트에 응답하십시오. 대화형 안내 설정을(를) 참조하십시오.
-
설치를 계속하려면 설치 프로그램의 확인 메시지에 응답하십시오.
-
설치 프로그램은 컨텍스트, 클러스터 이름, API 서버 등 kubeconfig가 선택한 Kubernetes 클러스터를 표시합니다. 해당 클러스터를 사용할 경우에만 예라고 답하십시오. 잘못된 클러스터인 경우 설치 프로그램을 중지하고 올바른 kubeconfig 컨텍스트를 선택한 후 설치 프로그램을 다시 실행하십시오.
-
설치 프로그램에서 다중 노드 배포에 필요한 필수 조건이 모두 충족되었는지 확인하라는 메시지가 나타납니다. 계속하려면 예라고 답하십시오.
-
설치 프로그램은 AI Data Engine NGINX 인그레스를 실행하는 노드의 IP 주소를 감지하고 확인을 요청합니다. 표시된 주소를 유지하려면 Enter 키를 누르거나 다른 주소를 입력하십시오. 클러스터 외부에서 접근 가능한 주소를 사용하십시오. 감지된 주소가 클러스터 내부 주소인 경우, 대신 접근 가능한 주소를 입력하십시오. Console 에이전트 주소는 입력하지 마십시오.
-
-
AIDE 설치가 완료되었음을 확인하는 성공 화면이 나타날 때까지 진행 화면을 모니터링하십시오.
AI Data Engine 멀티 노드 배포가 완료되어 NetApp Console에 연결되었습니다. 이제 "데이터 소스 연결" 스캔을 시작할 수 있습니다.
설치 후 프록시를 확인하십시오
AI Data Engine 오퍼레이터는 사용하는 프록시를 로그에 기록합니다. 로그에는 암호가 포함되지 않습니다. 프록시를 확인하려면 클러스터에 연결할 수 있는 호스트에서 다음 명령을 실행하십시오. `<kubeconfig>`를 kubeconfig 파일의 경로로 바꾸십시오:
kubectl --kubeconfig <kubeconfig> -n aide logs deploy/aide-operator -c chart-fetcher | grep -m1 'proxy enabled'
`kubectl`이(가) `PATH`에 없다면 설치 프로그램이 툴 디렉터리에 다운로드한 것입니다. 대신 `<tools-dir>/kubectl`을(를) 실행하십시오. 기본 툴 디렉터리는 `/opt/netapp/aide/.aide-installer-tools`입니다.
해당 줄에는 프록시 엔드포인트, 인증 활성화 여부, CA 인증서 마운트 여부가 표시됩니다.