Skip to main content
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

다중 노드 스케일아웃 구성

기여자
PDF

xCP NFS의 경우, 단일 'copy'(또는 'scCAN-MD5') 명령을 사용하여 여러 Linux 시스템이나 클러스터 노드에서 작업자를 실행함으로써 단일 노드의 성능 한계를 극복할 수 있습니다.

지원되는 기능

다중 노드 스케일아웃은 다음과 같은 시나리오에서 단일 시스템의 성능이 충분하지 않은 모든 환경에서 유용합니다.

  • 단일 노드에서 페타바이트 단위의 데이터를 복사하는 데 몇 달이 걸리는 경우

  • 클라우드 오브젝트 저장소에 대한 지연 시간이 길어지는 경우 개별 노드의 속도가 느려집니다

  • 대규모 HDFS 클러스터 팜에서는 매우 많은 수의 I/O 작업을 실행합니다

경로 구문

다중 노드 스케일아웃의 경로 구문은 '- 노드 worker1, worker2, worker3'입니다.

다중 노드 스케일 아웃 설정

CPU 및 RAM 구성이 유사한 4개의 Linux 호스트를 설치하는 것을 고려합니다. xCP는 모든 호스트 노드에서 복사 작업을 조정할 수 있으므로 네 개의 호스트를 모두 마이그레이션에 사용할 수 있습니다. 이러한 노드를 스케일아웃 환경에서 사용하려면 4개 노드 중 하나를 마스터 노드로 식별하고 다른 노드를 작업자 노드로 식별해야 합니다. 예를 들어, Linux 4노드 설정의 경우 노드 이름을 "master", "worker1", "worker2" 및 "worker3"로 지정한 다음 마스터 노드에 구성을 설정합니다.

  1. 홈 디렉토리에 xCP를 복사합니다.

  2. xCP 라이센스를 설치하고 활성화합니다.

  3. xcp.ini` 파일을 수정하고 카탈로그 경로를 추가합니다.

  4. 마스터 노드에서 작업자 노드로 SSH(passwornless Secure Shell)를 설정합니다.

    1. 마스터 노드에서 키를 생성합니다.

      ssh-keygen-b 2048-t rsa-f/root/.ssh/id_rsa-q-N''

    2. 모든 작업자 노드에 키를 복사합니다.

      ssh-copy-id-i/root/.ssh/id_rsa.pub root@worker1'을 참조하십시오

xCP 마스터 노드는 SSH를 사용하여 다른 노드에서 작업자를 실행합니다. 마스터 노드에서 xCP를 실행하는 사용자에 대해 암호 없는 SSH 액세스를 사용하도록 작업자 노드를 구성해야 합니다. 예를 들어 마스터 노드에서 노드 "worker1"을 xCP 작업자 노드로 사용하도록 사용자 데모를 설정하려면 마스터 노드에서 홈 디렉토리의 모든 작업자 노드로 xCP 바이너리를 복사해야 합니다.

최대 시작

여러 xCP 작업자를 동시에 시작할 때 오류를 방지하려면 다음 예제와 같이 각 작업자 노드에서 'shd MaxStartup' 매개 변수를 늘려야 합니다.

echo "MaxStartups 100" | sudo tee -a /etc/ssh/sshd_config
sudo systemctl restart sshd
"nodes.ini" 파일

XCP가 클러스터 노드에서 작업자를 실행하면 작업자 프로세스가 마스터 노드의 기본 XCP 프로세스에서 환경 변수를 상속합니다. 특정 노드 환경을 사용자 정의하려면 마스터 노드의 구성 디렉토리에서만 nodes.ini` 파일에 변수를 설정해야 합니다(작업자 노드에는 구성 디렉토리나 카탈로그가 없음). 예를 들어, 웨이브(CentOS)와 같이 마스터 노드와 다른 위치에 "libjvm.so"가 있는 Ubuntu 서버 mars의 경우 Mars 작업자가 HDFS 커넥터를 사용할 수 있도록 구성 디렉토리가 필요합니다. 이 설정은 다음 예에 나와 있습니다.

[schay@wave ~]$ cat /opt/NetApp/xFiles/xcp/nodes.ini [mars]
NHDFS_LIBJVM_PATH=/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/
amd64/server/libjvm.so

POSIX 및 HDFS 파일 경로가 포함된 다중 세션을 사용하는 경우 파일 시스템과 소스 및 대상 내보내기 파일 시스템을 마스터 노드와 모든 작업자 노드에 마운트해야 합니다.

작업자 노드에서 XCP가 실행되면 작업자 노드에 로컬 구성이 없습니다(라이센스, 로그 파일 또는 카탈로그 없음). xCP 바이너리는 홈 디렉토리의 시스템에서만 필요합니다. 예를 들어, 'copy' 명령을 실행하려면 마스터 노드와 모든 작업자 노드가 소스 및 대상에 액세스해야 합니다. xCP copy — nodes Linux1, linux2 HDFS:///user/demo/test\file://mnt/ONTAP의 경우, "Linux1" 및 "linux2" 호스트에는 HDFS 클라이언트 소프트웨어가 구성되어 있어야 하며, NFS 내보내기는 /mnt/ONTAP에 마운트되어야 하며, 앞서 언급한 바와 같이 홈 디렉토리에 xCP 바이너리 복제본이 있어야 합니다.

POSIX 및 HDFS 커넥터, 다중 노드 스케일아웃 및 보안 기능을 결합합니다

POSIX 및 HDFS 커넥터, 다중 노드 스케일아웃 및 보안 기능을 함께 사용할 수 있습니다. 예를 들어 다음과 같은 '복사' 및 '복사' 명령은 POSIX 및 HDFS 커넥터를 보안 및 스케일 아웃 기능과 결합합니다.

  • '복사' 명령 예:

    ./xcp copy hdfs:///user/demo/d1 file:///mnt/nfs-server0/d3
./xcp copy -match "'USER1 in name'" file:///mnt/nfs-server0/d3
hdfs:///user/demo/d1
./xcp copy —node worker1,worker2,worker3 hdfs:///user/demo/d1
file:///mnt/nfs-server0/d3

  • 피의자지휘의 예:

    ./xcp verify hdfs:///user/demo/d2 file:///mnt/nfs-server0/d3