사용 사례 3: 기존 Hadoop 데이터에 대해 DevTest 활성화
변경 제안
PDF
이 사용 사례에서 고객은 DevTest와 보고 목적으로 동일한 데이터 센터와 원격 위치에서 대량의 분석 데이터를 포함하는 기존 Hadoop 클러스터를 기반으로 새로운 Hadoop/Spark 클러스터를 신속하고 효율적으로 구축해야 합니다.
시나리오
이 시나리오에서는 사내 및 재해 복구 위치에 대규모 Hadoop 데이터 레이크를 구축하고 Spark/Hadoop 클러스터를 여러 개 구축했습니다.
요구사항 및 당면 과제
이 사용 사례의 주요 요구사항과 과제는 다음과 같습니다.
-
DevTest, QA 또는 동일한 운영 데이터에 액세스해야 하는 기타 목적으로 여러 Hadoop 클러스터를 생성합니다. 여기서 문제는 매우 큰 Hadoop 클러스터를 공간 효율적인 방식으로 여러 번 즉시 클론 복제해야 한다는 것입니다.
-
운영 효율성을 위해 Hadoop 데이터를 DevTest 및 보고 팀에 동기화합니다.
-
운영 클러스터와 새 클러스터 간에 동일한 자격 증명을 사용하여 Hadoop 데이터를 배포합니다.
-
예약된 정책을 사용하여 운영 클러스터에 영향을 주지 않고 QA 클러스터를 효율적으로 생성합니다.
해결 방법
FlexClone 기술은 방금 설명한 요구 사항에 응답하는 데 사용됩니다. FlexClone 기술은 스냅샷 복사본의 읽기/쓰기 복사본입니다. 이 기능은 상위 스냅샷 복사본 데이터에서 데이터를 읽고 새 블록/수정된 블록에 대해 추가 공간만 사용합니다. 빠르고 공간 효율적입니다.
먼저, NetApp 일관성 그룹을 사용하여 기존 클러스터의 스냅샷 복사본을 생성했습니다.
NetApp System Manager 또는 스토리지 관리 프롬프트 내의 Snapshot 복사본 일관성 그룹 스냅샷 복사본은 애플리케이션 정합성이 보장된 그룹 스냅샷 복사본이며, FlexClone 볼륨은 일관성 그룹 스냅샷 복사본을 기반으로 생성됩니다. FlexClone 볼륨이 상위 볼륨의 NFS 엑스포트 정책을 상속한다는 점을 언급하는 것이 좋습니다. 스냅샷 복사본이 생성된 후에는 아래 그림과 같이 DevTest 및 보고를 위해 새 Hadoop 클러스터를 설치해야 합니다. 새 Hadoop 클러스터의 클론 복제된 NFS 볼륨은 NFS 데이터에 액세스합니다.
이 이미지는 DevTest용 Hadoop 클러스터를 보여 줍니다.
