데이터 레이크에서 ONTAP NFS로
변경 제안
PDF
이 사용 사례는 우리가 수행한 가장 큰 재무 고객 개념 증명(CPOC)을 기반으로 합니다. 역사적으로 우리는 NetApp NIPAM(In-Place 분석 모듈)을 사용하여 분석 데이터를 NetApp ONTAP AI로 이동시켰습니다. 하지만 최근 NetApp XCP의 향상된 기능과 향상된 성능, 고유한 NetApp Data Mover 솔루션 접근 방식 덕분에 NetApp XCP를 사용하여 데이터 마이그레이션을 다시 수행할 수 있게 되었습니다.
고객의 당면 과제 및 요구사항
주목해야 할 고객 과제 및 요구사항은 다음과 같습니다.
-
정형, 비정형, 준정형 데이터, 로그, 데이터, 데이터 등 다양한 데이터 유형을 그리고 데이터 레이크에 있는 머신 간 데이터를 활용하여 AI 시스템을 사용하면 예측 작업을 위해 이러한 모든 유형의 데이터를 처리할 수 있습니다. 데이터가 데이터 레이크 네이티브 파일 시스템에 있으면 프로세스가 어렵습니다.
-
고객의 AI 아키텍처는 HDFS(Hadoop Distributed File System) 및 HCFS(Hadoop Compatible File System)의 데이터에 액세스할 수 없으므로 AI 작업에 데이터를 사용할 수 없습니다. AI에는 NFS와 같이 이해하기 쉬운 파일 시스템 형식의 데이터가 필요합니다.
-
대량의 데이터와 높은 처리량으로 인해 데이터 레이크에서 데이터를 이동하려면 일부 특별한 프로세스가 필요하며, 데이터를 AI 시스템으로 이동하는 데 비용 효율적인 방법이 필요합니다.
Data Mover 솔루션
이 솔루션에서 MapR 파일 시스템(MapR-FS)은 MapR 클러스터의 로컬 디스크에서 생성됩니다. MapR NFS 게이트웨이는 가상 IP가 있는 각 데이터 노드에서 구성됩니다. 파일 서버 서비스는 MapR-FS 데이터를 저장하고 관리합니다. NFS 게이트웨이는 가상 IP를 통해 NFS 클라이언트에서 Map-FS 데이터에 액세스할 수 있도록 합니다. MapR 데이터 노드당 XCP 인스턴스가 실행되고 지도 NFS 게이트웨이에서 NetApp ONTAP NFS로 데이터를 전송합니다. 각 xCP 인스턴스는 특정 소스 폴더 세트를 대상 위치로 전송합니다.
다음 그림은 XCP를 사용하는 MapR 클러스터용 NetApp Data Mover 솔루션을 보여 줍니다.
고객 사용 사례, 녹화된 데모 및 테스트 결과에 대한 자세한 내용은 "XCP를 사용하여 데이터 레이크와 고성능 컴퓨팅에서 ONTAP NFS로 데이터를 이동합니다"블로그를 참조하십시오.
NetApp XCP를 사용하여 MapR-FS 데이터를 ONTAP NFS로 이동하는 자세한 단계는 의 부록 B를 참조하십시오"TR-4732: 인공 지능에 대한 빅 데이터 분석 데이터".