Skip to main content
NetApp artificial intelligence solutions
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

AI를 위한 데이터 무버 솔루션

PDF

AI를 위한 데이터 무버 솔루션은 AI 작업에서 Hadoop 데이터를 처리하려는 고객의 요구 사항을 기반으로 합니다. NetApp NIPAM을 사용하여 HDFS에서 NFS로 데이터를 이동합니다. 한 가지 사용 사례에서 고객은 사내 NFS로 데이터를 옮겨야 했고, 다른 고객은 클라우드의 GPU 클라우드 인스턴스에서 데이터를 처리하기 위해 Windows Azure Storage Blob에서 Google Cloud NetApp Volumes 로 데이터를 옮겨야 했습니다.

다음 다이어그램은 데이터 이동 솔루션의 세부 정보를 보여줍니다.

입력/출력 대화 상자 또는 서면 내용을 나타내는 그림

데이터 무버 솔루션을 구축하려면 다음 단계가 필요합니다.

  1. ONTAP SAN은 HDFS를 제공하고 NAS는 NIPAM을 통해 프로덕션 데이터 레이크 클러스터에 NFS 볼륨을 제공합니다.

  2. 고객 데이터는 HDFS와 NFS에 있습니다. NFS 데이터는 빅데이터 분석 및 AI 운영에 사용되는 다른 애플리케이션의 프로덕션 데이터일 수 있습니다.

  3. NetApp FlexClone 기술은 프로덕션 NFS 볼륨의 복제본을 생성하여 온프레미스 AI 클러스터에 프로비저닝합니다.

  4. HDFS SAN LUN의 데이터는 NIPAM을 사용하여 NFS 볼륨으로 복사됩니다. hadoop distcp 명령. NIPAM은 여러 네트워크 인터페이스의 대역폭을 사용하여 데이터를 전송합니다. 이 프로세스를 통해 데이터 복사 시간이 줄어들어 더 많은 데이터를 전송할 수 있습니다.

  5. 두 NFS 볼륨 모두 AI 작업을 위해 AI 클러스터에 프로비저닝됩니다.

  6. 클라우드에서 GPU를 사용하여 온프레미스 NFS 데이터를 처리하려면 NFS 볼륨을 NetApp SnapMirror 기술을 사용하여 NetApp Private Storage(NPS)로 미러링하고 GPU용 클라우드 서비스 제공업체에 마운트해야 합니다.

  7. 고객은 클라우드 서비스 제공업체의 GPU를 사용하여 EC2/EMR, HDInsight 또는 DataProc 서비스의 데이터를 처리하려고 합니다. Hadoop 데이터 이동기는 Hadoop 서비스에서 NIPAM을 사용하여 Google Cloud NetApp Volumes 로 데이터를 이동합니다. hadoop distcp 명령.

  8. Google Cloud NetApp Volumes 데이터는 NFS 프로토콜을 통해 AI에 프로비저닝됩니다. AI를 통해 처리된 데이터는 NIPAM, SnapMirror 및 NPS를 통해 NVIDIA 클러스터 외에도 빅데이터 분석을 위해 온프레미스 위치로 전송될 수 있습니다.

이 시나리오에서 고객은 사내 NetApp 스토리지 컨트롤러에서 AI를 처리하는 데 필요한 대용량 파일 수의 데이터를 원격 위치의 NAS 시스템에 보관합니다. 이 시나리오에서는 XCP 마이그레이션 도구를 사용하여 더 빠른 속도로 데이터를 마이그레이션하는 것이 더 좋습니다.

하이브리드 사용 사례 고객은 BlueXP Copy and Sync를 사용하여 온프레미스 데이터를 NFS, CIFS 및 S3 데이터에서 클라우드로 마이그레이션하고, 그 반대로 NVIDIA 클러스터에 있는 GPU와 같은 GPU를 사용하여 AI 처리를 수행할 수 있습니다. BlueXP Copy and Sync와 XCP Migration Tool은 모두 NFS 데이터를 NetApp ONTAP NFS로 마이그레이션하는 데 사용됩니다.