Skip to main content
NetApp Solutions
본 한국어 번역은 사용자 편의를 위해 제공되는 기계 번역입니다. 영어 버전과 한국어 버전이 서로 어긋나는 경우에는 언제나 영어 버전이 우선합니다.

개념 및 구성 요소

기여자

이 섹션에서는 ML 워크플로우에서 데이터 캐싱과 관련된 개념 및 구성 요소에 대해 설명합니다.

머신 러닝

ML은 전 세계 많은 기업과 조직에 빠르게 필수 요소가 되고 있습니다. 따라서, IT 및 DevOps 팀은 ML 워크로드 및 프로비저닝 클라우드, 온프레미스, 하이브리드 컴퓨팅 리소스를 표준화하여 ML 작업 및 파이프라인에 필요한 동적이고 집약적인 워크플로우를 지원해야 하는 과제에 직면해 있습니다.

컨테이너 기반 머신 러닝 및 Kubernetes

컨테이너는 공유 호스트 운영 체제 커널 위에서 실행되는 격리된 사용자 공간 인스턴스입니다. 컨테이너 채택이 빠르게 증가하고 있습니다. 컨테이너는 가상 머신(VM)이 제공하는 것과 동일한 애플리케이션 샌드박스(sandbox)의 많은 이점을 제공합니다. 하지만 VM이 사용하는 하이퍼바이저 및 게스트 운영 체제 계층이 없어졌기 때문에 컨테이너는 훨씬 더 가볍습니다.

또한 컨테이너를 사용하면 애플리케이션 종속성, 실행 시간 등을 애플리케이션과 직접 효율적으로 패키징할 수 있습니다. 가장 일반적으로 사용되는 컨테이너 패키징 형식은 Docker 컨테이너입니다. Docker 컨테이너 형식으로 컨테이너화된 애플리케이션은 Docker 컨테이너를 실행할 수 있는 모든 시스템에서 실행할 수 있습니다. 모든 종속성이 컨테이너 자체에 패키지되어 있기 때문에 응용 프로그램의 종속성이 컴퓨터에 없는 경우에도 마찬가지입니다. 자세한 내용은 를 참조하십시오 "Docker 웹 사이트".

데이터 과학자는 널리 사용되는 컨테이너 오케스트레이터인 Kubernetes를 사용하여 유연한 컨테이너 기반 작업 및 파이프라인을 시작할 수 있습니다. 또한 인프라 팀이 단일 관리형 클라우드 네이티브 환경에서 ML 워크로드를 관리하고 모니터링할 수 있습니다. 자세한 내용은 를 참조하십시오 "Kubernetes 웹 사이트".

cnvrg.io

cnvrg.io는 AI 및 데이터 과학 개발의 관리, 확장 및 속도를 연구에서 운영으로 전환하는 AI 운영 체제입니다. 데이터 과학자가 코드 우선 플랫폼을 구축하고 사내 또는 클라우드에서 유연하게 실행할 수 있습니다. 모델 관리, MLOps 및 지속적인 ML 솔루션을 통해 cnvrg.IO는 데이터 과학 팀에 최고의 기술을 제공하므로 DevOps에 더 적은 시간을 할애하고 진정한 마법인 알고리즘에 집중할 수 있습니다. cnvrg.io를 사용한 이후, 여러 산업 분야의 팀들이 생산 모델에 더 많은 모델을 투입하여 비즈니스 가치를 증대하고 있습니다.

cnvrg.io 메타 스케줄러

cnvrg IO는 IT와 엔지니어가 서로 다른 컴퓨팅 리소스를 동일한 제어 평면에 연결하고 cnvrg.io를 사용하여 모든 리소스에 걸쳐 ML 작업을 관리할 수 있는 고유한 아키텍처를 가지고 있습니다. 즉, 다음 그림과 같이 여러 온프레미스 Kubernetes 클러스터, VM 서버 및 클라우드 계정을 연결하고 모든 리소스에서 ML 워크로드를 실행할 수 있습니다.

오류: 그래픽 이미지가 없습니다

cnvrg.io 데이터 캐싱

데이터 과학자는 cnvrg.io를 사용하여 데이터 캐싱 기술을 통해 핫 데이터 세트 및 콜드 데이터 세트 버전을 정의할 수 있습니다. 기본적으로 데이터 세트는 중앙 집중식 오브젝트 스토리지 데이터베이스에 저장됩니다. 그런 다음 데이터 과학자는 선택한 컴퓨팅 리소스에 특정 데이터 버전을 캐시하여 다운로드 시간을 줄이고 ML 개발 및 생산성을 향상시킬 수 있습니다. 캐싱되고 며칠 동안 사용되지 않는 데이터 세트는 선택한 NFS에서 자동으로 지워집니다. 한 번의 클릭으로 캐시 캐싱 및 지우기를 수행할 수 있으며 코딩, IT 또는 DevOps 작업이 필요하지 않습니다.

cnvrg.io는 플로우 및 ML 파이프라인

cnvrg.IO Flows는 생산 ML 파이프라인을 구축하기 위한 도구입니다. 플로우의 각 구성 요소는 기본 Docker 이미지를 사용하여 선택한 컴퓨팅에서 실행되는 스크립트/코드입니다. 이 설계를 통해 데이터 과학자와 엔지니어가 사내 및 클라우드에서 모두 실행할 수 있는 단일 파이프라인을 구축할 수 있습니다. cnvrg.io는 데이터, 매개 변수 및 아티팩트가 서로 다른 구성 요소 간에 이동하고 있는지 확인합니다. 또한 각 흐름을 모니터링하고 추적하여 100% 재현성 있는 데이터 과학을 제공합니다.

cnvrg.io 코어

cnvrg.io core는 데이터 과학자가 DevOps에 초점을 맞추는 데 도움을 주기 위해 데이터 과학 커뮤니티를 위한 무료 플랫폼입니다. Core의 유연한 인프라를 통해 데이터 과학자는 온프레미스 또는 클라우드 등 어떤 언어, AI 프레임워크 또는 컴퓨팅 환경이라도 사용할 수 있으므로 가장 잘하는 일을 하고 알고리즘을 구축할 수 있습니다. cnvrg.io 코어는 모든 Kubernetes 클러스터에서 단일 명령으로 간편하게 설치할 수 있습니다.

NetApp ONTAP AI를 참조하십시오

ONTAP AI는 NetApp AFF 스토리지 시스템 및 NVIDIA DGX 시스템과 Tesla V100 GPU를 사용하는 ML 및 딥 러닝(DL) 워크로드를 위한 데이터 센터 참조 아키텍처입니다. ONTAP AI는 100Gb 이더넷을 통한 산업 표준 NFS 파일 프로토콜을 기반으로 하며, 표준 데이터 센터 기술을 사용하여 구현 및 관리 오버헤드를 줄이는 고성능 ML/DL 인프라를 고객에게 제공합니다. 표준화된 네트워크 및 프로토콜을 사용하여 ONTAP AI를 하이브리드 클라우드 환경에 통합하는 동시에 운영 일관성과 단순성을 유지할 수 있습니다. 사전 검증된 인프라 솔루션인 ONTAP AI를 사용하면 구축 시간과 위험을 줄이고 관리 오버헤드를 크게 줄여 고객이 투자 회수 시간을 단축할 수 있습니다.

NVIDIA DeepOps

DeepOps는 NVIDIA의 오픈 소스 프로젝트로, Ansible을 사용하여 GPU 서버 클러스터를 모범 사례에 따라 자동으로 구축합니다. DeepOps는 모듈식이며 다양한 배포 작업에 사용할 수 있습니다. 이 문서와 이 문서에서 설명하는 검증 연습에서는 GPU 서버 작업자 노드로 구성된 Kubernetes 클러스터를 배포하는 데 DeepOps를 사용합니다. 자세한 내용은 를 참조하십시오 "DeepOps 웹 사이트".

NetApp 트라이던트

Trident는 NetApp에서 개발 및 유지 관리하는 오픈 소스 스토리지 오케스트레이터로서 Kubernetes 워크로드를 위한 영구 스토리지의 생성, 관리 및 사용을 크게 단순화합니다. Trident 자체 Kubernetes 네이티브 애플리케이션 - Kubernetes 클러스터 내에서 직접 실행됩니다. Trident를 사용하면 Kubernetes 사용자(개발자, 데이터 과학자, Kubernetes 관리자 등)가 이미 익숙한 표준 Kubernetes 형식으로 영구 스토리지 볼륨을 생성, 관리 및 상호 작용할 수 있습니다. 이와 동시에 NetApp 기술에서 제공하는 NetApp 고급 데이터 관리 기능과 Data Fabric을 활용할 수 있습니다. Trident는 영구 스토리지의 복잡성을 추상화하여 사용이 간편합니다. 자세한 내용은 를 참조하십시오 "Trident 웹 사이트".

NetApp StorageGRID를 참조하십시오

NetApp StorageGRID는 사용자가 S3 프로토콜을 통해 액세스할 수 있는 간단하고 클라우드식 스토리지를 제공하여 이러한 요구를 충족하도록 설계된 소프트웨어 정의 오브젝트 스토리지 플랫폼입니다. StorageGRID는 인터넷에 연결된 사이트에서 거리에 관계없이 여러 노드를 지원하도록 설계된 스케일아웃 시스템입니다. StorageGRID의 지능형 정책 엔진을 사용하여 지리적 복원력을 위해 사이트 전체에서 오브젝트를 삭제 코딩하거나 원격 사이트 간에 오브젝트 복제를 선택하여 WAN 액세스 지연 시간을 최소화할 수 있습니다. StorageGRID은 이 솔루션에서 탁월한 프라이빗 클라우드 1차 오브젝트 스토리지 데이터 레이크를 제공합니다.

NetApp Cloud Volumes ONTAP를 참조하십시오

NetApp Cloud Volumes ONTAP 데이터 관리 소프트웨어는 AWS, Google Cloud Platform 및 Microsoft Azure를 비롯한 퍼블릭 클라우드 공급자의 유연성을 통해 사용자 데이터에 제어, 보호 및 효율성을 제공합니다. Cloud Volumes ONTAP은 NetApp ONTAP 스토리지 소프트웨어를 기반으로 하는 클라우드 네이티브 데이터 관리 소프트웨어로, 클라우드 데이터 요구사항을 해결하는 뛰어난 범용 스토리지 플랫폼을 제공합니다. 클라우드와 사내에서 동일한 스토리지 소프트웨어를 사용하는 사용자는 새로운 데이터 관리 방법을 통해 IT 직원을 교육하지 않고도 Data Fabric의 가치를 실현할 수 있습니다.

하이브리드 클라우드 구현 모델에 관심 있는 고객을 위해 Cloud Volumes ONTAP은 대부분의 퍼블릭 클라우드에서 동일한 기능과 동급 최고의 성능을 제공하여 어떠한 환경에도 일관되고 원활한 사용자 경험을 제공할 수 있습니다.