오픈 소스 MLOps 및 NetApp
변경 제안
PDF
마이크 오글즈비, NetApp 수피안 아흐마드, NetApp 릭 황, NetApp 모한 아차리아, NetApp
규모와 업종에 상관없이 모든 기업과 조직은 실제 문제를 해결하고, 혁신적인 제품과 서비스를 제공하고, 경쟁이 점점 더 치열해지는 시장에서 우위를 확보하기 위해 인공 지능(AI)으로 눈을 돌리고 있습니다. 많은 조직이 업계 혁신의 빠른 속도를 따라가기 위해 오픈 소스 MLOps 툴로 전환하고 있습니다. 이러한 오픈 소스 툴은 고급 기능과 첨단 기능을 제공하지만 데이터 가용성 및 데이터 보안을 고려하지 않는 경우가 많습니다. 하지만 이는 고도로 숙련된 데이터 과학자들이 데이터에 대한 액세스 권한을 얻거나 기초적인 데이터 관련 작업이 완료될 때까지 기다리는 데 상당한 시간을 소비해야 한다는 것을 의미합니다. 조직은 널리 사용되는 오픈 소스 MLOps 툴과 NetApp의 지능형 데이터 인프라를 결합하여 데이터 파이프라인의 속도를 높이고 AI 이니셔티브를 가속화할 수 있습니다. 데이터를 안전하게 보호하면서 데이터로부터 가치를 최대한 활용할 수 있습니다. 이 솔루션은 NetApp 데이터 관리 기능과 널리 사용되는 몇 가지 오픈 소스 툴 및 프레임워크를 결합하여 이러한 문제를 해결합니다.
다음 목록에서는 이 솔루션에서 지원하는 몇 가지 주요 기능을 보여 줍니다.
-
사용자는 고성능 스케일아웃 NetApp 스토리지의 지원을 받는 새로운 대용량 데이터 볼륨 및 개발 작업 공간을 빠르게 프로비저닝할 수 있습니다.
-
사용자는 고용량 데이터 볼륨 및 개발 작업 공간을 거의 즉각적으로 복제하여 실험이나 신속한 반복을 지원할 수 있습니다.
-
사용자는 백업 및/또는 추적 가능성/기준선 설정을 위한 고용량 데이터 볼륨 및 개발 작업 공간의 스냅샷을 거의 즉각적으로 저장할 수 있습니다.
일반적인 MLOps 워크플로에는 개발 작업 공간이 통합되어 있으며, 일반적으로 실험 추적, 자동화된 교육 파이프라인, 데이터 파이프라인, 추론/배포의 형식을 "Jupyter 노트북"사용합니다. 이 솔루션에서는 워크플로우의 여러 측면을 해결하기 위해 독립적으로 또는 함께 사용할 수 있는 여러 가지 툴과 프레임워크를 중점적으로 다룹니다. 또한 NetApp 데이터 관리 기능과 이러한 각 툴을 페어링하는 방법을 보여 줍니다. 이 솔루션은 조직에서 사용 사례 및 요구 사항에 맞는 맞춤형 MLOps 워크플로우를 구축할 수 있는 구성 요소를 제공하기 위한 것입니다.
이 솔루션에서 다루는 툴/프레임워크는 다음과 같습니다.
다음 목록에서는 이러한 툴을 독립적으로 또는 함께 구축하기 위한 일반적인 패턴을 설명합니다.
-
JupyterHub, MLflow, Apache Airflow를 함께 구축하여 JupyterHub for, MLflow for Experiment Tracking, Apache Airflow 자동화 교육 및 데이터 파이프라인을 구축합니다. "Jupyter 노트북"
-
Kubeflow와 Apache Airflow를 함께 구축하여 실험 추적, 자동화 교육 파이프라인, 추론을 위한 Kubeflow, 데이터 파이프라인을 위한 Apache Airflow를 함께 구축합니다 "Jupyter 노트북".
-
Kubeflow를 실험 추적, 자동화된 교육 및 데이터 파이프라인, 추론을 위한 올인원 MLOps 플랫폼 솔루션으로 "Jupyter 노트북"배포합니다.