Rick Huang, David Arnette, NetApp Yochay Ettun, cnvrg.io

머신 러닝 모델은 데이터를 많이 필요로 하며 컴퓨팅 리소스 가까이에 고성능 데이터 스토리지가 필요한 것으로 널리 알려져 있지만, 실제로 하이브리드 클라우드 및 탄력적인 컴퓨팅 인스턴스 구축을 위해 이러한 모델을 구현하는 것은 그리 간단하지 않습니다. 일반적으로 대량의 데이터가 GPU와 같은 고성능 AI 컴퓨팅 리소스가 효율적으로 액세스할 수 없는 저비용 데이터 레이크에 저장됩니다. 일부 워크로드가 클라우드에서 작동하고 일부는 사내 또는 다른 HPC 환경에 완전히 있는 하이브리드 클라우드 인프라에서는 이 문제가 더욱 가중됩니다.

이 문서에서는 IT 전문가와 데이터 엔지니어가 토폴로지 인식 데이터 허브로 진정한 하이브리드 클라우드 AI 플랫폼을 구축하여 데이터 과학자가 컴퓨팅 리소스 가까이에 있는 데이터 세트의 캐시를 즉시 자동으로 생성할 수 있는 새로운 솔루션을 소개합니다. 있습니다. 그 결과, 고성능 모델 훈련을 수행할 수 있을 뿐만 아니라 데이터 세트 버전 허브 내에서 데이터 세트 캐시, 버전 및 계모델에 즉시 액세스할 수 있는 여러 AI 전문가의 협업을 비롯한 추가 이점을 얻을 수 있습니다.