AI는 컴퓨터가 인간 정신의 인지 기능을 모방하도록 훈련되는 컴퓨터 과학 분야입니다. AI 개발자는 컴퓨터가 인간과 비슷하거나 더 나은 방식으로 학습하고 문제를 해결하도록 훈련시킵니다. 딥러닝과 머신러닝은 AI의 하위 분야입니다. 점점 더 많은 기업이 중요한 비즈니스 요구 사항을 지원하기 위해 AI, ML, DL을 도입하고 있습니다. 몇 가지 예는 다음과 같습니다.

최신 AI 학습 및 추론 작업에는 대규모 병렬 컴퓨팅 기능이 필요합니다. 따라서 GPU는 AI 작업을 실행하는 데 점점 더 많이 사용되고 있는데, 그 이유는 GPU의 병렬 처리 능력이 범용 CPU보다 훨씬 뛰어나기 때문입니다.

컨테이너는 공유 호스트 운영 체제 커널 위에서 실행되는 격리된 사용자 공간 인스턴스입니다. 컨테이너의 도입이 급속히 증가하고 있습니다. 컨테이너는 가상 머신(VM)이 제공하는 것과 동일한 애플리케이션 샌드박싱 이점을 많이 제공합니다. 하지만 VM이 의존하는 하이퍼바이저와 게스트 운영 체제 계층이 제거되었기 때문에 컨테이너는 훨씬 더 가볍습니다. 다음 그림은 가상 머신과 컨테이너를 시각화하여 보여줍니다.

컨테이너를 사용하면 애플리케이션 종속성, 런타임 등을 애플리케이션과 직접 효율적으로 패키징할 수도 있습니다. 가장 일반적으로 사용되는 컨테이너 패키징 형식은 Docker 컨테이너입니다. Docker 컨테이너 형식으로 컨테이너화된 애플리케이션은 Docker 컨테이너를 실행할 수 있는 모든 머신에서 실행될 수 있습니다. 이는 애플리케이션의 종속성이 머신에 존재하지 않더라도 사실입니다. 모든 종속성은 컨테이너 자체에 패키징되어 있기 때문입니다. 자세한 내용은 다음을 방문하세요. "Docker 웹사이트" .

쿠버네티스는 원래 Google에서 설계한 오픈 소스, 분산형 컨테이너 오케스트레이션 플랫폼으로, 현재는 Cloud Native Computing Foundation(CNCF)에서 관리하고 있습니다. 쿠버네티스는 컨테이너화된 애플리케이션의 배포, 관리 및 확장 기능을 자동화할 수 있습니다. 최근 몇 년 동안 쿠버네티스는 지배적인 컨테이너 오케스트레이션 플랫폼으로 떠올랐습니다. 자세한 내용은 다음을 방문하세요. "쿠버네티스 웹사이트" .

"Trident"ONTAP (AFF, FAS, Select, Cloud, Amazon FSx ONTAP), Azure NetApp Files 서비스, Google Cloud NetApp Volumes 포함하여 퍼블릭 클라우드 또는 온프레미스에서 모든 인기 있는 NetApp 스토리지 플랫폼에서 스토리지 리소스를 사용하고 관리할 수 있도록 지원합니다. Trident 는 Kubernetes와 기본적으로 통합되는 컨테이너 스토리지 인터페이스(CSI) 호환 동적 스토리지 오케스트레이터입니다.

그만큼"NetApp DataOps 툴킷" 고성능, 확장형 NetApp 스토리지에 의해 지원되는 개발/교육 작업 공간과 추론 서버의 관리를 간소화하는 Python 기반 도구입니다. 주요 기능은 다음과 같습니다.

Apache Airflow는 복잡한 엔터프라이즈 워크플로에 대한 프로그래밍 방식 작성, 일정 예약 및 모니터링을 지원하는 오픈 소스 워크플로 관리 플랫폼입니다. ETL 및 데이터 파이프라인 워크플로를 자동화하는 데 자주 사용되지만 이러한 유형의 워크플로에만 국한되지는 않습니다. Airflow 프로젝트는 Airbnb에서 시작되었지만 그 이후로 업계에서 큰 인기를 얻었으며 현재는 Apache 소프트웨어 재단의 후원을 받고 있습니다. Airflow는 Python으로 작성되었으며, Airflow 워크플로는 Python 스크립트를 통해 생성되고, Airflow는 "코드로 구성"이라는 원칙에 따라 설계되었습니다. 많은 기업 Airflow 사용자는 이제 Kubernetes를 기반으로 Airflow를 실행합니다.

Jupyter Notebook은 실시간 코드와 설명 텍스트를 포함하는 위키와 유사한 문서입니다. Jupyter Notebooks는 AI 및 ML 커뮤니티에서 AI 및 ML 프로젝트를 문서화하고, 저장하고, 공유하는 수단으로 널리 사용됩니다. Jupyter Notebooks에 대한 자세한 내용은 다음을 방문하세요. "주피터 웹사이트" .

JupyterHub는 개별 사용자가 자신의 Jupyter Notebook 서버를 프로비저닝하고 액세스할 수 있도록 하는 다중 사용자 애플리케이션입니다. JupyterHub에 대한 자세한 내용은 다음을 방문하세요. "JupyterHub 웹사이트" .

MLflow는 인기 있는 오픈소스 AI 라이프사이클 관리 플랫폼입니다. MLflow의 주요 기능으로는 AI/ML 실험 추적 및 AI/ML 모델 저장소가 있습니다. MLflow에 대한 자세한 내용은 다음을 방문하세요. "MLflow 웹사이트" .

Kubeflow는 원래 Google에서 개발한 Kubernetes용 오픈소스 AI 및 ML 툴킷입니다. Kubeflow 프로젝트는 Kubernetes에서 AI 및 ML 워크플로를 간편하고, 이식 가능하며, 확장 가능하게 배포할 수 있도록 해줍니다. Kubeflow는 Kubernetes의 복잡한 부분을 추상화하여 데이터 과학자가 자신이 가장 잘 아는 분야인 데이터 과학에 집중할 수 있도록 해줍니다. 다음 그림을 통해 시각화를 살펴보세요. Kubeflow는 올인원 MLOps 플랫폼을 선호하는 조직에 적합한 오픈소스 옵션입니다. 자세한 내용은 다음을 방문하세요. "Kubeflow 웹사이트" .

NetApp 의 최신 스토리지 관리 소프트웨어인 ONTAP 9를 사용하면 기업이 인프라를 현대화하고 클라우드 지원 데이터 센터로 전환할 수 있습니다. ONTAP 업계 최고의 데이터 관리 역량을 활용하여 데이터가 어디에 있든 단일 도구 세트를 사용하여 데이터를 관리하고 보호할 수 있도록 지원합니다. 또한 필요한 곳, 즉 엣지, 코어, 클라우드로 데이터를 자유롭게 이동할 수 있습니다. ONTAP 9에는 데이터 관리를 간소화하고, 중요 데이터를 가속화하고 보호하며, 하이브리드 클라우드 아키텍처 전반에서 차세대 인프라 기능을 구현하는 다양한 기능이 포함되어 있습니다.

NetApp 스냅샷 복사본은 볼륨의 읽기 전용 특정 시점 이미지입니다. 다음 그림에서 볼 수 있듯이 이미지는 최소한의 저장 공간을 사용하고 마지막 스냅샷 복사본이 만들어진 이후에 생성된 파일의 변경 사항만 기록하므로 성능 오버헤드가 무시할 수 있을 정도입니다.

스냅샷 복사본의 효율성은 핵심 ONTAP 스토리지 가상화 기술인 WAFL(Write Anywhere File Layout) 덕분에 가능합니다. WAFL 데이터베이스와 마찬가지로 메타데이터를 사용하여 디스크의 실제 데이터 블록을 가리킵니다. 하지만 데이터베이스와 달리 WAFL 기존 블록을 덮어쓰지 않습니다. 업데이트된 데이터를 새로운 블록에 쓰고 메타데이터를 변경합니다. ONTAP 스냅샷 복사본을 생성할 때 데이터 블록을 복사하는 대신 메타데이터를 참조하기 때문에 스냅샷 복사본이 매우 효율적입니다. 그렇게 하면 다른 시스템이 복사할 블록을 찾는 데 걸리는 탐색 시간과 복사 자체를 만드는 데 드는 비용을 없앨 수 있습니다.

스냅샷 복사본을 사용하면 개별 파일이나 LUN을 복구하거나 볼륨의 전체 내용을 복원할 수 있습니다. ONTAP 스냅샷 복사본의 포인터 정보를 디스크의 데이터와 비교하여 다운타임이나 상당한 성능 비용 없이 누락되거나 손상된 객체를 재구성합니다.

NetApp FlexClone 기술은 스냅샷 메타데이터를 참조하여 볼륨의 쓰기 가능한 특정 시점 복사본을 생성합니다. 다음 그림에서 볼 수 있듯이 복사본은 부모와 데이터 블록을 공유하며, 복사본에 변경 사항이 기록될 때까지 메타데이터에 필요한 것을 제외하고는 저장 공간을 사용하지 않습니다. 기존 복사 작업에는 몇 분 또는 몇 시간이 걸릴 수 있지만, FlexClone 소프트웨어를 사용하면 가장 큰 데이터 세트도 거의 즉시 복사할 수 있습니다. 따라서 동일한 데이터 세트의 여러 사본이 필요한 상황(예: 개발 작업 공간)이나 데이터 세트의 임시 사본(예: 프로덕션 데이터 세트에 대한 애플리케이션 테스트)이 필요한 경우에 이상적입니다.

NetApp SnapMirror 소프트웨어는 데이터 패브릭 전반에 걸친 비용 효율적이고 사용하기 쉬운 통합 복제 솔루션입니다. LAN이나 WAN을 통해 고속으로 데이터를 복제합니다. 이 솔루션은 가상 및 기존 환경 모두에서 비즈니스에 중요한 애플리케이션을 포함하여 모든 유형의 애플리케이션에 대해 높은 데이터 가용성과 빠른 데이터 복제 기능을 제공합니다. 하나 이상의 NetApp 스토리지 시스템에 데이터를 복제하고 보조 데이터를 지속적으로 업데이트하면 데이터가 최신 상태로 유지되고 필요할 때마다 사용할 수 있습니다. 외부 복제 서버가 필요하지 않습니다. SnapMirror 기술을 활용하는 아키텍처의 예는 다음 그림을 참조하세요.

SnapMirror 소프트웨어는 변경된 블록만 네트워크를 통해 전송하여 NetApp ONTAP 스토리지 효율성을 활용합니다. SnapMirror 소프트웨어는 내장된 네트워크 압축 기능을 사용하여 데이터 전송 속도를 높이고 네트워크 대역폭 사용량을 최대 70%까지 줄입니다. SnapMirror 기술을 사용하면 단일 씬 복제 데이터 스트림을 활용하여 활성 미러와 이전 시점 복사본을 모두 유지하는 단일 저장소를 만들어 네트워크 트래픽을 최대 50%까지 줄일 수 있습니다.

"BlueXP 복사 및 동기화"빠르고 안전한 데이터 동기화를 위한 NetApp 서비스입니다. 온프레미스 NFS 또는 SMB 파일 공유, NetApp StorageGRID, NetApp ONTAP S3, Google Cloud NetApp Volumes, Azure NetApp Files, AWS S3, AWS EFS, Azure Blob, Google Cloud Storage 또는 IBM Cloud Object Storage 간에 파일을 전송해야 하는 경우 BlueXP Copy and Sync를 사용하면 파일을 필요한 곳으로 빠르고 안전하게 이동할 수 있습니다.

데이터가 전송되면 소스와 타겟 모두에서 자유롭게 사용할 수 있습니다. BlueXP Copy and Sync는 업데이트가 발생할 때 필요에 따라 데이터를 동기화하거나 미리 정의된 일정에 따라 지속적으로 데이터를 동기화할 수 있습니다. 그럼에도 불구하고 BlueXP Copy and Sync는 델타만 이동하므로 데이터 복제에 소요되는 시간과 비용이 최소화됩니다.

BlueXP Copy and Sync는 설정과 사용이 매우 간단한 SaaS(Software as a Service) 도구입니다. BlueXP Copy and Sync에 의해 트리거되는 데이터 전송은 데이터 브로커를 통해 수행됩니다. BlueXP 복사 및 동기화 데이터 브로커는 AWS, Azure, Google Cloud Platform 또는 온프레미스에 배포할 수 있습니다.

"NetApp XCP"모든 NetApp 및 NetApp NetApp 데이터 마이그레이션과 파일 시스템 통찰력을 위한 클라이언트 기반 소프트웨어입니다. XCP는 사용 가능한 모든 시스템 리소스를 활용해 대용량 데이터 세트와 고성능 마이그레이션을 처리함으로써 확장성을 높이고 최대 성능을 달성하도록 설계되었습니다. XCP는 보고서 생성 옵션을 통해 파일 시스템에 대한 완전한 가시성을 확보하는 데 도움이 됩니다.

훈련 데이터 세트는 잠재적으로 수십억 개의 파일 모음이 될 수 있습니다. 파일에는 텍스트, 오디오, 비디오 및 기타 형태의 비정형 데이터가 포함될 수 있으며, 이러한 데이터는 병렬로 읽을 수 있도록 저장하고 처리해야 합니다. 저장 시스템은 많은 수의 작은 파일을 저장해야 하며, 순차적이고 무작위적인 I/O를 위해 해당 파일을 병렬로 읽어야 합니다.

FlexGroup 볼륨은 다음 그림에서 볼 수 있듯이 여러 구성 멤버 볼륨으로 구성된 단일 네임스페이스입니다. 스토리지 관리자 관점에서 FlexGroup 볼륨은 NetApp FlexVol volume 처럼 관리되고 작동합니다. FlexGroup 볼륨의 파일은 개별 멤버 볼륨에 할당되며 볼륨이나 노드에 걸쳐 스트라이프되지 않습니다. 다음과 같은 기능을 제공합니다.