Panoramica sulla tecnologia
Questo articolo offre una panoramica della coluzione per pipeline MLRun che utilizza NetApp ONTAP ai, NetApp ai Control Plane, il software NetApp Cloud Volumes e la piattaforma Data Science di Iguazio.
Panoramica di NetApp
NetApp è l'autorità dei dati per il cloud ibrido. NetApp offre una gamma completa di servizi dati del cloud ibrido che semplificano la gestione di applicazioni e dati in ambienti cloud e on-premise per accelerare la trasformazione digitale. Insieme ai nostri partner, NetApp consente alle organizzazioni globali di liberare il pieno potenziale dei propri dati per espandere i punti di contatto dei clienti, promuovere una maggiore innovazione e ottimizzare le operazioni.
NetApp ONTAP ai
NetApp ONTAP ai, basato su sistemi NVIDIA DGX e storage all-flash connesso al cloud, ottimizza il flusso dei dati in modo affidabile e accelera l'analisi, la formazione e l'inferenza con il data fabric che si estende dall'edge al core al cloud. Offre alle organizzazioni IT un'architettura che offre i seguenti vantaggi:
-
Elimina le complessità di progettazione
-
Consente una scalabilità indipendente di calcolo e storage
-
Consente ai clienti di partire da piccoli e scalare perfettamente
-
Offre una vasta gamma di opzioni di storage per diverse performance e costi. NetApp ONTAP ai offre stack di infrastruttura convergente che incorporano NVIDIA DGX-1, un sistema ai petaflop-scale e switch Ethernet NVIDIA Mellanox dalle performance elevate per unificare i carichi di lavoro ai, semplificare l'implementazione e accelerare il ROI. Abbiamo utilizzato ONTAP ai con un sistema storage DGX-1 e NetApp AFF A800 per questo report tecnico. La seguente immagine mostra la topologia di ONTAP ai con il sistema DGX-1 utilizzato per questa convalida.
Piano di controllo ai di NetApp
Il NetApp ai Control Plane ti consente di liberare ai e ML con una soluzione che offre scalabilità estrema, implementazione semplificata e disponibilità dei dati continua. La soluzione ai Control Plane integra Kubernetes e Kubeflow con un data fabric abilitato da NetApp. Kubernetes, la piattaforma di orchestrazione dei container standard di settore per le implementazioni native del cloud, offre scalabilità e portabilità dei workload. Kubeflow è una piattaforma open-source per l'apprendimento automatico che semplifica la gestione e l'implementazione, consentendo agli sviluppatori di fare più scienza dei dati in meno tempo. Un data fabric abilitato da NetApp offre disponibilità e portabilità dei dati senza compromessi per garantire che i dati siano accessibili attraverso la pipeline, dall'edge al core al cloud. Questo report tecnico utilizza il NetApp ai Control Plane in una pipeline MLRun. L'immagine seguente mostra la pagina di gestione del cluster Kubernetes, in cui è possibile avere endpoint diversi per ciascun cluster. Abbiamo connesso i volumi persistenti NFS al cluster Kubernetes e le immagini seguenti mostrano un volume persistente connesso al cluster, dove "Trident di NetApp" offre supporto dello storage persistente e funzionalità di gestione dei dati.
Panoramica di Iguazio
Iguazio Data Science Platform è una piattaforma PaaS (Data Science Platform as a Service) completamente integrata e sicura che semplifica lo sviluppo, accelera le performance, facilita la collaborazione e affronta le sfide operative. Questa piattaforma incorpora i seguenti componenti e la piattaforma Iguazio Data Science è presentata nella seguente immagine:
-
Un workbench per la scienza dei dati che include notebook Jupyter, motori di analisi integrati e pacchetti Python
-
Gestione dei modelli con monitoraggio degli esperimenti e funzionalità di pipeline automatizzate
-
Dati gestiti e SERVIZI ML su un cluster Kubernetes scalabile
-
Nuclio, un framework di funzioni senza server in tempo reale
-
Un livello di dati estremamente veloce e sicuro che supporta SQL, NoSQL, database Time-Series, file (oggetti semplici) e streaming
-
Integrazione con origini dati di terze parti come NetApp, Amazon S3, HDFS, database SQL e protocolli di streaming o messaggistica
-
Dashboard in tempo reale basati su Grafana