Panoramica della tecnologia
In questa sezione vengono presentati i principali componenti di questa soluzione in maggiore dettaglio.
Sistemi NetApp AFF
I sistemi storage NetApp AFF consentono alle aziende di soddisfare i requisiti di storage Enterprise con performance leader del settore, flessibilità superiore, integrazione nel cloud e gestione dei dati Best-in-class. Progettati appositamente per la tecnologia flash, i sistemi AFF aiutano ad accelerare, gestire e proteggere i dati business-critical.
NetApp AFF A400 è un sistema di storage flash NVMe mid-range che include le seguenti funzionalità:
-
Capacità effettiva massima: ~20 PB
-
Scale-out massimo: 2-24 nodi (12 coppie ha)
-
Supporto host FC da 25 GbE e 16 GB
-
Connettività RDMA 100 GbE su RoCE (Converged Ethernet) agli shelf di storage di espansione NVMe
-
Le porte RoCE da 100 GbE possono essere utilizzate per il collegamento alla rete host se gli shelf NVMe non sono collegati
-
Shelf di storage per l'espansione della connettività SAS a 12 Gbps
-
Disponibile in due configurazioni:
-
Ethernet: 4 porte Ethernet da 25 GB (SFP28)
-
Fibre Channel: 4 porte FC (SFP+) da 16 GB
-
-
100% lettura casuale 8 KB @0,4 ms 400.000 IOPS
Le funzionalità di NetApp AFF A250 per le implementazioni ai/ML entry-level includono:
-
Capacità effettiva massima: 35 PB
-
Scale-out massima: 2-24 nodi (12 coppie ha)
-
440.000 letture casuali IOPS @1 ms.
-
Basato sull'ultima release di NetApp ONTAP ONTAP 9.8 o successiva
-
Due porte Ethernet da 25 GB per ha e interconnessione cluster
NetApp offre anche altri sistemi storage, come AFF A800 e AFF A700, che offrono performance e scalabilità superiori per implementazioni ai/ML su larga scala.
NetApp ONTAP
ONTAP 9, l'ultima generazione di software per la gestione dello storage NetApp, consente alle aziende di modernizzare l'infrastruttura e passare a un data center predisposto per il cloud. Sfruttando le funzionalità di gestione dei dati leader del settore, ONTAP consente la gestione e la protezione dei dati con un singolo set di strumenti, indipendentemente dalla posizione dei dati. I dati possono anche essere spostati liberamente in qualsiasi punto: Edge, core o cloud. ONTAP 9 include numerose funzionalità che semplificano la gestione dei dati, accelerano e proteggono i dati critici e un'infrastruttura a prova di futuro su architetture di cloud ibrido.
Semplifica la gestione dei dati
La gestione dei dati è fondamentale per le operazioni IT aziendali, in modo da utilizzare le risorse appropriate per applicazioni e set di dati. ONTAP include le seguenti funzionalità per ottimizzare e semplificare le operazioni e ridurre il costo totale delle operazioni:
-
Compattazione dei dati inline e deduplica estesa. la compattazione dei dati riduce lo spazio sprecato all'interno dei blocchi di storage e la deduplica aumenta significativamente la capacità effettiva. Ciò vale per i dati memorizzati localmente e per i dati a più livelli nel cloud.
-
Qualità del servizio (QoS) minima, massima e adattiva. i controlli QoS granulari aiutano a mantenere i livelli di performance per le applicazioni critiche in ambienti altamente condivisi.
-
ONTAP FabricPool. questa funzione esegue automaticamente il Tier dei dati cold su opzioni di cloud storage pubblico e privato, tra cui Amazon Web Services (AWS), Azure e storage a oggetti NetApp StorageGRID.
Accelera e proteggi i dati
ONTAP offre livelli superiori di performance e protezione dei dati ed estende queste funzionalità nei seguenti modi:
-
Prestazioni e latenza ridotta. ONTAP offre il throughput più elevato possibile con la latenza più bassa possibile.
-
Protezione dei dati. ONTAP offre funzionalità di protezione dei dati integrate con gestione comune su tutte le piattaforme.
-
Crittografia dei volumi NetApp. ONTAP offre crittografia nativa a livello di volume con supporto per la gestione delle chiavi sia integrata che esterna.
Infrastruttura a prova di futuro
ONTAP 9 aiuta a soddisfare le esigenze di business esigenti e in continua evoluzione:
-
Scalabilità perfetta e operazioni senza interruzioni. ONTAP supporta l'aggiunta senza interruzioni di capacità ai controller esistenti e ai cluster scale-out. I clienti possono eseguire l'upgrade alle tecnologie più recenti, come NVMe e 32GB FC, senza costose migrazioni dei dati o interruzioni.
-
Connessione cloud. ONTAP è il software di gestione dello storage più connesso al cloud, con opzioni per ONTAP Select (software-defined storage) e istanze native del cloud (Google Cloud NetApp Volumes) in tutti i cloud pubblici.
-
Integrazione con applicazioni emergenti. ONTAP offre servizi dati di livello Enterprise per piattaforme e applicazioni di prossima generazione come OpenStack, Hadoop e MongoDB utilizzando la stessa infrastruttura che supporta le applicazioni aziendali esistenti.
NetApp FlexGroup Volumes
I set di dati del training sono in genere una raccolta di potenzialmente miliardi di file. I file possono includere testo, audio, video e altre forme di dati non strutturati che devono essere memorizzati ed elaborati per essere letti in parallelo. Il sistema di storage deve memorizzare molti file di piccole dimensioni e leggerli in parallelo per l'i/o sequenziale e casuale
Un volume FlexGroup (la figura seguente) è un singolo namespace costituito da più volumi membri costitutivi gestiti e che agisce come un volume NetApp FlexVol per gli amministratori dello storage. I file in un volume FlexGroup vengono allocati a singoli volumi membri e non vengono sottoposti a striping tra volumi o nodi. Consentono le seguenti funzionalità:
-
Fino a 20 petabyte di capacità e bassa latenza prevedibile per carichi di lavoro con metadati elevati
-
Fino a 400 miliardi di file nello stesso spazio dei nomi
-
Operazioni parallelizzate nei carichi di lavoro NAS tra CPU, nodi, aggregati e volumi FlexVol costitutivi
Portfolio Lenovo ThinkSystem
I server Lenovo ThinkSystem sono dotati di hardware, software e servizi innovativi che risolvono le sfide attuali dei clienti e offrono un approccio di progettazione modulare e evolutivo, adatto allo scopo, per affrontare le sfide del futuro. Questi server si basano su tecnologie Best-in-class e standard di settore, unite a innovazioni Lenovo differenziate per offrire la massima flessibilità possibile nei server x86.
I vantaggi principali dell'implementazione dei server Lenovo ThinkSystem includono:
-
Design altamente scalabili e modulari in grado di crescere con il tuo business
-
Resilienza leader del settore per risparmiare ore di costosi downtime non pianificati
-
Tecnologie flash veloci per latenze inferiori, tempi di risposta più rapidi e gestione dei dati più intelligente in tempo reale
Nell'area dell'ai, Lenovo sta adottando un approccio pratico per aiutare le aziende a comprendere e adottare i vantaggi di ML e ai per i propri carichi di lavoro. I clienti Lenovo possono esplorare e valutare le offerte Lenovo ai nei Lenovo ai Innovation Center per comprendere appieno il valore del loro caso di utilizzo specifico. Per migliorare il time-to-value, questo approccio incentrato sul cliente offre ai clienti prove di concetto per piattaforme di sviluppo di soluzioni pronte all'uso e ottimizzate per l'ai.
Lenovo SR670 V2
Il server rack Lenovo ThinkSystem SR670 V2 offre performance ottimali per l'ai accelerato e l'HPC (high-performance computing). Con il supporto di un massimo di otto GPU, SR670 V2 è ideale per i requisiti di carico di lavoro intensivi a livello di calcolo di ML, DL e inferenza.
Con le più recenti CPU scalabili Intel Xeon che supportano GPU high-end (inclusa NVIDIA A100 80 GB PCIe 8x GPU), ThinkSystem SR670 V2 offre performance ottimizzate e accelerate per i carichi di lavoro ai e HPC.
Poiché più carichi di lavoro utilizzano le performance degli acceleratori, la domanda di densità GPU è aumentata. Settori come il retail, i servizi finanziari, l'energia e il settore sanitario stanno utilizzando le GPU per estrarre informazioni più approfondite e promuovere l'innovazione con LE tecniche ML, DL e Inference.
ThinkSystem SR670 V2 è una soluzione ottimizzata di livello Enterprise per l'implementazione di carichi di lavoro HPC e ai accelerati in produzione, massimizzando le performance del sistema mantenendo la densità del data center per i cluster di supercalcolo con piattaforme di prossima generazione.
Altre funzionalità includono:
-
Supporto per i/o RDMA diretto GPU in cui gli adattatori di rete ad alta velocità sono collegati direttamente alle GPU per massimizzare le prestazioni i/O.
-
Supporto dello storage diretto GPU in cui i dischi NVMe sono collegati direttamente alle GPU per massimizzare le performance dello storage.
MLPerf
MLPerf è la suite di benchmark leader del settore per la valutazione delle performance ai. In questa convalida, abbiamo utilizzato il benchmark di classificazione delle immagini con MXNet, uno dei framework ai più diffusi. Lo script di training MXNet_benchmarking è stato utilizzato per promuovere il training ai. Lo script contiene implementazioni di diversi modelli convenzionali ed è progettato per essere il più veloce possibile. Può essere eseguito su una singola macchina o in modalità distribuita su più host.