Valore ai e NetApp generativo
Suggerisci modifiche
PDF
La richiesta di intelligenza artificiale generativa (ai) sta causando interruzioni in tutti i settori, migliorando la creatività aziendale e l'innovazione di prodotto.
Autore: Satish Thyagarajan, NetApp
Astratto
Molte organizzazioni utilizzano l'ai generativa per creare nuove funzioni dei prodotti, migliorare la produttività tecnica e creare prototipi di applicazioni basate sull'intelligenza artificiale che offrono risultati migliori e migliori esperienze dei consumatori. L'intelligenza artificiale generativa come i trasformatori pre-addestrati generativi (GPT) utilizzano reti neurali per creare nuovi contenuti, diversi come testo, audio e video. Data la scalabilità estrema e gli enormi set di dati utilizzati con modelli di linguaggio di grandi dimensioni (LMS), è fondamentale progettare una solida infrastruttura ai che sfrutti le interessanti funzionalità di storage dei dati delle opzioni di implementazione on-premise, ibride e multicloud, riducendo i rischi associati alla mobilità dei dati, data Protection e governance prima che le aziende possano progettare soluzioni ai. In questo documento vengono descritte queste considerazioni e le corrispondenti funzionalità di NetApp® ai che consentono una gestione perfetta dei dati e lo spostamento dei dati nella pipeline di dati ai per la formazione, la riqualificazione, la messa a punto e la inferenza dei modelli di intelligenza artificiale generativi.
In sintesi
Più recentemente dopo il lancio di ChatGPT, uno spin-off di GPT-3 nel novembre 2022, nuovi strumenti di intelligenza artificiale utilizzati per generare testo, codice, immagine, o anche proteine terapeutiche in risposta alle richieste dell'utente hanno guadagnato una fama significativa. Ciò indica che gli utenti possono effettuare una richiesta utilizzando il linguaggio naturale e l'intelligenza artificiale interpreterà e genererà testo, come articoli di notizie o descrizioni di prodotti che riflettono la richiesta dell'utente o producono codice, musica, voce, effetti visivi e risorse 3D utilizzando algoritmi addestrati su dati già esistenti. Di conseguenza, frasi come diffusione stabile, allucinazioni, Ingegneria prompt e allineamento dei valori stanno rapidamente emergendo nella progettazione dei sistemi ai. Questi modelli di machine learning (ML) con supervisione o supervisione automatica stanno diventando ampiamente disponibili come modelli di base preformati (FM) tramite fornitori di servizi cloud e altri fornitori di firma ai, che vengono adottati da vari istituti di attività di vari settori per un'ampia gamma di attività NLP (elaborazione del linguaggio naturale) a valle. Come asserito da aziende di analisti di ricerca come McKinsey – "l'impatto dell'intelligenza artificiale generativa sulla produttività potrebbe aggiungere migliaia di miliardi di dollari in valore all'economia globale". Mentre le aziende stanno reinventando l'ai come partner di pensiero per gli esseri umani e gli istituti finanziari si stanno ampliando contemporaneamente a ciò che le aziende e le istituzioni possono fare con l'ai generativa, le opportunità di gestire grandi volumi di dati continueranno a crescere. Questo documento presenta informazioni introduttive sull'ai generativa e i concetti di progettazione in relazione alle funzionalità NetApp che apportano valore ai clienti NetApp, sia on-premise che in ambienti ibridi o multicloud.
Quindi, cosa offre ai clienti l'utilizzo di NetApp nei propri ambienti di intelligenza artificiale? NetApp aiuta le organizzazioni a soddisfare le complessità create da una rapida crescita di dati e cloud, dalla gestione multicloud e dall'adozione di tecnologie di prossima generazione, come l'intelligenza artificiale. NetApp ha combinato varie funzionalità nel software di Intelligent data management e nell'infrastruttura storage che sono ben bilanciate con performance elevate ottimizzate per i workload ai. Le soluzioni ai generative come LLMS devono leggere ed elaborare i propri set di dati di origine dallo storage in memoria diverse volte per promuovere l'intelligenza. NetApp è stata leader nelle tecnologie di mobilità dei dati, governance dei dati e sicurezza dei dati nell'ecosistema edge-to-core-to-cloud, servendo i clienti aziendali a creare soluzioni ai su larga scala. NetApp, con una solida rete di partner, ha aiutato Chief data officer, tecnici ai, Enterprise Architect e data scientist nella progettazione di una pipeline di dati a flusso libero per la preparazione, la data Protection, e responsabilità di gestione dei dati strategiche del training e dell'inferenza dei modelli di ai, ottimizzando le performance e la scalabilità del ciclo di vita ai/ML. Le tecnologie e le funzionalità dei dati di NetApp, come NetApp® ONTAP ai® per la pipeline di dati deep learning, NetApp® SnapMirror® per il trasporto dei dati in modo semplice ed efficiente tra gli endpoint di storage, e NetApp® FlexCache® per il rendering in tempo reale quando il flusso di dati passa da batch a real-time e l'ingegneria dei dati avviene in tempi rapidi, apportano valore alla distribuzione di modelli di intelligenza artificiale generativa in tempo reale. Man mano che le aziende di qualsiasi tipo adottano nuovi strumenti ai, si trovano ad affrontare sfide legate ai dati, dall'edge al data center fino al cloud, che richiedono soluzioni ai scalabili, responsabili e spiegabili. In qualità di autorità nel campo dei dati per il cloud ibrido e multicloud, NetApp si impegna a creare una rete di partner e soluzioni congiunte che possano aiutare con tutti gli aspetti della creazione di una pipeline di dati e data Lake per il training generativo sui modelli di intelligenza artificiale (pre-training), la messa a punto, l'inferenza basata sul contesto e il monitoraggio del decadimento dei modelli di LLMS.
Che cos'è l'ai generativa?
L'intelligenza artificiale generativa sta cambiando il modo in cui creiamo contenuti, generiamo nuovi concetti di progettazione ed esploriamo nuove composizioni. Illustra framework di rete neurali come GAN (Generative Adversarial Network), VAE (Variational AutoEncoder) e GPT (Generative Pre-Trained Transformers), che possono generare nuovi contenuti come testo, codice, immagini, audio, video, e dati sintetici. I modelli basati su trasformatori come la Chat-GPT di OpenAI, la Bard di Google, la FIORITURA del volto IMPETUOSO, e la lama di Meta sono emersi come la tecnologia fondamentale alla base di molti progressi nei modelli linguistici di grandi dimensioni. Allo stesso modo, Dall-e di OpenAI, Meta’s CM3leon e Imagen di Google sono esempi di modelli di diffusione da testo a immagine che offrono ai clienti un grado senza precedenti di fotorealismo per creare nuove immagini complesse da zero o modificare immagini esistenti per generare immagini di alta qualità sensibili al contesto utilizzando l'aumento del set di dati e la sintesi da testo a immagine collegando la semantica testuale e visiva. Gli artisti digitali stanno iniziando ad applicare una combinazione di tecnologie di rendering come Nerf (Neural Radiance Field) con l'intelligenza artificiale generativa per convertire immagini 2D statiche in scene 3D coinvolgenti. In generale, le LLMS sono ampiamente caratterizzate da quattro parametri: (1) dimensione del modello (tipicamente in miliardi di parametri); (2) dimensione del set di dati di addestramento; (3) costo di addestramento, e (4) prestazione del modello dopo l'addestramento. Anche LLMS rientra principalmente in tre architetture di trasformatori. (i) modelli solo encoder. Ad es. BERT (Google, 2018); (II) codificatore-decodificatore, ad es. BART (Meta, 2020) e (III) modelli solo decoder. Ad esempio Llama (Meta, 2023), Palm-e (Google, 2023). A seconda del requisito aziendale, indipendentemente dall'architettura scelta da un'azienda per il numero di parametri del modello (N) e dal numero di token (D) nel set di dati di formazione, generalmente determinano il costo di base della formazione (pre-formazione) o l'ottimizzazione di un LLM.
Casi di utilizzo aziendali e attività NLP downstream
Le aziende di tutti i settori stanno scoprendo un potenziale sempre maggiore per l'ai, al fine di estrarre e produrre nuove forme di valore dai dati esistenti per operazioni di business, vendite, marketing e servizi legali. Secondo la market intelligence IDC (International Data Corporation) sui casi di utilizzo e gli investimenti dell'intelligenza artificiale generativa globale, la gestione della conoscenza nello sviluppo software e nella progettazione dei prodotti ha l'impatto maggiore, seguita dalla creazione di storyline per il marketing e la generazione di codice per gli sviluppatori. Nel settore sanitario, le organizzazioni di ricerca clinica stanno rivoluzionando la medicina. I modelli preformati come ProteinBERT incorporano annotazioni di gene ontology (GO) per progettare rapidamente strutture proteiche per i farmaci medici, rappresentando una pietra miliare significativa nella scoperta di farmaci, bioinformatica e biologia molecolare. Le aziende biotecnologiche hanno avviato studi clinici umani per la medicina generativa scoperta dall'intelligenza artificiale, che mira a trattare malattie come la fibrosi polmonare (IPF), una malattia polmonare che causa cicatrici irreversibili del tessuto polmonare.
Figura 1: Casi d'utilizzo che promuovono l'ai generativa
Gli aumenti nell'adozione dell'automazione promossi dall'intelligenza artificiale generativa stanno anche modificando l'offerta e la domanda di attività lavorative per molte occupazioni. Come per McKinsey, il mercato del lavoro statunitense (diagramma sotto) ha attraversato una rapida transizione, che potrebbe continuare solo quando si tiene conto dell'impatto dell'ai.
Fonte: McKinsey & Company
Ruolo dello storage nell'ai generativa
LLMS si basa in gran parte su deep learning, GPU e calcolo. Tuttavia, quando il buffer della GPU si riempie, i dati devono essere scritti rapidamente nella memoria. Alcuni modelli di ai sono abbastanza piccoli da essere eseguiti in memoria, mentre LLMS richiede IOPS elevati e storage ad alto throughput per fornire un rapido accesso a grandi set di dati, specialmente se coinvolge miliardi di token o milioni di immagini. Per un tipico requisito di memoria GPU di un LLM, la memoria necessaria per addestrare un modello con 1 miliardi di parametri potrebbe arrivare a 80GB a precisione completa a 32 bit. In tal caso, Llama 2 di Meta, una famiglia di LLMS in scala da 7 miliardi a 70 miliardi di parametri, può richiedere 70x80, circa 5600GB o 5,6TB di RAM GPU. Inoltre, la quantità di memoria necessaria è direttamente proporzionale al numero massimo di token che si desidera generare. Ad esempio, se si desidera generare output fino a 512 token (circa 380 parole), è necessario "512MB". Può sembrare inconsequenziale, ma se si desidera eseguire batch più grandi inizia a sommarsi. Pertanto, rendendo molto costoso per le organizzazioni che si occupano della formazione o della messa a punto di LLMS in memoria, rendendo così lo storage un caposaldo per l'ai generativa.
Tre approcci primari al LLMS
Per la maggior parte delle aziende, in base alle tendenze attuali, l'approccio alla distribuzione di LLMS può essere sintetizzato in 3 scenari di base. Come descritto in un recente ""Harvard Business Review"" articolo: (1) formazione (pre-formazione) un LLM da zero – costoso e richiede competenze ai/ML avanzate; (2) ottimizzazione di un modello di base con dati aziendali – complessi ma fattibili; (3) utilizzo della generazione aumentata di recupero (RAG) per eseguire query su archivi di documenti, API e database vettoriali che contengono dati aziendali. Ognuno di questi ha dei compromessi tra sforzo, velocità di iterazione, efficienza dei costi e accuratezza del modello nelle proprie implementazioni, utilizzati per risolvere diversi tipi di problemi (diagramma sotto).
Figura 3: Tipi di problemi
Modelli di base
Un modello di fondazione (FM) noto anche come modello di base è un modello di ai di grandi dimensioni (LLM) addestrato su grandi quantità di dati non marcati, utilizzando l'auto-supervisione su larga scala, generalmente adattato per un'ampia gamma di compiti NLP a valle. Poiché i dati di addestramento non sono etichettati dagli esseri umani, il modello emerge piuttosto che essere codificato esplicitamente. Ciò significa che il modello può generare storie o una propria narrazione senza essere esplicitamente programmato per farlo. Una caratteristica importante di FM è quindi l'omogeneizzazione, il che significa che lo stesso metodo viene utilizzato in molti domini. Tuttavia, con tecniche di personalizzazione e ottimizzazione, i sistemi FMS integrati nei prodotti che appaiono in questi giorni non sono solo efficaci nel generare testo, testo-immagini e testo-codice, ma anche per spiegare attività specifiche del dominio o codice di debug. Ad esempio, FMS come il Codex di OpenAI o il Codice Llama di Meta possono generare codice in più linguaggi di programmazione in base alle descrizioni del linguaggio naturale di un task di programmazione. Questi modelli sono esperti in più di una dozzina di linguaggi di programmazione, tra cui Python, C#, JavaScript, Perl, Ruby, e SQL. Essi comprendono l'intento dell'utente e generano codice specifico che esegue l'attività desiderata utile per lo sviluppo del software, l'ottimizzazione del codice e l'automazione delle attività di programmazione.
Messa a punto, specificità di dominio e riqualificazione
Una delle procedure comuni per l'implementazione di LLM dopo la preparazione dei dati e la pre-elaborazione dei dati consiste nella scelta di un modello pre-addestrato che sia stato addestrato su un insieme di dati ampio e diversificato. Nel contesto della messa a punto di precisione, questo può essere un modello di linguaggio open-source di grandi dimensioni come "Llama di meta 2" formazione basata su 70 miliardi di parametri e 2 trilioni di token. Una volta selezionato il modello pre-addestrato, il passo successivo è quello di ottimizzarlo sui dati specifici del dominio. Ciò implica la regolazione dei parametri del modello e la formazione sui nuovi dati per adattarli a un dominio e a un'attività specifici. Ad esempio, BloombergGPT, un LLM proprietario addestrato su un'ampia gamma di dati finanziari al servizio del settore finanziario. I modelli specifici del dominio progettati e addestrati per un'attività specifica hanno generalmente una maggiore precisione e prestazioni all'interno del loro ambito, ma una bassa trasferibilità tra altre attività o domini. Quando l'ambiente aziendale e i dati cambiano nel corso di un certo periodo, l'accuratezza di previsione del FM potrebbe iniziare a diminuire rispetto alle prestazioni durante il test. Ciò avviene quando la riqualificazione o la messa a punto del modello diventa cruciale. Il riaddestramento dei modelli nelle tecniche ai/ML tradizionali si riferisce all'aggiornamento di un modello ML implementato con nuovi dati, generalmente eseguito per eliminare due tipi di derive che si verificano. (1) deriva del concetto – quando il collegamento tra le variabili di input e le variabili di target cambia nel tempo, poiché la descrizione di ciò che vogliamo prevedere le modifiche, il modello può produrre previsioni imprecise. (2) deriva dei dati: Si verifica quando cambiano le caratteristiche dei dati inseriti, come variazioni delle abitudini o del comportamento dei clienti nel tempo e, di conseguenza, l'incapacità del modello di reagire a tali cambiamenti. In un modo simile, la riqualificazione si applica a FMS/LLMS, tuttavia può essere molto più costoso (in milioni di dollari), quindi non qualcosa che la maggior parte delle organizzazioni potrebbe prendere in considerazione. È sotto ricerca attiva, ancora emergente nel regno di LLMOps. Quindi, invece di un nuovo training, quando il decadimento dei modelli si verifica nei sistemi FMS ottimizzati, le aziende possono optare per una nuova messa a punto (molto più economica) con un set di dati più recente. Dal punto di vista dei costi, di seguito è riportato un esempio di tabella prezzi modello di Azure-OpenAI Services. Per ogni categoria di attività, i clienti possono mettere a punto e valutare i modelli su set di dati specifici.
Fonte: Microsoft Azure
Progettazione del prompt e inferenza
Il termine "progettazione rapida" si riferisce ai metodi efficaci per comunicare con LLMS per eseguire le attività desiderate senza aggiornare i pesi del modello. Tanto importante quanto il training e la messa a punto dei modelli di intelligenza artificiale sono per le applicazioni NLP, l'inferenza è ugualmente importante, laddove i modelli addestrati rispondono alle richieste degli utenti. I requisiti di sistema per l'inferenza sono generalmente molto più sulle performance in lettura del sistema storage ai, che invia i dati da LLMS alle GPU quando ha bisogno di applicare miliardi di parametri di modello memorizzati per produrre la migliore risposta.
LLMOps, Model Monitoring e Vectorstores
Come le operazioni MLOps (Machine Learning Ops) tradizionali, anche le operazioni LLMOps (Large Language Model Operations) richiedono la collaborazione di data scientist e tecnici DevOps con tool e Best practice per la gestione di LLMS negli ambienti di produzione. Tuttavia, il flusso di lavoro e lo stack tecnico per LLMS possono variare in alcuni modi. Ad esempio, le pipeline LLM create utilizzando framework come la stringa LangChain insieme a chiamate API LLM multiple verso endpoint esterni di incorporazione, come vectorstores o database vettoriali. L'utilizzo di un endpoint e di un vectorstore incorporati per i connettori downstream (come un database vettoriale) rappresenta un significativo sviluppo nel modo in cui i dati vengono memorizzati e accessibili. Rispetto ai tradizionali modelli ML sviluppati da zero, i sistemi LLMS spesso si basano sull'apprendimento dei trasferimenti, poiché questi modelli iniziano con FMS che vengono ottimizzati con nuovi dati per migliorare le prestazioni in un dominio più specifico. Pertanto, è fondamentale che LLMOps fornisca le funzionalità di gestione del rischio e di monitoraggio del decadimento del modello.
Rischi ed etica nell'era dell'intelligenza artificiale generativa
"ChatGPT – è un'impresa intelligente, ma continua a generare assurdità."– MIT Tech Review. L'immondizia in–garbage out è sempre stato il caso più impegnativo con il computing. L'unica differenza con l'intelligenza artificiale generativa è che eccelle nel rendere la spazzatura altamente credibile, portando a risultati imprecisi. Le LLM sono inclini a inventare fatti che si adattino alla narrativa che sta costruendo. Pertanto, le aziende che considerano l'intelligenza artificiale generativa come una grande opportunità per ridurre i costi con equivalenti di intelligenza artificiale devono rilevare in modo efficiente i punti deboli, ridurre i pregiudizi e ridurre i rischi per mantenere i sistemi onesti ed etici. Una pipeline di dati a flusso libero con una solida infrastruttura ai che supporta mobilità dei dati, qualità dei dati, governance dei dati e data Protection tramite crittografia end-to-end e barriere all'ai è eminente nella progettazione di modelli ai responsabili e utilizzabili generativi.
Scenario cliente e NetApp
Figura 3: Flusso di lavoro del modello di apprendimento automatico/linguaggio di grandi dimensioni
Stiamo addestrando o perfezionando? la domanda se (a) addestrare un modello LLM da zero, mettere a punto un FM pre-addestrato, o utilizzare RAG per recuperare i dati da archivi di documenti al di fuori di un modello di base e aumentare i prompt, e (b) sfruttare LLMS open-source (ad esempio, Llama 2) o FMS proprietario (ad esempio, ChatGPT, Bard, AWS Bedrock) è una decisione strategica per le organizzazioni. Ogni approccio ha un compromesso tra efficienza dei costi, gravità dei dati, operazioni, accuratezza del modello e gestione di LLMS.
NetApp come azienda abbraccia l'ai internamente nella propria cultura lavorativa e nell'approccio alle attività di progettazione e progettazione dei prodotti. Ad esempio, la protezione autonoma da ransomware di NetApp è costruita utilizzando ai e machine learning. Permette di rilevare tempestivamente le anomalie del file system per identificare le minacce prima che abbiano un impatto sulle operazioni. In secondo luogo, NetApp utilizza l'ai predittiva per le proprie operazioni di business, come le previsioni di vendite e inventario e i chatbot, per assistere i clienti nei servizi di supporto ai prodotti per call center, nelle specifiche tecniche, nella garanzia, nei manuali di assistenza e altro ancora. Terzo, NetApp porta il valore del cliente nella pipeline di dati ai e nel flusso di lavoro ML/LLM tramite prodotti e soluzioni, che offrono ai clienti la possibilità di creare soluzioni ai predittive come previsioni della domanda, imaging medico, analisi del sentimento, e soluzioni di intelligenza artificiale generativa come Gans per il rilevamento delle anomalie delle immagini industriali nel settore manifatturiero e anti-riciclaggio di denaro e rilevamento delle frodi nei servizi bancari e finanziari con prodotti e funzionalità NetApp come NetApp® ONTAP ai®, NetApp® SnapMirror® e NetApp® FlexCache®.
Funzionalità di NetApp
Lo spostamento e la gestione dei dati in applicazioni ai generative come chatbot, generazione di codice, generazione di immagini o espressione del modello del genoma possono estendersi a livello di edge, data center privato ed ecosistema multicloud ibrido. Ad esempio, un ai-bot in tempo reale che aiuti un passeggero ad aggiornare il proprio biglietto aereo alla classe business da un'app per l'utente finale esposta tramite API di modelli preformati come ChatGPT non può raggiungere tale compito da solo, poiché le informazioni sul passeggero non sono pubblicamente disponibili su Internet. L'API richiede l'accesso alle informazioni personali del passeggero e alle informazioni sui biglietti da parte del vettore aereo che potrebbe esistere in un ecosistema ibrido o multicloud. Uno scenario simile potrebbe essere applicato agli scienziati che condividono una molecola di farmaco e i dati del paziente tramite un'applicazione per l'utente finale che utilizza LLMS per eseguire sperimentazioni cliniche attraverso la scoperta di farmaci che coinvolgono istituti di ricerca biomedica uno a molti. I dati sensibili che vengono trasmessi a FMS o LLMS possono includere PII, informazioni finanziarie, informazioni sanitarie, dati biometrici, dati di posizione, dati di comunicazione, comportamento online e informazioni legali. In questo caso di rendering in real-time, esecuzione tempestiva e inferenza dell'edge, si verifica uno spostamento dei dati dall'app dell'utente finale agli endpoint di storage attraverso modelli LLM open source o proprietari, verso un data center on-premise o piattaforme di cloud pubblico. In tutti questi scenari, la mobilità e la protezione dei dati sono fondamentali per le operazioni ai che coinvolgono i sistemi LLMS che si basano su grandi set di dati di training e lo spostamento di tali dati.
Figura 4: Pipeline di dati ai generativa - LLM
Il portfolio NetApp di infrastruttura storage, servizi dati e cloud si basa sul software di Intelligent data management.
Data Preparation: Il primo pilastro dello stack tecnologico LLM non viene in gran parte toccato dal vecchio stack ML tradizionale. Il preprocessing dei dati nella pipeline ai è necessario per normalizzare e pulire i dati prima del training o del tuning. Questo passaggio include connettori per acquisire i dati ovunque si trovino sotto forma di Tier Amazon S3 o in sistemi storage on-premise come un file store o un archivio di oggetti come NetApp StorageGRID.
NetApp® ONTAP è la tecnologia di base che è alla base delle soluzioni di storage critiche di NetApp nei data center e nel cloud. ONTAP include varie funzionalità e funzionalità di gestione e protezione dei dati, tra cui protezione automatica dal ransomware contro gli attacchi informatici, funzionalità di trasporto dei dati integrate e funzionalità di efficienza dello storage per una serie di architetture da on-premise, ibride, multicloud in NAS, SAN, a oggetti, e situazioni di Software Defined Storage (SDS) delle implementazioni di LLM.
NetApp® ONTAP ai® per la formazione di modelli di apprendimento approfondito. NetApp® ONTAP® supporta NVIDIA GPU Direct Storage™ con l'utilizzo di NFS su RDMA per i clienti NetApp con cluster di storage ONTAP e nodi di calcolo NVIDIA DGX . Offre performance efficienti in termini di costi per leggere ed elaborare i set di dati di origine dallo storage in memoria numerose volte per promuovere l'intelligence, consentendo alle organizzazioni con training, messa a punto e scalabilità dell'accesso a LLMS.
NetApp® FlexCache® è una funzionalità di caching remoto che semplifica la distribuzione dei file e memorizza nella cache solo i dati attivamente letti. Ciò può essere utile per la formazione LLM, la riqualificazione e l'ottimizzazione, offrendo valore ai clienti con esigenze aziendali quali il rendering in tempo reale e l'inferenza LLM.
NetApp® SnapMirror è una funzione ONTAP che replica gli snapshot di volume tra due sistemi ONTAP. Questa funzionalità trasferisce i dati in maniera ottimale a livello di edge, nel data center on-premise o nel cloud. SnapMirror può essere utilizzato per spostare i dati in modo sicuro ed efficiente tra cloud on-premise e hyperscaler, quando i clienti desiderano sviluppare l'ai generativa nei cloud con RAG contenente i dati aziendali. Trasferisce in modo efficiente solo le modifiche, risparmiando larghezza di banda e velocizzando la replica, offrendo così funzionalità essenziali di mobilità dei dati durante le operazioni di formazione, riaddestramento e ottimizzazione di FMS o LLMS.
NetApp® SnapLock offre funzionalità disco immutabili sui sistemi di storage basati su ONTAP per la versione del set di dati. L'architettura del microcore è progettata per proteggere i dati dei clienti con il motore FPolicy™ Zero Trust. NetApp garantisce che i dati dei clienti siano disponibili resistendo agli attacchi DOS (Denial of Service) quando un utente malintenzionato interagisce con un LLM in modo particolarmente dispendioso in termini di risorse.
NetApp® Cloud Data Sense aiuta a identificare, mappare e classificare le informazioni personali presenti nei set di dati aziendali, attuare policy, soddisfare i requisiti di privacy on-premise o nel cloud, migliorare la sicurezza e rispettare le normative.
Classificazione NetApp® BlueXP™, basata su Cloud Data Sense. I clienti possono analizzare, categorizzare e agire automaticamente sui dati nel patrimonio dati, rilevare i rischi di sicurezza, ottimizzare lo storage e accelerare le implementazioni del cloud. Combina storage e servizi dati tramite il suo piano di controllo unificato, i clienti possono utilizzare istanze GPU per il calcolo e ambienti multicloud ibridi per il tiering cold storage e per archivi e backup.
Dualità file-oggetto NetApp. NetApp ONTAP consente un accesso dual-Protocol per NFS e S3. Con questa soluzione, i clienti possono accedere ai dati NFS dai notebook Amazon AWS SageMaker tramite bucket S3 di NetApp Cloud Volumes ONTAP. Ciò offre flessibilità ai clienti che necessitano di un facile accesso a origini dati eterogenee con la capacità di condividere i dati sia da NFS che da S3. Ad esempio, è possibile ottimizzare FMS come i modelli di generazione del testo Llama 2 di Meta su SageMaker con accesso ai bucket file-oggetto.
Il servizio NetApp® Cloud Sync offre un modo semplice e sicuro per migrare i dati a qualsiasi destinazione, nel cloud o in sede. Cloud Sync trasferisce e sincronizza perfettamente i dati tra storage on-premise o cloud, NAS e archivi di oggetti.
NetApp XCP è un software client che consente migrazioni di dati da NetApp a NetApp rapide e affidabili. XCP offre anche la funzionalità di spostare in modo efficiente i dati in blocco dai file system Hadoop HDFS in ONTAP NFS, S3 o StorageGRID e le analitiche dei file XCP garantiscono visibilità nel file system.
NetApp® DataOps Toolkit è una libreria Python che semplifica l'esecuzione di varie attività di gestione dei dati da parte di data scientist, DevOps e data engineer, come il provisioning quasi istantaneo, il cloning o la creazione di snapshot di un volume di dati o di uno spazio di lavoro JupyterLab supportato da storage NetApp scale-out ad alte prestazioni.
Sicurezza dei prodotti NetApp. LLMS potrebbe rivelare inavvertitamente dati riservati nelle proprie risposte, quindi una preoccupazione per i CISO che studiano le vulnerabilità associate alle applicazioni ai che sfruttano LLMS. Come delineato da OWASP (Open Worldwide Application Security Project), problemi di sicurezza come avvelenamento dei dati, perdita di dati, negazione del servizio e rapide iniezioni all'interno di LLMS possono avere un impatto sulle aziende dall'esposizione dei dati agli attacchi degli utenti non autorizzati. I requisiti di archiviazione dei dati devono includere controlli di integrità e snapshot immutabili per dati strutturati, semi-strutturati e non strutturati. Le Snapshot di NetApp e SnapLock sono utilizzate per il controllo delle versioni del set di dati. Porta un rigido role-based access control (RBAC), così come protocolli sicuri e crittografia standard di settore per la protezione dei dati a riposo e in transito. Cloud Insights e Cloud Data Sense insieme offrono funzionalità che consentono di identificare l'origine della minaccia in modo forense e di assegnare priorità ai dati da ripristinare.
ONTAP ai con DGX BasePOD
L'architettura di riferimento NetApp® ONTAP® ai con NVIDIA DGX BasePOD è un'architettura scalabile per i workload di machine learning (ML) e intelligenza artificiale (ai). Per la fase di addestramento critico di LLMS, i dati vengono generalmente copiati dalla memoria dati nel cluster di addestramento a intervalli regolari. I server utilizzati in questa fase utilizzano le GPU per parallelizzare i calcoli, creando un enorme appetito per i dati. Soddisfare le esigenze di larghezza di banda i/o raw è fondamentale per mantenere un elevato utilizzo della GPU.
ONTAP ai con NVIDIA ai Enterprise
NVIDIA ai Enterprise è una suite end-to-end nativa del cloud di software di ai e data analytics ottimizzato, certificato e supportato da NVIDIA per l'esecuzione su VMware vSphere con sistemi certificati NVIDIA. Questo software facilita l'implementazione, la gestione e la scalabilità semplici e rapide dei carichi di lavoro ai nel moderno ambiente di cloud ibrido. NVIDIA ai Enterprise, basata su NetApp e VMware, offre gestione dei dati e dei workload ai di livello Enterprise in un pacchetto semplice e familiare.
1P piattaforme cloud
Le offerte di cloud storage completamente gestite sono disponibili nativamente su Microsoft Azure as Azure NetApp Files (ANF), su AWS come Amazon FSX per NetApp ONTAP (FSX ONTAP) e su Google come Google Cloud NetApp Volumes (GNCV). 1P è un file system gestito e dalle performance elevate che consente ai clienti di eseguire carichi di lavoro ai altamente disponibili con maggiore sicurezza dei dati nei cloud pubblici, per ottimizzare LLMS/FMS con piattaforme ML native del cloud come AWS SageMaker, Azure-OpenAI Services e Vertex ai di Google.
Suite di soluzioni per partner NetApp
Oltre ai suoi principali prodotti, tecnologie e funzioni per i dati, NetApp collabora inoltre in stretta collaborazione con una solida rete di partner ai per offrire valore aggiunto ai clienti.
NVIDIA Guardrails nei sistemi di intelligenza artificiale funge da salvaguardia per garantire l'uso etico e responsabile delle tecnologie di intelligenza artificiale. Gli sviluppatori di IA possono scegliere di definire il comportamento delle applicazioni basate su LLM su argomenti specifici e impedire loro di avviare discussioni su argomenti indesiderati. Guardrails, un toolkit open-source, consente di collegare un LLM ad altri servizi in modo semplice e sicuro per creare sistemi di conversazione LLM affidabili, sicuri e sicuri.
Domino Data Lab fornisce strumenti di livello aziendale versatili per la creazione e la produzione di intelligenza artificiale generativa, veloci, sicuri ed economici, ovunque vi troviate nel vostro viaggio di intelligenza artificiale. Con la piattaforma MLOps Enterprise di Domino, i data scientist possono utilizzare strumenti preferiti e tutti i loro dati, addestrare e implementare i modelli in modo semplice ovunque e gestire i rischi in modo economico, il tutto da un unico centro di controllo.
Modzy per Edge ai. NetApp® e Modzy hanno collaborato per offrire ai su larga scala a qualsiasi tipo di dati, tra cui immagini, audio, testo e tabelle. Modzy è una piattaforma MLOps per l'implementazione, l'integrazione e l'esecuzione di modelli ai, offre ai data scientist le funzionalità di monitoring dei modelli, rilevamento di deriva e spiegabilità, con una soluzione integrata per un'inferenza LLM perfetta.
Run:ai e NetApp hanno collaborato per dimostrare le funzionalità uniche della soluzione NetApp ONTAP ai con la piattaforma di gestione dei cluster Run:ai per semplificare l'orchestrazione dei workload ai. Suddivide e unisce automaticamente le risorse GPU, progettate per scalare le pipeline di elaborazione dati a centinaia di macchine con framework di integrazione integrati per Spark, Ray, Dask e Rapids.
Conclusione
L'intelligenza artificiale generativa può produrre risultati efficaci solo quando il modello è addestrato su una serie di dati di qualità. Sebbene LLMS abbia raggiunto importanti traguardi, è fondamentale riconoscerne i limiti, le sfide di progettazione e i rischi associati alla mobilità e alla qualità dei dati. I sistemi LLMS si basano su set di dati di training eterogenei e di grandi dimensioni provenienti da fonti eterogenee di dati. I risultati imprecisi o parziali generati dai modelli possono mettere a repentaglio sia le aziende che i consumatori. Questi rischi possono corrispondere a vincoli per LLMS che possono emergere potenzialmente da problemi di gestione dei dati associati alla qualità dei dati, alla sicurezza dei dati e alla mobilità dei dati. NetApp aiuta le organizzazioni a soddisfare le complessità create dalla rapida crescita dei dati, dalla mobilità dei dati, dalla gestione multicloud e dall'adozione dell'ai. L'infrastruttura ai su larga scala e la gestione efficiente dei dati sono fondamentali per definire il successo delle applicazioni ai come l'ai generativa. Sono clienti critici che coprono tutti gli scenari di implementazione, senza compromettere la capacità di espandersi quando le aziende hanno bisogno di mantenere sotto controllo l'efficienza dei costi, la governance dei dati e pratiche etiche di ai. NetApp lavora costantemente per aiutare i clienti a semplificare e accelerare le proprie implementazioni di IA.