Data Lake su NFS ONTAP
Suggerisci modifiche
PDF
Questo caso di utilizzo si basa sul più grande proof of concept finanziario per i clienti (CPOC) che abbiamo realizzato. Storicamente, abbiamo utilizzato il modulo di analisi in-place NetApp (NIPAM) per spostare i dati di analisi su NetApp ONTAP ai. Tuttavia, a causa dei recenti miglioramenti e delle migliori performance di NetApp XCP, nonché dell'esclusivo approccio alla soluzione per il data mover di NetApp, abbiamo rieseguito la migrazione dei dati utilizzando NetApp XCP.
Sfide e requisiti dei clienti
Le sfide e i requisiti dei clienti che meritano di essere notati includono quanto segue:
-
I clienti dispongono di diversi tipi di dati, tra cui dati strutturati, non strutturati e semistrutturati, log, e dati machine-to-machine nei data lake. I sistemi ai richiedono tutti questi tipi di dati da elaborare per le operazioni di previsione. Quando i dati si trovano in un file system nativo di un data Lake, è difficile elaborarli.
-
L'architettura ai del cliente non è in grado di accedere ai dati da Hadoop Distributed file System (HDFS) e Hadoop Compatible file System (HCFS), pertanto i dati non sono disponibili per le operazioni ai. Ai richiede dati in un formato di file system comprensibile come NFS.
-
Per spostare i dati dal data Lake sono necessari alcuni processi speciali a causa della grande quantità di dati e dell'elevato throughput, mentre per spostare i dati nel sistema ai è necessario un metodo conveniente.
Soluzione per il data mover
In questa soluzione, il file system MapR (MapR-FS) viene creato dai dischi locali nel cluster MapR. Il gateway NFS MapR viene configurato su ciascun nodo dati con IP virtuali. Il servizio file server memorizza e gestisce i dati MapR-FS. NFS Gateway rende accessibili i dati Map-FS dal client NFS attraverso l'IP virtuale. Un'istanza XCP viene eseguita su ciascun nodo dati MapR per trasferire i dati dal gateway NFS di mappatura a NetApp ONTAP NFS. Ogni istanza di XCP trasferisce un set specifico di cartelle di origine nella posizione di destinazione.
La figura seguente illustra la soluzione NetApp per il data mover per cluster MapR che utilizza XCP.
Per casi d'utilizzo dettagliati dei clienti, demo registrate e risultati dei test, consulta il "Utilizzo di XCP per spostare i dati da un data Lake e dall'elaborazione ad alte performance a NFS ONTAP"blog.
Per informazioni dettagliate sullo spostamento dei dati MapR-FS in ONTAP NFS mediante NetApp XCP, vedere l'Appendice B nella "TR-4732: Dai dati di analisi dei big data all'intelligenza artificiale".