HDFS e MapR-FS su ONTAP NFS
Suggerisci modifiche
PDF
Per questa soluzione, NetApp ha convalidato la migrazione dei dati dal data lake (HDFS) e dai dati del cluster MapR a ONTAP NFS. I dati risiedevano in MapR-FS e HDFS. NetApp XCP ha introdotto una nuova funzionalità che migra direttamente i dati da un file system distribuito come HDFS e MapR-FS a ONTAP NFS. XCP utilizza thread asincroni e chiamate API C HDFS per comunicare e trasferire dati da MapR-FS e HDFS.
La figura seguente mostra la migrazione dei dati dal data lake (HDFS) e MapR-FS a ONTAP NFS. Grazie a questa nuova funzionalità, non è più necessario esportare la sorgente come condivisione NFS.
Perché i clienti stanno passando da HDFS e MapR-FS a NFS?
La maggior parte delle distribuzioni Hadoop, come Cloudera e Hortonworks, utilizzano HDFS, mentre le distribuzioni MapR utilizzano il proprio file system denominato Mapr-FS per archiviare i dati. I dati HDFS e MapR-FS forniscono agli scienziati dei dati informazioni preziose che possono essere sfruttate nell'apprendimento automatico (ML) e nell'apprendimento profondo (DL). I dati in HDFS e MapR-FS non sono condivisi, il che significa che non possono essere utilizzati da altre applicazioni. I clienti sono alla ricerca di dati condivisi, in particolare nel settore bancario, dove i dati sensibili dei clienti vengono utilizzati da più applicazioni. L'ultima versione di Hadoop (3.x o successiva) supporta l'origine dati NFS, a cui è possibile accedere senza software di terze parti aggiuntivo. Con la nuova funzionalità NetApp XCP, i dati possono essere spostati direttamente da HDFS e MapR-FS a NetApp NFS per fornire accesso a più applicazioni
Sono stati eseguiti test in Amazon Web Services (AWS) per trasferire i dati da MapR-FS a NFS per il test iniziale delle prestazioni con 12 nodi MAPR e 4 server NFS.
| Quantità | Misurare | CPU virtuale | Memoria | Magazzinaggio | Rete | |
|---|---|---|---|---|---|---|
server NFS |
4 |
i3en.24xlarge |
96 |
488GiB |
8x SSD NVMe 7500 |
100 |
Nodi MapR |
12 |
I3en.12xlarge |
48 |
384GiB |
4x SSD NVMe 7500 |
50 |
Sulla base dei test iniziali, abbiamo ottenuto una velocità di trasmissione di 20 GBps e siamo riusciti a trasferire 2 PB di dati al giorno.
Per ulteriori informazioni sulla migrazione dei dati HDFS senza esportare HDFS in NFS, vedere la sezione "Fasi di distribuzione - NAS" in"TR-4863: TR-4863: Linee guida sulle best practice per NetApp XCP - Data Mover, migrazione file e analisi" .