Skip to main content
NetApp Solutions
La version française est une traduction automatique. La version anglaise prévaut sur la française en cas de divergence.

HDFS et MapR-FS sur ONTAP NFS

Contributeurs
PDF

Pour cette solution, NetApp a validé la migration des données du data Lake (HDFS) et du cluster MapR vers ONTAP NFS. Les données résidaient dans MapR-FS et HDFS. NetApp XCP a introduit une nouvelle fonctionnalité qui migre directement les données d'un système de fichiers distribué tel que HDFS et MapR-FS vers ONTAP NFS. XCP utilise des threads asynchrones et des appels API HDFS C pour communiquer et transférer des données de MapR-FS ainsi que HDFS.

La figure ci-dessous illustre la migration des données entre le data Lake (HDFS) et MapR-FS et le protocole ONTAP NFS. Grâce à cette nouvelle fonctionnalité, il n'est pas nécessaire d'exporter la source en tant que partage NFS.

Erreur : image graphique manquante

Pourquoi les clients passent-ils de HDFS et de MapR-FS au NFS ?

La plupart des distributions Hadoop, telles qu'Cloudera et Hortonworks, utilisent les distributions HDFS et MapR, utilise leur propre système de fichiers appelé Mapr-FS pour stocker les données. Les données HDFS et MapR-FS offrent des informations exploitables aux data Scientists qui peuvent être exploitées dans le machine learning (ML) et le deep learning (DL). Les données dans HDFS et MapR-FS ne sont pas partagées, ce qui signifie qu'elles ne peuvent pas être utilisées par d'autres applications. Les clients recherchent des données partagées, notamment dans le secteur bancaire où les données sensibles des clients sont utilisées par de multiples applications. La dernière version d'Hadoop (3.x ou version ultérieure) prend en charge les sources de données NFS, qui sont accessibles sans logiciel tiers supplémentaire. Avec la nouvelle fonctionnalité NetApp XCP, les données peuvent être transférées directement de HDFS et de MapR-FS vers NetApp NFS afin de fournir un accès à plusieurs applications

Les tests ont été réalisés dans Amazon Web Services (AWS) pour transférer les données de MapR-FS vers NFS, dans le cadre du test de performance initial avec 12 nœuds APR et 4 serveurs NFS.

Quantité Taille VCPU Mémoire Stockage Le réseau

Serveur NFS

4

i3en.24xlarge

96

488 Gio

8 x SSD NVMe 7500

100

Nœuds MAPR

12

I3en.12xlarge

48

384 Gio

4 x 7500 SSD NVMe

50

Selon les tests initiaux, nous avons obtenu un débit de 20 Gbit/s et sommes parvenus à transférer 2 po de données par jour.

Pour plus d'informations sur la migration de données HDFS sans exporter HDFS vers NFS, reportez-vous à la section « étapes de déploiement - NAS » du "Tr-4863 : TR-4863 : instructions sur les meilleures pratiques pour NetApp XCP - Data Mover, migration de fichiers et analyse".