Skip to main content
NetApp Solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Data Lake zu ONTAP-NFS

Beitragende
PDFs

Dieser Anwendungsfall basiert auf dem größten Proof of Concept (CPOC) eines Finanzkunden, den wir erreicht haben. Mit dem NetApp in-Place-Analysemodul (NIPAM) verschieben wir Analysedaten in die NetApp ONTAP AI. Aufgrund von jüngsten Verbesserungen und der verbesserten Performance von NetApp XCP und dem einzigartigen Ansatz der NetApp Data Mover-Lösung haben wir die Datenmigration mithilfe von NetApp XCP neu veröffentlicht.

Herausforderungen und Anforderungen des Kunden

Zu den folgenden Herausforderungen und Anforderungen des Kunden zählen:

  • Kunden haben unterschiedliche Datentypen, darunter strukturierte, unstrukturierte und halbstrukturierte Daten, Protokolle, Und Machine-to-Machine-Daten in Data Lakes. KI-Systeme setzen all diese Datentypen für die Verarbeitung von Vorhersagevorgängen voraus. Wenn sich Daten in einem nativen Data-Lake-Filesystem befinden, ist die Verarbeitung schwierig.

  • Die KI-Architektur des Kunden ist nicht in der Lage, auf Daten aus Hadoop Distributed File System (HDFS) und Hadoop Compatible File System (HCFS) zuzugreifen, so dass die Daten nicht für AI-Operationen zur Verfügung stehen. Für die KI müssen Daten in einem verständlichen File-Systemformat wie NFS vorliegen.

  • Für das Verschieben von Daten aus dem Data Lake sind einige spezielle Prozesse erforderlich, da große Datenmengen und hoher Durchsatz erforderlich sind. Um die Daten in das KI-System zu verschieben, ist eine kostengünstige Methode erforderlich.

Data Mover-Lösung

In dieser Lösung wird das MapR Filesystem (MapR-FS) aus lokalen Festplatten im MapR Cluster erstellt. Das MapR NFS Gateway wird auf jedem Daten-Node mit virtuellen IPs konfiguriert. Der Fileserver-Service speichert und managt die MapR-FS-Daten. NFS Gateway ermöglicht den Zugriff auf Map-FS Daten vom NFS-Client über die virtuelle IP. Auf jedem MapR Daten-Node wird eine XCP Instanz ausgeführt, um die Daten vom Map NFS Gateway zu NetApp ONTAP NFS zu übertragen. Jede XCP-Instanz überträgt einen bestimmten Satz von Quellordnern an den Zielspeicherort.

Die folgende Abbildung zeigt die NetApp Data Mover-Lösung für MapR Cluster mit XCP.

Fehler: Fehlendes Grafikbild

Detaillierte Anwendungsfälle, aufgezeichnete Demos und Testergebnisse finden Sie im "Nutzung von XCP, um Daten von einem Data Lake und High-Performance-Computing zu ONTAP NFS zu verschieben" blog:

Detaillierte Schritte zum Verschieben von MapR-FS-Daten in ONTAP-NFS mithilfe von NetApp XCP finden Sie in Anhang B in "TR-4732: Big Data Analytics Data to Artificial Intelligence".