Skip to main content
NetApp Solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Data Mover-Lösung für KI

Beitragende
PDFs

Die Data Mover-Lösung für KI basiert auf der Anforderung der Kunden, Hadoop Daten vom KI-Betrieb zu verarbeiten. NetApp verschiebt Daten mithilfe von NIPAM von HDFS in NFS. In einem Anwendungsfall musste der Kunde Daten on-Premises zu NFS verschieben und ein anderer Kunde Daten von Windows Azure Storage Blob zu Cloud Volumes Service verschieben, um die Daten aus den GPU-Cloud-Instanzen in der Cloud zu verarbeiten.

Details zur Data Mover-Lösung:

Fehler: Fehlendes Grafikbild

Die Entwicklung der Data Mover-Lösung ist wie folgt nötig:

  1. ONTAP SAN bietet HDFS und NAS stellt die NFS-Volumes über NIPAM in den produktiven Data-Lake-Cluster bereit.

  2. Die Kundendaten sind in HDFS und NFS. Die NFS-Daten können Produktionsdaten von anderen Applikationen sein, die für Big-Data-Analysen und KI-Vorgänge verwendet werden.

  3. Die NetApp FlexClone Technologie erstellt einen Klon des Produktions-NFS-Volumes und stellt ihn vor Ort dem KI-Cluster bereit.

  4. Daten aus einer HDFS SAN LUN werden mit NIPAM und dem in ein NFS-Volume kopiert hadoop distcp Befehl. NIPAM verwendet die Bandbreite mehrerer Netzwerkschnittstellen zum Datentransfer. Dieser Prozess verkürzt die Kopierzeit der Daten, sodass mehr Daten übertragen werden können.

  5. Beide NFS-Volumes werden dem KI-Cluster für KI-Vorgänge bereitgestellt.

  6. Zur Verarbeitung von On-Premises-NFS-Daten mit GPUs in der Cloud werden die NFS-Volumes mit NetApp SnapMirror Technologie in NetApp Private Storage (NPS) gespiegelt und bei GPUs an Cloud-Service-Provider angehängt.

  7. Der Kunde möchte Daten in EC2/EMR-, HDInsight- oder DataProc-Services in GPUs von Cloud-Service-Providern verarbeiten. Beim Hadoop Data Mover werden die Daten mit NIPAM und dem Service von Hadoop auf die Cloud Volumes Services verschoben hadoop distcp Befehl.

  8. Die Cloud Volumes Service-Daten werden über das NFS-Protokoll KI bereitgestellt.über AI aufbereitete Daten können über NIPAM, SnapMirror und NPS an einen On-Premises-Standort für Big Data-Analysen neben dem NVIDIA Cluster gesendet werden.

In diesem Szenario verfügt der Kunde über große Dateidaten im NAS-System an einem Remote-Standort, der für die KI-Verarbeitung auf dem NetApp Storage Controller vor Ort benötigt wird. In diesem Szenario ist es besser, mit dem XCP Migration Tool die Daten mit einer schnelleren Geschwindigkeit zu migrieren.

Unternehmen mit Hybrid-Anwendungsfall können BlueXP Copy und Sync verwenden, um On-Premises-Daten von NFS-, CIFS- und S3-Daten in die Cloud zu migrieren und umgekehrt für die KI-Verarbeitung mithilfe von GPUs wie diejenigen in einem NVIDIA-Cluster. Für die NFS-Datenmigration zu NetApp ONTAP NFS werden sowohl BlueXP Copy und Sync als auch das XCP Migrationstool verwendet.