Skip to main content
NetApp Solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Data Mover-Lösung für KI

Beitragende
PDFs

Die Data Mover-Lösung für KI basiert auf der Anforderung der Kunden, Hadoop Daten vom KI-Betrieb zu verarbeiten. NetApp verschiebt Daten mithilfe von NIPAM von HDFS in NFS. In einem Anwendungsfall musste der Kunde Daten vor Ort zu NFS verschieben und in einem anderen Kunden Daten aus Windows Azure Storage Blob auf Google Cloud NetApp Volumes verschieben, um die Daten aus den GPU-Cloud-Instanzen in der Cloud zu verarbeiten.

Details zur Data Mover-Lösung:

Die Abbildung zeigt den Input/Output-Dialog oder die Darstellung des schriftlichen Inhalts

Die Entwicklung der Data Mover-Lösung ist wie folgt nötig:

  1. ONTAP SAN bietet HDFS und NAS stellt die NFS-Volumes über NIPAM in den produktiven Data-Lake-Cluster bereit.

  2. Die Kundendaten sind in HDFS und NFS. Die NFS-Daten können Produktionsdaten von anderen Applikationen sein, die für Big-Data-Analysen und KI-Vorgänge verwendet werden.

  3. Die NetApp FlexClone Technologie erstellt einen Klon des Produktions-NFS-Volumes und stellt ihn vor Ort dem KI-Cluster bereit.

  4. Daten aus einer HDFS SAN LUN werden mit NIPAM und dem in ein NFS-Volume kopiert hadoop distcp Befehl. NIPAM verwendet die Bandbreite mehrerer Netzwerkschnittstellen zum Datentransfer. Dieser Prozess verkürzt die Kopierzeit der Daten, sodass mehr Daten übertragen werden können.

  5. Beide NFS-Volumes werden dem KI-Cluster für KI-Vorgänge bereitgestellt.

  6. Zur Verarbeitung von On-Premises-NFS-Daten mit GPUs in der Cloud werden die NFS-Volumes mit NetApp SnapMirror Technologie in NetApp Private Storage (NPS) gespiegelt und bei GPUs an Cloud-Service-Provider angehängt.

  7. Der Kunde möchte Daten in EC2/EMR-, HDInsight- oder DataProc-Services in GPUs von Cloud-Service-Providern verarbeiten. Der Hadoop Data Mover verschiebt die Daten mit NIPAM von Hadoop Services auf die Google Cloud NetApp Volumes hadoop distcp.

  8. Die Google Cloud NetApp Volumes Daten werden über das NFS-Protokoll für die KI bereitgestellt.die über KI verarbeiteten Daten können zusätzlich zum NVIDIA Cluster über NIPAM, SnapMirror und NPS an einen On-Premises-Standort für Big-Data-Analysen gesendet werden.

In diesem Szenario verfügt der Kunde über große Dateidaten im NAS-System an einem Remote-Standort, der für die KI-Verarbeitung auf dem NetApp Storage Controller vor Ort benötigt wird. In diesem Szenario ist es besser, mit dem XCP Migration Tool die Daten mit einer schnelleren Geschwindigkeit zu migrieren.

Unternehmen mit Hybrid-Anwendungsfall können BlueXP Copy und Sync verwenden, um On-Premises-Daten von NFS-, CIFS- und S3-Daten in die Cloud zu migrieren und umgekehrt für die KI-Verarbeitung mithilfe von GPUs wie diejenigen in einem NVIDIA-Cluster. Für die NFS-Datenmigration zu NetApp ONTAP NFS werden sowohl BlueXP Copy und Sync als auch das XCP Migrationstool verwendet.