Skip to main content
NetApp artificial intelligence solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Data Mover-Lösung für KI

PDFs

Die Data Mover-Lösung für KI basiert auf den Anforderungen der Kunden, Hadoop-Daten aus KI-Operationen zu verarbeiten. NetApp verschiebt Daten mithilfe von NIPAM von HDFS nach NFS. In einem Anwendungsfall musste der Kunde Daten vor Ort in NFS verschieben und ein anderer Kunde musste Daten vom Windows Azure Storage Blob in Google Cloud NetApp Volumes verschieben, um die Daten von den GPU-Cloud-Instanzen in der Cloud zu verarbeiten.

Das folgende Diagramm veranschaulicht die Details der Data Mover-Lösung.

Abbildung, die einen Eingabe-/Ausgabedialog zeigt oder schriftlichen Inhalt darstellt

Zum Erstellen der Data Mover-Lösung sind folgende Schritte erforderlich:

  1. ONTAP SAN stellt HDFS bereit und NAS stellt das NFS-Volume über NIPAM für den Produktions-Data-Lake-Cluster bereit.

  2. Die Daten des Kunden liegen in HDFS und NFS. Bei den NFS-Daten kann es sich um Produktionsdaten aus anderen Anwendungen handeln, die für Big Data-Analysen und KI-Operationen verwendet werden.

  3. Die NetApp FlexClone -Technologie erstellt einen Klon des Produktions-NFS-Volumes und stellt ihn dem KI-Cluster vor Ort bereit.

  4. Daten aus einem HDFS SAN LUN werden mit NIPAM in ein NFS-Volume kopiert und die hadoop distcp Befehl. NIPAM nutzt die Bandbreite mehrerer Netzwerkschnittstellen zur Datenübertragung. Dieser Vorgang verkürzt die Datenkopierzeit, sodass mehr Daten übertragen werden können.

  5. Beide NFS-Volumes werden dem AI-Cluster für AI-Operationen bereitgestellt.

  6. Um lokale NFS-Daten mit GPUs in der Cloud zu verarbeiten, werden die NFS-Volumes mit der NetApp SnapMirror -Technologie auf NetApp Private Storage (NPS) gespiegelt und bei Cloud-Service-Providern für GPUs bereitgestellt.

  7. Der Kunde möchte Daten in EC2/EMR-, HDInsight- oder DataProc-Diensten in GPUs von Cloud-Dienstanbietern verarbeiten. Der Hadoop Data Mover verschiebt die Daten von Hadoop-Diensten in die Google Cloud NetApp Volumes mit NIPAM und dem hadoop distcp Befehl.

  8. Die Google Cloud NetApp Volumes Daten werden der KI über das NFS-Protokoll bereitgestellt. Über die KI verarbeitete Daten können zusätzlich zum NVIDIA Cluster über NIPAM, SnapMirror und NPS an einen lokalen Standort für Big Data-Analysen gesendet werden.

In diesem Szenario verfügt der Kunde über eine große Anzahl von Dateidaten im NAS-System an einem Remote-Standort, die für die KI-Verarbeitung auf dem NetApp Speichercontroller vor Ort benötigt werden. In diesem Szenario ist es besser, das XCP-Migrationstool zu verwenden, um die Daten schneller zu migrieren.

Der Kunde mit Hybridanwendungsfall kann BlueXP Copy and Sync verwenden, um lokale Daten von NFS-, CIFS- und S3-Daten in die Cloud und umgekehrt zu migrieren, um sie für die KI-Verarbeitung mithilfe von GPUs wie denen in einem NVIDIA Cluster zu verwenden. Für die NFS-Datenmigration zu NetApp ONTAP NFS werden sowohl BlueXP Copy and Sync als auch das XCP Migration Tool verwendet.