Skip to main content
NetApp Solutions
Die deutsche Sprachversion wurde als Serviceleistung für Sie durch maschinelle Übersetzung erstellt. Bei eventuellen Unstimmigkeiten hat die englische Sprachversion Vorrang.

Anwendungsfall 3: Enabling DevTest on Existing Hadoop Data

Beitragende
PDFs

In diesem Anwendungsfall muss der Kunde schnell und effizient neue Hadoop/Spark-Cluster erstellen, die auf einem vorhandenen Hadoop-Cluster basieren und große Mengen an Analysedaten für DevTest und Reporting-Zwecke im selben Datacenter und an Remote-Standorten enthalten sind.

Szenario

Bei diesem Szenario wurden mehrere Spark/Hadoop-Cluster aus einer umfangreichen Hadoop-Data-Lake-Implementierung vor Ort und an Disaster-Recovery-Standorten erstellt.

Anforderungen und Herausforderungen zu bewältigen

Zu den wesentlichen Anforderungen und Herausforderungen dieses Anwendungsfalls gehören:

  • Erstellen Sie mehrere Hadoop Cluster für DevTest, QA oder jeden anderen Zweck, für den Zugriff auf dieselben Produktionsdaten erforderlich ist. Die Herausforderung besteht hier darin, einen sehr großen Hadoop Cluster mehrmals unmittelbar und äußerst platzsparend zu klonen.

  • Synchronisieren Sie Hadoop Daten mit DevTest- und Reporting-Teams, um betriebliche Effizienz zu erzielen.

  • Verteilen Sie Hadoop Daten mit denselben Anmeldedaten über Produktions- und neue Cluster.

  • Verwenden Sie geplante Richtlinien, um effizient QA-Cluster zu erstellen, ohne das Produktions-Cluster zu beeinträchtigen.

Nutzen

FlexClone Technologie wird zur Erfüllung der soeben beschriebenen Anforderungen verwendet. Die FlexClone Technologie ist die Kopie einer Snapshot Kopie für Lese-/Schreibzugriffe. Die Daten werden aus den Daten der übergeordneten Snapshot Kopie gelesen, und verbraucht nur zusätzlichen Speicherplatz für neue/geänderte Blöcke. Sie ist schnell und platzsparend.

Zunächst wurde eine Snapshot Kopie des vorhandenen Clusters mithilfe einer NetApp Konsistenzgruppe erstellt.

Snapshot Kopien innerhalb von NetApp System Manager oder der Eingabeaufforderung für den Storage-Administrator Die Snapshot Kopien der Konsistenzgruppen sind applikationskonsistente Snapshot Kopien von Gruppen, und das FlexClone Volume wird basierend auf Snapshot Kopien der Konsistenzgruppen erstellt. Es ist erwähnenswert, dass ein FlexClone Volume die NFS-Exportrichtlinie des übergeordneten Volume übernimmt. Nach der Erstellung der Snapshot Kopie muss für DevTest und Reporting ein neuer Hadoop Cluster installiert werden, wie in der Abbildung unten dargestellt. Das geklonte NFS Volume aus dem neuen Hadoop Cluster greift auf die NFS-Daten zu.

Dieses Bild zeigt den Hadoop Cluster für DevTest.

Fehler: Fehlendes Grafikbild